CI/CDDevOps 학습 로드맵 · 17/28편

번외: DORA 4대 지표를 Four Keys로 자동 집계해보기

배포 빈도·변경 리드타임·변경 실패율·서비스 복구 시간(MTTR), DORA 4대 지표를 구글 오픈소스 Four Keys로 Jenkins/ArgoCD/GitHub 이벤트에서 자동 집계하는 절차. 기존 재배포 월10건→1건, 배포 4분→30초 수치를 DORA 등급으로 재해석한다.

2026-07-2718 min read
#DORA#Four Keys#배포 빈도#리드타임#MTTR#BigQuery
DevOps 학습 로드맵시리즈 목차
1채용공고 요구사항 6개 중 자신 있게 답할 수 있는 게 절반도 안 됐다2kubeadm으로 온프레미스 Kubernetes 클러스터를 처음부터 세우는 절차3FastAPI 서비스 골격, RabbitMQ DLQ, Harbor+Trivy, Jenkins→ArgoCD 파이프라인 구축 절차4Argo Rollouts로 카나리 배포와 Prometheus 메트릭 기반 자동 롤백 붙이기5yaml 복붙 관리의 드리프트 문제를 Kustomize overlay로 구조화하기6Terraform과 Ansible로 클러스터를 코드에서 다시 세울 수 있게 만드는 절차7Prometheus·Loki·OpenTelemetry로 세운 관측 스택 - 메트릭·로그·트레이스를 하나로8관측 스택이 진짜로 장애를 잡는가 - 노드 다운·OOMKill·디스크풀 직접 주입해보기9SLI/SLO/에러 버짓을 실제로 계산해서 배포 판단 기준으로 써보기10임계값 없이 - 통계 기반 이상탐지로 Datadog Watchdog 흉내내기11Grafana OnCall로 PagerDuty 없이 온콜·에스컬레이션 구현하기12자체 JWT 구현부터 취약점 실험, Keycloak 마이그레이션까지의 실제 절차13ISMS-P 인프라 영역 심사를 가정하고 내 클러스터의 증적을 만드는 절차14SealedSecret이 못 남기는 것 - OpenBao + External Secrets Operator로 감사 로그 확보하기15번외: 더미 워커를 실제 ONNX 추론으로, GPU 스케줄링까지 교체하는 절차16번외: 인터넷을 완전히 끊고도 클러스터가 돌아가는지 - 폐쇄망(에어갭) 시뮬레이션 절차17번외: 부하테스트로 관측 스택을 실전 검증하기 - k6 + HPA + MSA 파이프라인18번외: DORA 4대 지표를 Four Keys로 자동 집계해보기19실무와 다른 4가지를 채우려고 로드맵을 이렇게 짰다20OpenSearch·Loki·Datadog, 로그 스택은 왜 하나로 안 끝나는가21Control-Plane HA는 언제 정당한가 - etcd 쿼럼, kube-vip 페일오버, cordon/drain의 수학22OpenTelemetry는 무엇을 표준화하는가 - Prometheus·Grafana·Loki·Tempo가 실제로 맞물리는 지점23Helm은 템플릿 도구가 아니라 릴리스 버전 관리자다24카나리 배포와 블루그린 배포, 뭐가 다르고 언제 뭘 써야 하는가25SRE는 정확히 무엇을 하는 직군인가 - '운영을 소프트웨어 문제로 본다'는 말의 실체26온콜은 왜 필요하고, 어떻게 지속 가능하게 운영하는가27IaC는 한 계층이 아니다 - Terraform·Packer·Helm이 각각 다루는 것, 그리고 RKE2 vs kubeadm28SLI·SLO·에러 버짓과 온콜·에스컬레이션 - 숫자로 문제를 정의하고 사람에게 연결하기

목표

"배포가 빨라졌다"를 감이 아니라 업계 표준 지표로 측정한다. DORA(DevOps Research and Assessment) 4대 지표를 정의하고, Google이 공개한 오픈소스 Four Keys로 Jenkins/ArgoCD/GitHub 이벤트에서 자동 집계되게 만든다. MSA 전환 때 이미 만든 "재배포 월 10건→1건, 배포 4분→30초" 수치를 이 프레임워크로 다시 해석해본다.

개념: DORA 4대 지표

지표의미이 랩에서의 데이터 소스
배포 빈도(Deployment Frequency)얼마나 자주 프로덕션에 배포하는가ArgoCD 배포 완료 이벤트
변경 리드타임(Lead Time for Changes)커밋부터 프로덕션 배포까지 걸리는 시간GitHub 커밋 타임스탬프 ↔ ArgoCD 배포 타임스탬프
변경 실패율(Change Failure Rate)배포 중 몇 %가 장애·롤백을 유발하는가ArgoCD 롤백 이벤트, 배포 직후 알림 발화 여부
서비스 복구 시간(MTTR)장애 발생부터 복구까지 걸리는 시간Alertmanager 알림 시작~해제 타임스탬프

이 4개를 기준으로 Elite/High/Medium/Low 등급을 나눈다. 구글의 State of DevOps Report(2023년 기준) 경계값을 대략 옮기면 다음과 같다.

등급배포 빈도리드타임변경 실패율MTTR
Elite하루 여러 번(on-demand)1시간 미만5~10%1시간 미만
High주 1회~월 1회1일~1주10~15%1일 미만
Medium월 1회~반년 1회1주~6개월15~20%대1일~1주
Low반년 1회 미만6개월 이상20% 이상1주~1개월

배포 빈도만 보면 "주 1회 이상"이 대략 Elite/High와 Medium 이하를 가르는 경계선이다 - 다만 이 숫자는 리포트 연도마다 조금씩 움직인다(2021년 리포트와 2023년 리포트의 변경 실패율 밴드 구분도 서로 다르다). 그래서 이 표를 어느 조직에나 그대로 들이대는 건 위험하다.

  • 이 조사는 대부분 웹/SaaS 기업의 자기보고(self-reported) 데이터다. 배포 한 번의 영향 범위가 큰 금융권 코어 시스템이나 배포 자체가 드문 임베디드/온프레미스 도메인에 "하루 여러 번 배포"를 목표로 강제하면 위험 관리가 오히려 무너진다.
  • 팀/서비스 규모가 작을수록 변경 실패율 같은 비율 지표는 표본이 작아 노이즈에 취약하다 - 한 달에 배포 3번인 팀에서 1번 실패하면 변경 실패율이 33%로 튀는데, 이걸 곧이곧대로 "Low 등급"으로 해석하는 건 통계적으로 의미가 없다.

등급 자체보다 **"우리 팀이 지금 어느 지표에서 병목인지, 그 병목이 시간에 따라 어떻게 움직이는지"**를 알려주는 도구로 쓰는 게 핵심이다.

실제 구축 절차

1. Four Keys 설치

Four Keys는 원래 BigQuery(GCP)를 기본 백엔드로 가정하지만, 이 랩은 이미 Prometheus 생태계이므로 이벤트 수집 부분만 개념적으로 차용하고 실제 저장은 Prometheus Pushgateway로 대체한다.

git clone https://github.com/GoogleCloudPlatform/fourkeys.git

2. 배포 이벤트 계측 - ArgoCD

ArgoCD의 Application sync 완료를 감지해 배포 이벤트를 기록한다.

# argocd-notifications-cm에 sync 완료 트리거 추가
template.deployment-recorded: |
  webhook:
    four-keys-collector:
      method: POST
      path: /deployment
      body: |
        {
          "app": "{{.app.metadata.name}}",
          "revision": "{{.app.status.sync.revision}}",
          "deployed_at": "{{.app.status.operationState.finishedAt}}"
        }
trigger.on-sync-succeeded: |
  - when: app.status.operationState.phase in ['Succeeded']
    send: [deployment-recorded]

"배포"를 언제로 정의하느냐가 리드타임을 바꾼다. 후보는 최소 세 지점이다.

  1. Jenkins 빌드 성공 (이미지 push 완료)
  2. ArgoCD가 새 revision을 감지하고 sync를 시작한 시점
  3. ArgoCD sync가 Succeeded로 끝나고 실제로 클러스터에 반영이 끝난 시점 (위 트리거가 잡는 지점)

이 랩은 3번을 "배포"로 정의했다. 1번(빌드 성공)을 배포로 잡으면 리드타임이 실제보다 짧게 나온다 - GitOps 구조상 이미지가 빌드돼도 ArgoCD가 poll 주기(기본 3분)를 기다리거나 sync 승인을 기다리는 동안의 시간이 리드타임 계산에서 통째로 빠지기 때문이다. 반대로 2번(sync 시작)을 기준으로 잡으면, 헬스체크가 안정화되기 전에 "배포 완료"로 잡혀 실제로는 아직 트래픽을 받지 못하는 상태를 배포 완료로 오인할 수 있다. DORA가 원래 측정하려는 건 "코드가 사용자에게 도달하는 데 걸리는 시간"이므로, 클러스터 반영이 끝나고 헬스체크까지 통과한 시점(3번)을 쓰는 게 리드타임의 의미를 왜곡하지 않는다. 다만 이 선택은 곧 "sync 완료 이벤트가 반드시, 정확히 한 번 도착해야 리드타임이 정확하다"는 전제를 깔기 때문에, 아래 파이프라인 신뢰성 문제와 바로 연결된다.

3. 리드타임 계산 - 커밋 시각과 배포 시각의 차이

# 수집기 - 커밋 타임스탬프와 배포 타임스탬프를 매칭해 리드타임 계산
def record_deployment(app: str, revision: str, deployed_at: datetime):
    commit_time = get_commit_timestamp(revision)  # GitHub API
    lead_time_seconds = (deployed_at - commit_time).total_seconds()
    deployment_lead_time_seconds.labels(app=app).observe(lead_time_seconds)
    deployment_total.labels(app=app).inc()
# 배포 빈도 - 최근 7일 배포 횟수
increase(deployment_total[7d])

# 변경 리드타임 p50
histogram_quantile(0.5, rate(deployment_lead_time_seconds_bucket[7d]))

4. 변경 실패율 - 배포 직후 알림 발화 여부로 판정

배포 시각으로부터 15분 이내에 관련 서비스의 알림이 발화하면 "이 배포는 실패"로 간주한다.

def is_deployment_failed(app: str, deployed_at: datetime) -> bool:
    alerts = query_alertmanager_alerts(
        service=app,
        start=deployed_at,
        end=deployed_at + timedelta(minutes=15),
    )
    return len(alerts) > 0
# 변경 실패율
sum(deployment_failed_total) / sum(deployment_total) * 100

5. MTTR - Alertmanager 알림 시작~해제 시간

# 알림 발화(firing)부터 해제(resolved)까지 걸린 시간의 평균
avg(alertmanager_alert_resolved_timestamp - alertmanager_alert_firing_timestamp)

Alertmanager 자체는 이 값을 기본 제공하지 않으므로, 알림 webhook을 받아 firing/resolved 타임스탬프를 직접 기록하는 작은 수집기가 필요하다 - webhook receiver 하나를 새로 만들어 Discord 알림과 나란히 두면 된다.

6. Four Keys 파이프라인의 신뢰성 - 이벤트 누락과 중복

Four Keys든 이 랩의 축소판이든, 결국 Jenkins/ArgoCD/GitHub가 쏘는 webhook을 수집기가 받아 집계하는 구조다. 이 webhook은 at-least-once다 - ArgoCD notification과 GitHub webhook 둘 다 수집기가 5xx를 반환하거나 타임아웃되면 재전송한다. 즉 같은 배포 이벤트가 중복으로 들어올 수 있고, 반대로 수집기가 재시작되는 그 짧은 순간에 도착한 이벤트는 그냥 사라질 수 있다.

이게 왜 문제인가 - 각각이 지표를 반대 방향으로 왜곡한다.

  • 중복 집계: deployment_total이 실제보다 부풀어서 배포 빈도가 실제보다 높게 나온다. 등급표 근처에서는 이게 "Medium에서 High로 착시 승격"을 만들 수 있다.
  • 누락: 리드타임 히스토그램에서 샘플이 그냥 빠진다. 더 나쁜 건 누락이 무작위가 아니라는 점이다 - 수집기가 다운되는 시점은 대개 배포·알림이 몰리는 장애 상황과 겹치므로, 정작 리드타임이 길게 나왔어야 할 케이스가 통계에서 빠지고 남은 샘플은 평소보다 짧은 케이스로 편향될 수 있다.

대응은 두 가지다. 첫째, 배포 이벤트에 app + revision + finishedAt을 묶은 idempotency key를 부여하고 수집기에서 이 key로 중복 여부를 판정해 카운터를 다시 올리지 않는다.

def record_deployment(app: str, revision: str, deployed_at: datetime):
    event_key = f"{app}:{revision}:{deployed_at.isoformat()}"
    if not try_acquire_once(event_key):  # Redis SETNX 등으로 중복 여부 판정
        return  # 이미 처리된 이벤트, 카운터를 다시 올리지 않는다
    commit_time = get_commit_timestamp(revision)
    lead_time_seconds = (deployed_at - commit_time).total_seconds()
    deployment_lead_time_seconds.labels(app=app).observe(lead_time_seconds)
    deployment_total.labels(app=app).inc()

둘째, 누락은 애초에 완전히 막기 어려우니 "수집기가 실제로 몇 개의 이벤트를 받았는가"를 별도 메타 지표(collector_events_received_total vs deployment_total)로 남겨서, 두 값의 격차가 벌어지는 구간을 발견하면 그 구간의 DORA 지표는 신뢰 구간을 낮춰서 읽는다. 지표 파이프라인 자체의 신뢰도를 지표 옆에 같이 기록해두지 않으면, "지표가 나빠졌다"와 "이벤트를 놓쳤다"를 구분할 방법이 없다.

7. Grafana 대시보드 - DORA 4대 지표 한 화면

네 지표를 한 대시보드에 모으고, 기존 MSA 전환 수치(재배포 월10건→1건, 배포 4분→30초)를 DORA 지표로 다시 그려본다. 이 두 숫자를 지표에 그대로 대응시키면 다음과 같다.

기존 수치대응되는 DORA 지표실제로 말할 수 있는 것
재배포 월 10건 → 1건배포 빈도(의 맥락)배포 "횟수"가 줄어든 게 아니라, 모듈 결합 때문에 불필요하게 반복됐던 재배포가 사라졌다는 뜻. 이 숫자 자체는 배포 빈도 등급을 올려주지 않는다
배포 4분 → 30초변경 리드타임(의 일부 구간)빌드클러스터 반영까지 파이프라인 실행 시간이 줄었다는 뜻. 커밋빌드 시작 사이의 대기 시간까지 포함한 "진짜" 리드타임은 이 숫자만으로는 알 수 없다

즉 "월 10건 → 1건"은 배포 빈도가 오히려 줄어든 것처럼 보이지만, 실제로는 "재배포가 필요했던 원인(모듈 결합)" 자체가 사라진 것이고, "4분 → 30초"는 리드타임 중 파이프라인 구간만 줄인 것이다. 이 두 숫자가 설명하지 못하는 것도 분명히 남는다 - 변경 실패율과 MTTR은 이 리팩터링과 별개로 실측해야 한다. MSA 전환으로 배포 단위가 작아지면 통상 변경 실패율은 낮아지는 경향이 있지만(작은 변경은 실패 범위도 작다), 서비스가 여러 개로 쪼개지면서 장애 전파 경로가 복잡해져 MTTR은 오히려 늘어날 수도 있다 - 이건 추정이 아니라 위 5번 절차로 실제 알림 firing~resolved 데이터를 모아야 확인 가능한 값이다. 이 숫자의 의미와 한계를 대시보드 옆에 주석으로 남겨둔다(지표를 맹신하지 않고 맥락과 같이 읽어야 한다는 실습이기도 하다).

DORA 등급 해석의 함정 - 지표는 따로 보면 안 된다

DORA 지표 중 하나만 골라 개선하면 다른 지표가 나빠지는 경우가 흔하다. 배포 빈도를 억지로 끌어올리려고 변경 단위를 쪼개는 대신 그냥 배포 스케줄만 조이면, 검증이 덜 된 변경이 그대로 나가면서 변경 실패율이 같이 올라간다. 반대로 변경 실패율을 낮추겠다고 승인 단계를 늘리면 리드타임이 늘어나고 배포 빈도는 떨어진다. DORA 연구가 원래 하려던 주장은 이 둘이 상충되지 않고 같이 개선된다("빠른데 안전하다")는 것이었지만, 실제 조직에서는 측정이 쉬운 지표(배포 빈도) 하나만 KPI로 잡고 나머지를 방치하는 순간 이 상충이 그대로 드러난다.

그래서 넷 중 하나만 떼어 보고 "좋아졌다/나빠졌다"를 말하면 안 되고, 최소한 처리량 지표(배포 빈도·리드타임)와 안정성 지표(변경 실패율·MTTR)를 쌍으로 같이 읽어야 한다. 배포 빈도가 오르는데 변경 실패율도 같이 오른다면 "더 빠르게, 더 위험하게" 배포하고 있다는 뜻이고, 그건 개선이 아니라 위험을 뒤로 미룬 것이다. 위 등급표의 밴드도 이 두 축을 같이 봐야 등급이 아니라 "지금 우리가 속도와 안정성 중 어느 쪽을 깎아서 어느 쪽을 벌고 있는가"를 읽는 데 쓸 수 있다.

검증 방법

  • 실제로 배포 몇 번을 수행해 배포 빈도·리드타임이 대시보드에 정확히 집계되는지 확인
  • 같은 배포 webhook을 의도적으로 중복 전송해(재시도 시뮬레이션) deployment_total이 한 번만 증가하는지 확인
  • 수집기를 잠깐 내렸다 올려 그 사이 이벤트가 collector_events_received_total과 deployment_total의 격차로 드러나는지 확인
  • 의도적으로 실패하는 배포를 만들어(알림이 발화하도록) 변경 실패율에 반영되는지 확인
  • 그 알림을 수동으로 해제해 MTTR이 기록되는지 확인
  • 기존 MSA 전환 수치를 이 지표들로 재해석했을 때 논리적으로 설명되는지, 그리고 이 수치만으로 설명되지 않는 지표(변경 실패율·MTTR)는 별도로 실측했는지 (숫자만 보고 등급을 매기지 않고, 왜 그런 숫자가 나왔는지 설명 가능한지)

체크리스트

  • ArgoCD sync 완료 이벤트를 배포 이벤트로 계측 (빌드 성공이 아닌 클러스터 반영 완료 시점 기준)
  • 커밋~배포 리드타임 계산 및 히스토그램화
  • 배포 이벤트에 idempotency key를 부여해 중복 집계 방지
  • collector_events_received_total 등 파이프라인 자체의 이벤트 누락 여부를 별도로 계측
  • 배포 직후 알림 발화 여부로 변경 실패율 판정
  • Alertmanager firing~resolved로 MTTR 계측
  • DORA 4대 지표 Grafana 대시보드 구성
  • 기존 MSA 전환 성과 수치를 DORA 지표로 재해석해 설명 남기기 (배포 빈도·리드타임에 대응되는 부분과, 별도 실측이 필요한 변경 실패율·MTTR을 구분)