번외: DORA 4대 지표를 Four Keys로 자동 집계해보기
배포 빈도·변경 리드타임·변경 실패율·서비스 복구 시간(MTTR), DORA 4대 지표를 구글 오픈소스 Four Keys로 Jenkins/ArgoCD/GitHub 이벤트에서 자동 집계하는 절차. 기존 재배포 월10건→1건, 배포 4분→30초 수치를 DORA 등급으로 재해석한다.
목표
"배포가 빨라졌다"를 감이 아니라 업계 표준 지표로 측정한다. DORA(DevOps Research and Assessment) 4대 지표를 정의하고, Google이 공개한 오픈소스 Four Keys로 Jenkins/ArgoCD/GitHub 이벤트에서 자동 집계되게 만든다. MSA 전환 때 이미 만든 "재배포 월 10건→1건, 배포 4분→30초" 수치를 이 프레임워크로 다시 해석해본다.
개념: DORA 4대 지표
| 지표 | 의미 | 이 랩에서의 데이터 소스 |
|---|---|---|
| 배포 빈도(Deployment Frequency) | 얼마나 자주 프로덕션에 배포하는가 | ArgoCD 배포 완료 이벤트 |
| 변경 리드타임(Lead Time for Changes) | 커밋부터 프로덕션 배포까지 걸리는 시간 | GitHub 커밋 타임스탬프 ↔ ArgoCD 배포 타임스탬프 |
| 변경 실패율(Change Failure Rate) | 배포 중 몇 %가 장애·롤백을 유발하는가 | ArgoCD 롤백 이벤트, 배포 직후 알림 발화 여부 |
| 서비스 복구 시간(MTTR) | 장애 발생부터 복구까지 걸리는 시간 | Alertmanager 알림 시작~해제 타임스탬프 |
이 4개를 기준으로 Elite/High/Medium/Low 등급을 나눈다. 구글의 State of DevOps Report(2023년 기준) 경계값을 대략 옮기면 다음과 같다.
| 등급 | 배포 빈도 | 리드타임 | 변경 실패율 | MTTR |
|---|---|---|---|---|
| Elite | 하루 여러 번(on-demand) | 1시간 미만 | 5~10% | 1시간 미만 |
| High | 주 1회~월 1회 | 1일~1주 | 10~15% | 1일 미만 |
| Medium | 월 1회~반년 1회 | 1주~6개월 | 15~20%대 | 1일~1주 |
| Low | 반년 1회 미만 | 6개월 이상 | 20% 이상 | 1주~1개월 |
배포 빈도만 보면 "주 1회 이상"이 대략 Elite/High와 Medium 이하를 가르는 경계선이다 - 다만 이 숫자는 리포트 연도마다 조금씩 움직인다(2021년 리포트와 2023년 리포트의 변경 실패율 밴드 구분도 서로 다르다). 그래서 이 표를 어느 조직에나 그대로 들이대는 건 위험하다.
- 이 조사는 대부분 웹/SaaS 기업의 자기보고(self-reported) 데이터다. 배포 한 번의 영향 범위가 큰 금융권 코어 시스템이나 배포 자체가 드문 임베디드/온프레미스 도메인에 "하루 여러 번 배포"를 목표로 강제하면 위험 관리가 오히려 무너진다.
- 팀/서비스 규모가 작을수록 변경 실패율 같은 비율 지표는 표본이 작아 노이즈에 취약하다 - 한 달에 배포 3번인 팀에서 1번 실패하면 변경 실패율이 33%로 튀는데, 이걸 곧이곧대로 "Low 등급"으로 해석하는 건 통계적으로 의미가 없다.
등급 자체보다 **"우리 팀이 지금 어느 지표에서 병목인지, 그 병목이 시간에 따라 어떻게 움직이는지"**를 알려주는 도구로 쓰는 게 핵심이다.
실제 구축 절차
1. Four Keys 설치
Four Keys는 원래 BigQuery(GCP)를 기본 백엔드로 가정하지만, 이 랩은 이미 Prometheus 생태계이므로 이벤트 수집 부분만 개념적으로 차용하고 실제 저장은 Prometheus Pushgateway로 대체한다.
git clone https://github.com/GoogleCloudPlatform/fourkeys.git
2. 배포 이벤트 계측 - ArgoCD
ArgoCD의 Application sync 완료를 감지해 배포 이벤트를 기록한다.
# argocd-notifications-cm에 sync 완료 트리거 추가
template.deployment-recorded: |
webhook:
four-keys-collector:
method: POST
path: /deployment
body: |
{
"app": "{{.app.metadata.name}}",
"revision": "{{.app.status.sync.revision}}",
"deployed_at": "{{.app.status.operationState.finishedAt}}"
}
trigger.on-sync-succeeded: |
- when: app.status.operationState.phase in ['Succeeded']
send: [deployment-recorded]
"배포"를 언제로 정의하느냐가 리드타임을 바꾼다. 후보는 최소 세 지점이다.
- Jenkins 빌드 성공 (이미지 push 완료)
- ArgoCD가 새 revision을 감지하고 sync를 시작한 시점
- ArgoCD sync가
Succeeded로 끝나고 실제로 클러스터에 반영이 끝난 시점 (위 트리거가 잡는 지점)
이 랩은 3번을 "배포"로 정의했다. 1번(빌드 성공)을 배포로 잡으면 리드타임이 실제보다 짧게 나온다 - GitOps 구조상 이미지가 빌드돼도 ArgoCD가 poll 주기(기본 3분)를 기다리거나 sync 승인을 기다리는 동안의 시간이 리드타임 계산에서 통째로 빠지기 때문이다. 반대로 2번(sync 시작)을 기준으로 잡으면, 헬스체크가 안정화되기 전에 "배포 완료"로 잡혀 실제로는 아직 트래픽을 받지 못하는 상태를 배포 완료로 오인할 수 있다. DORA가 원래 측정하려는 건 "코드가 사용자에게 도달하는 데 걸리는 시간"이므로, 클러스터 반영이 끝나고 헬스체크까지 통과한 시점(3번)을 쓰는 게 리드타임의 의미를 왜곡하지 않는다. 다만 이 선택은 곧 "sync 완료 이벤트가 반드시, 정확히 한 번 도착해야 리드타임이 정확하다"는 전제를 깔기 때문에, 아래 파이프라인 신뢰성 문제와 바로 연결된다.
3. 리드타임 계산 - 커밋 시각과 배포 시각의 차이
# 수집기 - 커밋 타임스탬프와 배포 타임스탬프를 매칭해 리드타임 계산
def record_deployment(app: str, revision: str, deployed_at: datetime):
commit_time = get_commit_timestamp(revision) # GitHub API
lead_time_seconds = (deployed_at - commit_time).total_seconds()
deployment_lead_time_seconds.labels(app=app).observe(lead_time_seconds)
deployment_total.labels(app=app).inc()
# 배포 빈도 - 최근 7일 배포 횟수
increase(deployment_total[7d])
# 변경 리드타임 p50
histogram_quantile(0.5, rate(deployment_lead_time_seconds_bucket[7d]))
4. 변경 실패율 - 배포 직후 알림 발화 여부로 판정
배포 시각으로부터 15분 이내에 관련 서비스의 알림이 발화하면 "이 배포는 실패"로 간주한다.
def is_deployment_failed(app: str, deployed_at: datetime) -> bool:
alerts = query_alertmanager_alerts(
service=app,
start=deployed_at,
end=deployed_at + timedelta(minutes=15),
)
return len(alerts) > 0
# 변경 실패율
sum(deployment_failed_total) / sum(deployment_total) * 100
5. MTTR - Alertmanager 알림 시작~해제 시간
# 알림 발화(firing)부터 해제(resolved)까지 걸린 시간의 평균
avg(alertmanager_alert_resolved_timestamp - alertmanager_alert_firing_timestamp)
Alertmanager 자체는 이 값을 기본 제공하지 않으므로, 알림 webhook을 받아 firing/resolved 타임스탬프를 직접 기록하는 작은 수집기가 필요하다 - webhook receiver 하나를 새로 만들어 Discord 알림과 나란히 두면 된다.
6. Four Keys 파이프라인의 신뢰성 - 이벤트 누락과 중복
Four Keys든 이 랩의 축소판이든, 결국 Jenkins/ArgoCD/GitHub가 쏘는 webhook을 수집기가 받아 집계하는 구조다. 이 webhook은 at-least-once다 - ArgoCD notification과 GitHub webhook 둘 다 수집기가 5xx를 반환하거나 타임아웃되면 재전송한다. 즉 같은 배포 이벤트가 중복으로 들어올 수 있고, 반대로 수집기가 재시작되는 그 짧은 순간에 도착한 이벤트는 그냥 사라질 수 있다.
이게 왜 문제인가 - 각각이 지표를 반대 방향으로 왜곡한다.
- 중복 집계:
deployment_total이 실제보다 부풀어서 배포 빈도가 실제보다 높게 나온다. 등급표 근처에서는 이게 "Medium에서 High로 착시 승격"을 만들 수 있다. - 누락: 리드타임 히스토그램에서 샘플이 그냥 빠진다. 더 나쁜 건 누락이 무작위가 아니라는 점이다 - 수집기가 다운되는 시점은 대개 배포·알림이 몰리는 장애 상황과 겹치므로, 정작 리드타임이 길게 나왔어야 할 케이스가 통계에서 빠지고 남은 샘플은 평소보다 짧은 케이스로 편향될 수 있다.
대응은 두 가지다. 첫째, 배포 이벤트에 app + revision + finishedAt을 묶은 idempotency key를 부여하고 수집기에서 이 key로 중복 여부를 판정해 카운터를 다시 올리지 않는다.
def record_deployment(app: str, revision: str, deployed_at: datetime):
event_key = f"{app}:{revision}:{deployed_at.isoformat()}"
if not try_acquire_once(event_key): # Redis SETNX 등으로 중복 여부 판정
return # 이미 처리된 이벤트, 카운터를 다시 올리지 않는다
commit_time = get_commit_timestamp(revision)
lead_time_seconds = (deployed_at - commit_time).total_seconds()
deployment_lead_time_seconds.labels(app=app).observe(lead_time_seconds)
deployment_total.labels(app=app).inc()
둘째, 누락은 애초에 완전히 막기 어려우니 "수집기가 실제로 몇 개의 이벤트를 받았는가"를 별도 메타 지표(collector_events_received_total vs deployment_total)로 남겨서, 두 값의 격차가 벌어지는 구간을 발견하면 그 구간의 DORA 지표는 신뢰 구간을 낮춰서 읽는다. 지표 파이프라인 자체의 신뢰도를 지표 옆에 같이 기록해두지 않으면, "지표가 나빠졌다"와 "이벤트를 놓쳤다"를 구분할 방법이 없다.
7. Grafana 대시보드 - DORA 4대 지표 한 화면
네 지표를 한 대시보드에 모으고, 기존 MSA 전환 수치(재배포 월10건→1건, 배포 4분→30초)를 DORA 지표로 다시 그려본다. 이 두 숫자를 지표에 그대로 대응시키면 다음과 같다.
| 기존 수치 | 대응되는 DORA 지표 | 실제로 말할 수 있는 것 |
|---|---|---|
| 재배포 월 10건 → 1건 | 배포 빈도(의 맥락) | 배포 "횟수"가 줄어든 게 아니라, 모듈 결합 때문에 불필요하게 반복됐던 재배포가 사라졌다는 뜻. 이 숫자 자체는 배포 빈도 등급을 올려주지 않는다 |
| 배포 4분 → 30초 | 변경 리드타임(의 일부 구간) | 빌드 |
즉 "월 10건 → 1건"은 배포 빈도가 오히려 줄어든 것처럼 보이지만, 실제로는 "재배포가 필요했던 원인(모듈 결합)" 자체가 사라진 것이고, "4분 → 30초"는 리드타임 중 파이프라인 구간만 줄인 것이다. 이 두 숫자가 설명하지 못하는 것도 분명히 남는다 - 변경 실패율과 MTTR은 이 리팩터링과 별개로 실측해야 한다. MSA 전환으로 배포 단위가 작아지면 통상 변경 실패율은 낮아지는 경향이 있지만(작은 변경은 실패 범위도 작다), 서비스가 여러 개로 쪼개지면서 장애 전파 경로가 복잡해져 MTTR은 오히려 늘어날 수도 있다 - 이건 추정이 아니라 위 5번 절차로 실제 알림 firing~resolved 데이터를 모아야 확인 가능한 값이다. 이 숫자의 의미와 한계를 대시보드 옆에 주석으로 남겨둔다(지표를 맹신하지 않고 맥락과 같이 읽어야 한다는 실습이기도 하다).
DORA 등급 해석의 함정 - 지표는 따로 보면 안 된다
DORA 지표 중 하나만 골라 개선하면 다른 지표가 나빠지는 경우가 흔하다. 배포 빈도를 억지로 끌어올리려고 변경 단위를 쪼개는 대신 그냥 배포 스케줄만 조이면, 검증이 덜 된 변경이 그대로 나가면서 변경 실패율이 같이 올라간다. 반대로 변경 실패율을 낮추겠다고 승인 단계를 늘리면 리드타임이 늘어나고 배포 빈도는 떨어진다. DORA 연구가 원래 하려던 주장은 이 둘이 상충되지 않고 같이 개선된다("빠른데 안전하다")는 것이었지만, 실제 조직에서는 측정이 쉬운 지표(배포 빈도) 하나만 KPI로 잡고 나머지를 방치하는 순간 이 상충이 그대로 드러난다.
그래서 넷 중 하나만 떼어 보고 "좋아졌다/나빠졌다"를 말하면 안 되고, 최소한 처리량 지표(배포 빈도·리드타임)와 안정성 지표(변경 실패율·MTTR)를 쌍으로 같이 읽어야 한다. 배포 빈도가 오르는데 변경 실패율도 같이 오른다면 "더 빠르게, 더 위험하게" 배포하고 있다는 뜻이고, 그건 개선이 아니라 위험을 뒤로 미룬 것이다. 위 등급표의 밴드도 이 두 축을 같이 봐야 등급이 아니라 "지금 우리가 속도와 안정성 중 어느 쪽을 깎아서 어느 쪽을 벌고 있는가"를 읽는 데 쓸 수 있다.
검증 방법
- 실제로 배포 몇 번을 수행해 배포 빈도·리드타임이 대시보드에 정확히 집계되는지 확인
- 같은 배포 webhook을 의도적으로 중복 전송해(재시도 시뮬레이션)
deployment_total이 한 번만 증가하는지 확인 - 수집기를 잠깐 내렸다 올려 그 사이 이벤트가
collector_events_received_total과deployment_total의 격차로 드러나는지 확인 - 의도적으로 실패하는 배포를 만들어(알림이 발화하도록) 변경 실패율에 반영되는지 확인
- 그 알림을 수동으로 해제해 MTTR이 기록되는지 확인
- 기존 MSA 전환 수치를 이 지표들로 재해석했을 때 논리적으로 설명되는지, 그리고 이 수치만으로 설명되지 않는 지표(변경 실패율·MTTR)는 별도로 실측했는지 (숫자만 보고 등급을 매기지 않고, 왜 그런 숫자가 나왔는지 설명 가능한지)
체크리스트
- ArgoCD sync 완료 이벤트를 배포 이벤트로 계측 (빌드 성공이 아닌 클러스터 반영 완료 시점 기준)
- 커밋~배포 리드타임 계산 및 히스토그램화
- 배포 이벤트에 idempotency key를 부여해 중복 집계 방지
-
collector_events_received_total등 파이프라인 자체의 이벤트 누락 여부를 별도로 계측 - 배포 직후 알림 발화 여부로 변경 실패율 판정
- Alertmanager firing~resolved로 MTTR 계측
- DORA 4대 지표 Grafana 대시보드 구성
- 기존 MSA 전환 성과 수치를 DORA 지표로 재해석해 설명 남기기 (배포 빈도·리드타임에 대응되는 부분과, 별도 실측이 필요한 변경 실패율·MTTR을 구분)