SLI/SLO/에러 버짓을 실제로 계산해서 배포 판단 기준으로 써보기
SLI(측정값)·SLO(목표치)·SLA(계약)의 관계부터, 카운터 API의 성공률을 SLI로 정의하고 Prometheus recording rule로 에러 버짓 소진률을 계산해 Grafana 대시보드로 보는 절차. 에러 버짓 소진 시 배포를 멈추는 정책까지.
목표
"가용성 99.9%를 목표로 한다"는 문장을 실제로 계산 가능한 숫자로 만든다. SLI를 정의하고, SLO 대비 에러 버짓이 얼마나 남았는지를 Prometheus recording rule로 실시간 계산해, "지금 신규 기능을 더 배포해도 되는지, 안정화에 집중해야 하는지"를 감으로 판단하지 않고 숫자로 판단하는 체계를 만든다.
개념: SLI → SLO → SLA, 그리고 에러 버짓
- SLI(Service Level Indicator): 실제로 측정하는 지표 자체. 예 - "요청 중 성공(2xx/3xx) 비율", "p95 응답시간".
- SLO(Service Level Objective): 그 SLI에 대한 내부 목표치. 예 - "성공 비율 99.9% 이상".
- SLA(Service Level Agreement): SLO를 어겼을 때 페널티가 따르는 대외 계약. 이 랩은 개인 프로젝트라 SLA는 없고 SLO까지만 다룬다.
**에러 버짓(Error Budget)**은 SLO의 반대편이다 - SLO가 99.9%면, 0.1%는 "실패해도 되는 예산"이다. 한 달(30일) 기준으로 계산하면:
전체 요청 예상치: 30일 × 86400초 × 평균 QPS
허용 가능한 실패 요청 수 = 전체 요청 × (1 - 0.999) = 전체 요청 × 0.001
이 예산을 다 쓰면(에러 버짓 소진) 배포를 멈추고 안정화에 집중한다 - "장애가 있었다/없었다"가 아니라 "이번 달에 쓸 수 있는 실패 예산이 몇 % 남았는가"로 운영 판단을 내리는 게 이 개념의 핵심이다.
SLO를 잘못 잡으면 벌어지는 일
숫자를 정하는 것 자체가 이 작업에서 가장 실수하기 쉬운 부분이다.
- 너무 느슨한 SLO (예: 이미 항상 99.99%를 유지하고 있는 서비스에 목표를 99%로 건다): 에러 버짓이 거의 소진되지 않아 이 체계가 있어도 없어도 배포 판단에 아무 영향을 주지 못한다. "목표를 지켰다"는 착각만 주고, 실제로 사용자가 느끼는 품질 저하는 전혀 잡아내지 못하는 죽은 지표가 된다.
- 너무 엄격한 SLO (예: 의존 서비스·인프라의 실제 안정성 한계를 무시하고 99.99%를 건다): 에러 버짓이 상시 소진 상태가 되어 알림이 항상 울리고 배포가 항상 막힌다. 이 상태가 반복되면 팀은 알림을 무시하거나 정책 자체를 우회하기 시작한다 - 울면 안 되는 늑대가 계속 울면 아무도 안 온다는 게 SLO 알림에도 그대로 적용된다.
기준은 "몇 %가 기술적으로 달성 가능한가"가 아니라 "사용자가 실제로 체감하는 실패율이 어디부터 불만·이탈로 이어지는가"여야 한다. 이 랩에서 SLO를 정하는 순서는:
- 지난 N일간의 실측 성공률(별다른 장애 없이 운영된 기간의 실제 값)을 먼저 확인한다 - 이론상 최댓값(99.99% 이상)을 목표로 처음부터 걸지 않는다.
- 그 실측치보다 살짝 낮은 지점을 SLO로 잡는다 - 이미 달성해온 수준에서 여유(buffer)를 주는 정도로 시작한다.
- 비즈니스 임팩트가 큰 실패(결제·인증처럼 사용자가 바로 이탈하는 경로)와 임팩트가 낮은 실패(백그라운드 배치 재시도로 스스로 복구되는 경로)를 같은 SLO로 묶지 않는다 - 엔드포인트/도메인 단위로 SLO를 쪼갠다.
- 몇 주 운영해 보고 버짓이 항상 여유 있으면(느슨함) 목표를 올리고, 항상 바닥나면(엄격함) 목표를 낮추거나 원인(의존 서비스 불안정 등)을 먼저 고친다 - SLO는 한 번 정하고 끝내는 숫자가 아니라 반복적으로 보정하는 값이다.
실제 구축 절차
1. SLI 정의 - 카운터 API의 성공률
시리즈 6에서 만든 api-server의 요청 성공률을 SLI로 삼는다. Prometheus가 이미 http_requests_total{status=~"..."}을 수집하고 있으므로 추가 계측은 필요 없다.
# SLI: 최근 5분간 성공(non-5xx) 비율
sum(rate(http_requests_total{status!~"5.."}[5m]))
/
sum(rate(http_requests_total[5m]))
2. SLO 목표 설정 + recording rule
매번 이 쿼리를 새로 계산하지 않도록 recording rule로 미리 구워둔다 - 대시보드·알림 양쪽에서 재사용하기 위해서다.
# prometheus-rules/slo.yaml
groups:
- name: api-server-slo
rules:
- record: sli:availability:ratio_rate5m
expr: |
sum(rate(http_requests_total{status!~"5.."}[5m]))
/
sum(rate(http_requests_total[5m]))
- record: slo:availability:target
expr: vector(0.999) # SLO 99.9%
3. 에러 버짓 소진률 계산 - 그리고 왜 윈도우 하나로는 부족한가
**소진률(burn rate)**은 "지금 속도로 계속 실패하면 에러 버짓이 얼마나 빨리 바닥나는가"를 나타내는 배수다. 1배면 정확히 SLO 기간(30일) 동안 예산을 다 쓰는 속도, 14.4배면 약 2일 만에 다 쓰는 속도라는 뜻이다.
- record: slo:error_budget:burn_rate1h
expr: |
(1 - sli:availability:ratio_rate5m)
/
(1 - slo:availability:target)
문제는 이 계산에 어떤 rate 윈도우를 쓰느냐다.
- 짧은 윈도우(5분)만 본다: 배포 직후 잠깐 튀는 5xx, 헬스체크 몇 번의 실패처럼 몇 분 안에 스스로 회복되는 스파이크에도 즉시 알림이 울린다. 오탐이 반복되면 앞서 말한 "너무 엄격한 SLO"와 똑같은 결과로 이어진다 - 팀이 알림을 끄기 시작한다.
- 긴 윈도우(6시간, 24시간)만 본다: 노이즈에는 강하지만, 실제 장애가 터진 뒤에도 평균이 서서히 밀리기 때문에 알림이 뜨는 시점이 늦다. 이미 버짓의 상당 부분을 태운 뒤에야 알게 된다.
Google SRE 워크북이 제안하는 해법은 긴 윈도우와 짧은 윈도우 두 개를 같은 소진률 임계치로 동시에 만족해야 알림이 울리게 하는 것이다 - 긴 윈도우는 "일시적 스파이크가 아니라 지속되는 문제"임을 확인하고, 짧은 윈도우는 "그 문제가 지금도 진행 중"임을 확인한다. 둘 중 하나만 넘으면 울리지 않는다.
# 긴 윈도우 / 짧은 윈도우 각각의 소진률
- record: slo:error_budget:burn_rate1h
expr: |
(1 - (sum(rate(http_requests_total{status!~"5.."}[1h])) / sum(rate(http_requests_total[1h]))))
/
(1 - slo:availability:target)
- record: slo:error_budget:burn_rate5m
expr: |
(1 - sli:availability:ratio_rate5m)
/
(1 - slo:availability:target)
- record: slo:error_budget:burn_rate6h
expr: |
(1 - (sum(rate(http_requests_total{status!~"5.."}[6h])) / sum(rate(http_requests_total[6h]))))
/
(1 - slo:availability:target)
- record: slo:error_budget:burn_rate30m
expr: |
(1 - (sum(rate(http_requests_total{status!~"5.."}[30m])) / sum(rate(http_requests_total[30m]))))
/
(1 - slo:availability:target)
# fast burn: 이 속도면 30일 예산을 1시간 안에 약 2% 태운다
- alert: ErrorBudgetFastBurn
expr: |
slo:error_budget:burn_rate1h > 14.4
and
slo:error_budget:burn_rate5m > 14.4
for: 2m
labels: { severity: critical }
annotations:
summary: "에러 버짓이 2일 안에 소진될 속도로 타는 중(1h·5m 윈도우 모두 위반) - 배포 중단, 즉시 대응"
# slow burn: 이 속도면 30일 예산을 6시간 안에 5% 태운다
- alert: ErrorBudgetSlowBurn
expr: |
slo:error_budget:burn_rate6h > 6
and
slo:error_budget:burn_rate30m > 6
for: 15m
labels: { severity: warning }
annotations:
summary: "에러 버짓이 5일 안에 소진될 속도로 타는 중(6h·30m 윈도우 모두 위반) - 배포 보류 검토"
14.4와 6이라는 숫자는 "30일 예산을 며칠 만에 다 쓰는 속도인가"를 거꾸로 계산해서 나온 값이다.
14.4≈ 30일 ÷ 2일. 이 속도가 1시간 지속되면 30일치 버짓의 약 2%(= 1h / 48h)를 태운다 - 짧은 시간에 큰 비율을 태우므로 즉시 대응(critical)해야 한다.6≈ 30일 ÷ 5일. 이 속도가 6시간 지속되면 버짓의 5%(= 6h / 120h)를 태운다 - fast burn보다 여유는 있지만 방치하면 며칠 안에 소진되므로 경고(warning) 수준으로 배포 보류를 검토한다.
for: 2m/for: 15m는 짧은 윈도우 쪽 값이 순간적으로 튀는 경우까지 걸러내는 최소 지속 시간이다 - 긴 윈도우·짧은 윈도우 동시 조건에 지속 시간까지 더해 3중으로 오탐을 줄이는 구조다.
4. Grafana 대시보드 - 에러 버짓 잔여량
# 이번 SLO 기간(30일) 동안 남은 에러 버짓 비율 (0~100%)
100 * (
1 - (
(1 - avg_over_time(sli:availability:ratio_rate5m[30d]))
/
(1 - slo:availability:target)
)
)
이 값을 Grafana 게이지 패널로 만들어, "남은 에러 버짓 몇 %"를 항상 볼 수 있게 한다. 0%에 가까워지면 배포를 멈추는 정책을 팀 규칙(또는 개인 랩이면 스스로의 규칙)으로 정해둔다.
5. 배포 게이트 자동화 - CI/CD가 배포 직전에 에러 버짓을 직접 묻게 하기
Grafana 게이지로 버짓 잔여량을 "보이게" 만드는 것과, 그 값을 근거로 배포를 실제로 막는 것은 다른 일이다. 게이지만 있으면 결국 배포 담당자가 "지금 대시보드 한번 보고" 판단하는 수동 확인에 머문다 - 여기서 몇 가지 문제가 생긴다.
- 배포가 급하면(장애 대응, 데드라인) 대시보드를 확인하는 단계 자체를 건너뛰기 쉽다.
- 사람마다 "몇 % 남았으면 배포해도 되는지"의 기준이 다르다 - 어제는 20% 남아서 배포했는데 오늘은 25% 남았는데 막는 식의 비일관성이 생긴다.
- "그때 왜 배포를 막았는지/막지 않았는지"에 대한 기록이 대화나 기억에만 남고, 파이프라인 로그에는 남지 않는다.
이걸 CI/CD의 배포 단계 앞에 게이트 스텝으로 넣으면 이 판단이 코드로 고정된다. 배포 스크립트가 Prometheus HTTP API를 직접 쿼리해서 잔여 버짓을 읽고, 임계치 미만이면 파이프라인을 실패시켜 이후 배포 스텝 자체가 실행되지 않게 한다.
#!/usr/bin/env bash
# scripts/check-error-budget.sh - 배포 전 에러 버짓 게이트
set -euo pipefail
PROM_URL="http://prometheus:9090"
THRESHOLD="${ERROR_BUDGET_MIN_PERCENT:-10}" # 잔여 버짓이 이 % 미만이면 배포 차단
QUERY='100 * (1 - ((1 - avg_over_time(sli:availability:ratio_rate5m[30d])) / (1 - slo:availability:target)))'
REMAINING=$(curl -s --data-urlencode "query=${QUERY}" "${PROM_URL}/api/v1/query" \
| jq -r '.data.result[0].value[1]')
echo "잔여 에러 버짓: ${REMAINING}% (차단 임계치: ${THRESHOLD}%)"
if (( $(echo "${REMAINING} < ${THRESHOLD}" | bc -l) )); then
echo "에러 버짓 부족 - 배포를 차단합니다. force_deploy 옵션으로 재실행하면 예외 배포가 가능합니다."
exit 1
fi
# .github/workflows/deploy.yml (일부)
jobs:
deploy:
steps:
- name: Check error budget gate
if: ${{ !inputs.force_deploy }}
run: ./scripts/check-error-budget.sh
- name: Deploy
run: ./scripts/deploy.sh
핵심은 force_deploy처럼 예외 경로를 명시적으로 남겨두는 것이다. 에러 버짓이 소진된 상황에서도 배포해야 하는 경우가 실제로 있다 - 지금 버짓을 태우고 있는 그 장애를 고치는 핫픽스가 대표적이다. 예외 배포를 아예 막으면 정책이 오히려 장애 복구를 지연시킨다. 대신 예외 경로를 밟으면 그 사실(누가, 언제, 왜 강제 배포했는지)이 파이프라인 실행 기록에 그대로 남도록 해서, "수동 확인"이 아니라 "감사 가능한 예외"로 만드는 게 자동화 게이트와 수동 확인의 실질적인 차이다.
검증 방법
- 의도적으로
api-server에서 5xx를 일부러 반환하는 엔드포인트를 호출해 SLI가 실제로 떨어지는지 확인 - 짧게(몇 분) 유지해서
ErrorBudgetFastBurn만 발화하고ErrorBudgetSlowBurn은 조건을 안 채우는지, 5xx를 멈춘 직후 스파이크에는 알림이 안 울리는지(짧은 윈도우만으로는 알림이 나가지 않아야 함) 확인 - 더 오래(30분 이상) 유지해서
ErrorBudgetSlowBurn도 발화하는지 확인 - Grafana 게이지에서 에러 버짓 잔여량이 감소하는 게 실시간으로 보이는지 확인
- 5xx 유발을 멈춘 뒤 시간이 지나면서 소진률이 다시 낮아지는지(버짓이 서서히 회복되는지) 확인
- 잔여 버짓이 임계치 미만인 상태에서
check-error-budget.sh를 실행해 CI가 실제로 배포를 막는지,force_deploy예외 경로가 파이프라인 로그에 기록되는지 확인
체크리스트
- SLI(성공률) PromQL 정의, recording rule로 저장
- SLO 목표치 설정 - 임의로 정하지 않고 실측 성공률 기반으로 보정
- 멀티윈도우 멀티소진률 알림 규칙(fast burn 1h+5m, slow burn 6h+30m) 작성
- Grafana 에러 버짓 잔여량 게이지 대시보드
- 배포 파이프라인에 에러 버짓 게이트 스크립트 연결, 예외 배포(force_deploy) 경로 포함
- 의도적 장애 주입으로 알림 발화 및 배포 게이트 차단 동작 검증