ObservabilityDevOps 학습 로드맵 · 8/28편

SLI/SLO/에러 버짓을 실제로 계산해서 배포 판단 기준으로 써보기

SLI(측정값)·SLO(목표치)·SLA(계약)의 관계부터, 카운터 API의 성공률을 SLI로 정의하고 Prometheus recording rule로 에러 버짓 소진률을 계산해 Grafana 대시보드로 보는 절차. 에러 버짓 소진 시 배포를 멈추는 정책까지.

2026-07-2716 min read
#SLI#SLO#에러 버짓#Prometheus#Grafana#SRE#CI/CD
DevOps 학습 로드맵시리즈 목차
1채용공고 요구사항 6개 중 자신 있게 답할 수 있는 게 절반도 안 됐다2kubeadm으로 온프레미스 Kubernetes 클러스터를 처음부터 세우는 절차3FastAPI 서비스 골격, RabbitMQ DLQ, Harbor+Trivy, Jenkins→ArgoCD 파이프라인 구축 절차4Argo Rollouts로 카나리 배포와 Prometheus 메트릭 기반 자동 롤백 붙이기5yaml 복붙 관리의 드리프트 문제를 Kustomize overlay로 구조화하기6Terraform과 Ansible로 클러스터를 코드에서 다시 세울 수 있게 만드는 절차7Prometheus·Loki·OpenTelemetry로 세운 관측 스택 - 메트릭·로그·트레이스를 하나로8관측 스택이 진짜로 장애를 잡는가 - 노드 다운·OOMKill·디스크풀 직접 주입해보기9SLI/SLO/에러 버짓을 실제로 계산해서 배포 판단 기준으로 써보기10임계값 없이 - 통계 기반 이상탐지로 Datadog Watchdog 흉내내기11Grafana OnCall로 PagerDuty 없이 온콜·에스컬레이션 구현하기12자체 JWT 구현부터 취약점 실험, Keycloak 마이그레이션까지의 실제 절차13ISMS-P 인프라 영역 심사를 가정하고 내 클러스터의 증적을 만드는 절차14SealedSecret이 못 남기는 것 - OpenBao + External Secrets Operator로 감사 로그 확보하기15번외: 더미 워커를 실제 ONNX 추론으로, GPU 스케줄링까지 교체하는 절차16번외: 인터넷을 완전히 끊고도 클러스터가 돌아가는지 - 폐쇄망(에어갭) 시뮬레이션 절차17번외: 부하테스트로 관측 스택을 실전 검증하기 - k6 + HPA + MSA 파이프라인18번외: DORA 4대 지표를 Four Keys로 자동 집계해보기19실무와 다른 4가지를 채우려고 로드맵을 이렇게 짰다20OpenSearch·Loki·Datadog, 로그 스택은 왜 하나로 안 끝나는가21Control-Plane HA는 언제 정당한가 - etcd 쿼럼, kube-vip 페일오버, cordon/drain의 수학22OpenTelemetry는 무엇을 표준화하는가 - Prometheus·Grafana·Loki·Tempo가 실제로 맞물리는 지점23Helm은 템플릿 도구가 아니라 릴리스 버전 관리자다24카나리 배포와 블루그린 배포, 뭐가 다르고 언제 뭘 써야 하는가25SRE는 정확히 무엇을 하는 직군인가 - '운영을 소프트웨어 문제로 본다'는 말의 실체26온콜은 왜 필요하고, 어떻게 지속 가능하게 운영하는가27IaC는 한 계층이 아니다 - Terraform·Packer·Helm이 각각 다루는 것, 그리고 RKE2 vs kubeadm28SLI·SLO·에러 버짓과 온콜·에스컬레이션 - 숫자로 문제를 정의하고 사람에게 연결하기

목표

"가용성 99.9%를 목표로 한다"는 문장을 실제로 계산 가능한 숫자로 만든다. SLI를 정의하고, SLO 대비 에러 버짓이 얼마나 남았는지를 Prometheus recording rule로 실시간 계산해, "지금 신규 기능을 더 배포해도 되는지, 안정화에 집중해야 하는지"를 감으로 판단하지 않고 숫자로 판단하는 체계를 만든다.

개념: SLI → SLO → SLA, 그리고 에러 버짓

  • SLI(Service Level Indicator): 실제로 측정하는 지표 자체. 예 - "요청 중 성공(2xx/3xx) 비율", "p95 응답시간".
  • SLO(Service Level Objective): 그 SLI에 대한 내부 목표치. 예 - "성공 비율 99.9% 이상".
  • SLA(Service Level Agreement): SLO를 어겼을 때 페널티가 따르는 대외 계약. 이 랩은 개인 프로젝트라 SLA는 없고 SLO까지만 다룬다.

**에러 버짓(Error Budget)**은 SLO의 반대편이다 - SLO가 99.9%면, 0.1%는 "실패해도 되는 예산"이다. 한 달(30일) 기준으로 계산하면:

전체 요청 예상치: 30일 × 86400초 × 평균 QPS
허용 가능한 실패 요청 수 = 전체 요청 × (1 - 0.999) = 전체 요청 × 0.001

이 예산을 다 쓰면(에러 버짓 소진) 배포를 멈추고 안정화에 집중한다 - "장애가 있었다/없었다"가 아니라 "이번 달에 쓸 수 있는 실패 예산이 몇 % 남았는가"로 운영 판단을 내리는 게 이 개념의 핵심이다.

SLO를 잘못 잡으면 벌어지는 일

숫자를 정하는 것 자체가 이 작업에서 가장 실수하기 쉬운 부분이다.

  • 너무 느슨한 SLO (예: 이미 항상 99.99%를 유지하고 있는 서비스에 목표를 99%로 건다): 에러 버짓이 거의 소진되지 않아 이 체계가 있어도 없어도 배포 판단에 아무 영향을 주지 못한다. "목표를 지켰다"는 착각만 주고, 실제로 사용자가 느끼는 품질 저하는 전혀 잡아내지 못하는 죽은 지표가 된다.
  • 너무 엄격한 SLO (예: 의존 서비스·인프라의 실제 안정성 한계를 무시하고 99.99%를 건다): 에러 버짓이 상시 소진 상태가 되어 알림이 항상 울리고 배포가 항상 막힌다. 이 상태가 반복되면 팀은 알림을 무시하거나 정책 자체를 우회하기 시작한다 - 울면 안 되는 늑대가 계속 울면 아무도 안 온다는 게 SLO 알림에도 그대로 적용된다.

기준은 "몇 %가 기술적으로 달성 가능한가"가 아니라 "사용자가 실제로 체감하는 실패율이 어디부터 불만·이탈로 이어지는가"여야 한다. 이 랩에서 SLO를 정하는 순서는:

  1. 지난 N일간의 실측 성공률(별다른 장애 없이 운영된 기간의 실제 값)을 먼저 확인한다 - 이론상 최댓값(99.99% 이상)을 목표로 처음부터 걸지 않는다.
  2. 그 실측치보다 살짝 낮은 지점을 SLO로 잡는다 - 이미 달성해온 수준에서 여유(buffer)를 주는 정도로 시작한다.
  3. 비즈니스 임팩트가 큰 실패(결제·인증처럼 사용자가 바로 이탈하는 경로)와 임팩트가 낮은 실패(백그라운드 배치 재시도로 스스로 복구되는 경로)를 같은 SLO로 묶지 않는다 - 엔드포인트/도메인 단위로 SLO를 쪼갠다.
  4. 몇 주 운영해 보고 버짓이 항상 여유 있으면(느슨함) 목표를 올리고, 항상 바닥나면(엄격함) 목표를 낮추거나 원인(의존 서비스 불안정 등)을 먼저 고친다 - SLO는 한 번 정하고 끝내는 숫자가 아니라 반복적으로 보정하는 값이다.

실제 구축 절차

1. SLI 정의 - 카운터 API의 성공률

시리즈 6에서 만든 api-server의 요청 성공률을 SLI로 삼는다. Prometheus가 이미 http_requests_total{status=~"..."}을 수집하고 있으므로 추가 계측은 필요 없다.

# SLI: 최근 5분간 성공(non-5xx) 비율
sum(rate(http_requests_total{status!~"5.."}[5m]))
/
sum(rate(http_requests_total[5m]))

2. SLO 목표 설정 + recording rule

매번 이 쿼리를 새로 계산하지 않도록 recording rule로 미리 구워둔다 - 대시보드·알림 양쪽에서 재사용하기 위해서다.

# prometheus-rules/slo.yaml
groups:
  - name: api-server-slo
    rules:
      - record: sli:availability:ratio_rate5m
        expr: |
          sum(rate(http_requests_total{status!~"5.."}[5m]))
          /
          sum(rate(http_requests_total[5m]))

      - record: slo:availability:target
        expr: vector(0.999)   # SLO 99.9%

3. 에러 버짓 소진률 계산 - 그리고 왜 윈도우 하나로는 부족한가

**소진률(burn rate)**은 "지금 속도로 계속 실패하면 에러 버짓이 얼마나 빨리 바닥나는가"를 나타내는 배수다. 1배면 정확히 SLO 기간(30일) 동안 예산을 다 쓰는 속도, 14.4배면 약 2일 만에 다 쓰는 속도라는 뜻이다.

      - record: slo:error_budget:burn_rate1h
        expr: |
          (1 - sli:availability:ratio_rate5m)
          /
          (1 - slo:availability:target)

문제는 이 계산에 어떤 rate 윈도우를 쓰느냐다.

  • 짧은 윈도우(5분)만 본다: 배포 직후 잠깐 튀는 5xx, 헬스체크 몇 번의 실패처럼 몇 분 안에 스스로 회복되는 스파이크에도 즉시 알림이 울린다. 오탐이 반복되면 앞서 말한 "너무 엄격한 SLO"와 똑같은 결과로 이어진다 - 팀이 알림을 끄기 시작한다.
  • 긴 윈도우(6시간, 24시간)만 본다: 노이즈에는 강하지만, 실제 장애가 터진 뒤에도 평균이 서서히 밀리기 때문에 알림이 뜨는 시점이 늦다. 이미 버짓의 상당 부분을 태운 뒤에야 알게 된다.

Google SRE 워크북이 제안하는 해법은 긴 윈도우와 짧은 윈도우 두 개를 같은 소진률 임계치로 동시에 만족해야 알림이 울리게 하는 것이다 - 긴 윈도우는 "일시적 스파이크가 아니라 지속되는 문제"임을 확인하고, 짧은 윈도우는 "그 문제가 지금도 진행 중"임을 확인한다. 둘 중 하나만 넘으면 울리지 않는다.

      # 긴 윈도우 / 짧은 윈도우 각각의 소진률
      - record: slo:error_budget:burn_rate1h
        expr: |
          (1 - (sum(rate(http_requests_total{status!~"5.."}[1h])) / sum(rate(http_requests_total[1h]))))
          /
          (1 - slo:availability:target)

      - record: slo:error_budget:burn_rate5m
        expr: |
          (1 - sli:availability:ratio_rate5m)
          /
          (1 - slo:availability:target)

      - record: slo:error_budget:burn_rate6h
        expr: |
          (1 - (sum(rate(http_requests_total{status!~"5.."}[6h])) / sum(rate(http_requests_total[6h]))))
          /
          (1 - slo:availability:target)

      - record: slo:error_budget:burn_rate30m
        expr: |
          (1 - (sum(rate(http_requests_total{status!~"5.."}[30m])) / sum(rate(http_requests_total[30m]))))
          /
          (1 - slo:availability:target)

      # fast burn: 이 속도면 30일 예산을 1시간 안에 약 2% 태운다
      - alert: ErrorBudgetFastBurn
        expr: |
          slo:error_budget:burn_rate1h > 14.4
          and
          slo:error_budget:burn_rate5m > 14.4
        for: 2m
        labels: { severity: critical }
        annotations:
          summary: "에러 버짓이 2일 안에 소진될 속도로 타는 중(1h·5m 윈도우 모두 위반) - 배포 중단, 즉시 대응"

      # slow burn: 이 속도면 30일 예산을 6시간 안에 5% 태운다
      - alert: ErrorBudgetSlowBurn
        expr: |
          slo:error_budget:burn_rate6h > 6
          and
          slo:error_budget:burn_rate30m > 6
        for: 15m
        labels: { severity: warning }
        annotations:
          summary: "에러 버짓이 5일 안에 소진될 속도로 타는 중(6h·30m 윈도우 모두 위반) - 배포 보류 검토"

14.4와 6이라는 숫자는 "30일 예산을 며칠 만에 다 쓰는 속도인가"를 거꾸로 계산해서 나온 값이다.

  • 14.4 ≈ 30일 ÷ 2일. 이 속도가 1시간 지속되면 30일치 버짓의 약 2%(= 1h / 48h)를 태운다 - 짧은 시간에 큰 비율을 태우므로 즉시 대응(critical)해야 한다.
  • 6 ≈ 30일 ÷ 5일. 이 속도가 6시간 지속되면 버짓의 5%(= 6h / 120h)를 태운다 - fast burn보다 여유는 있지만 방치하면 며칠 안에 소진되므로 경고(warning) 수준으로 배포 보류를 검토한다.

for: 2m/for: 15m는 짧은 윈도우 쪽 값이 순간적으로 튀는 경우까지 걸러내는 최소 지속 시간이다 - 긴 윈도우·짧은 윈도우 동시 조건에 지속 시간까지 더해 3중으로 오탐을 줄이는 구조다.

4. Grafana 대시보드 - 에러 버짓 잔여량

# 이번 SLO 기간(30일) 동안 남은 에러 버짓 비율 (0~100%)
100 * (
  1 - (
    (1 - avg_over_time(sli:availability:ratio_rate5m[30d]))
    /
    (1 - slo:availability:target)
  )
)

이 값을 Grafana 게이지 패널로 만들어, "남은 에러 버짓 몇 %"를 항상 볼 수 있게 한다. 0%에 가까워지면 배포를 멈추는 정책을 팀 규칙(또는 개인 랩이면 스스로의 규칙)으로 정해둔다.

5. 배포 게이트 자동화 - CI/CD가 배포 직전에 에러 버짓을 직접 묻게 하기

Grafana 게이지로 버짓 잔여량을 "보이게" 만드는 것과, 그 값을 근거로 배포를 실제로 막는 것은 다른 일이다. 게이지만 있으면 결국 배포 담당자가 "지금 대시보드 한번 보고" 판단하는 수동 확인에 머문다 - 여기서 몇 가지 문제가 생긴다.

  • 배포가 급하면(장애 대응, 데드라인) 대시보드를 확인하는 단계 자체를 건너뛰기 쉽다.
  • 사람마다 "몇 % 남았으면 배포해도 되는지"의 기준이 다르다 - 어제는 20% 남아서 배포했는데 오늘은 25% 남았는데 막는 식의 비일관성이 생긴다.
  • "그때 왜 배포를 막았는지/막지 않았는지"에 대한 기록이 대화나 기억에만 남고, 파이프라인 로그에는 남지 않는다.

이걸 CI/CD의 배포 단계 앞에 게이트 스텝으로 넣으면 이 판단이 코드로 고정된다. 배포 스크립트가 Prometheus HTTP API를 직접 쿼리해서 잔여 버짓을 읽고, 임계치 미만이면 파이프라인을 실패시켜 이후 배포 스텝 자체가 실행되지 않게 한다.

#!/usr/bin/env bash
# scripts/check-error-budget.sh - 배포 전 에러 버짓 게이트
set -euo pipefail

PROM_URL="http://prometheus:9090"
THRESHOLD="${ERROR_BUDGET_MIN_PERCENT:-10}"   # 잔여 버짓이 이 % 미만이면 배포 차단

QUERY='100 * (1 - ((1 - avg_over_time(sli:availability:ratio_rate5m[30d])) / (1 - slo:availability:target)))'

REMAINING=$(curl -s --data-urlencode "query=${QUERY}" "${PROM_URL}/api/v1/query" \
  | jq -r '.data.result[0].value[1]')

echo "잔여 에러 버짓: ${REMAINING}% (차단 임계치: ${THRESHOLD}%)"

if (( $(echo "${REMAINING} < ${THRESHOLD}" | bc -l) )); then
  echo "에러 버짓 부족 - 배포를 차단합니다. force_deploy 옵션으로 재실행하면 예외 배포가 가능합니다."
  exit 1
fi
# .github/workflows/deploy.yml (일부)
jobs:
  deploy:
    steps:
      - name: Check error budget gate
        if: ${{ !inputs.force_deploy }}
        run: ./scripts/check-error-budget.sh
      - name: Deploy
        run: ./scripts/deploy.sh

핵심은 force_deploy처럼 예외 경로를 명시적으로 남겨두는 것이다. 에러 버짓이 소진된 상황에서도 배포해야 하는 경우가 실제로 있다 - 지금 버짓을 태우고 있는 그 장애를 고치는 핫픽스가 대표적이다. 예외 배포를 아예 막으면 정책이 오히려 장애 복구를 지연시킨다. 대신 예외 경로를 밟으면 그 사실(누가, 언제, 왜 강제 배포했는지)이 파이프라인 실행 기록에 그대로 남도록 해서, "수동 확인"이 아니라 "감사 가능한 예외"로 만드는 게 자동화 게이트와 수동 확인의 실질적인 차이다.

검증 방법

  • 의도적으로 api-server에서 5xx를 일부러 반환하는 엔드포인트를 호출해 SLI가 실제로 떨어지는지 확인
  • 짧게(몇 분) 유지해서 ErrorBudgetFastBurn만 발화하고 ErrorBudgetSlowBurn은 조건을 안 채우는지, 5xx를 멈춘 직후 스파이크에는 알림이 안 울리는지(짧은 윈도우만으로는 알림이 나가지 않아야 함) 확인
  • 더 오래(30분 이상) 유지해서 ErrorBudgetSlowBurn도 발화하는지 확인
  • Grafana 게이지에서 에러 버짓 잔여량이 감소하는 게 실시간으로 보이는지 확인
  • 5xx 유발을 멈춘 뒤 시간이 지나면서 소진률이 다시 낮아지는지(버짓이 서서히 회복되는지) 확인
  • 잔여 버짓이 임계치 미만인 상태에서 check-error-budget.sh를 실행해 CI가 실제로 배포를 막는지, force_deploy 예외 경로가 파이프라인 로그에 기록되는지 확인

체크리스트

  • SLI(성공률) PromQL 정의, recording rule로 저장
  • SLO 목표치 설정 - 임의로 정하지 않고 실측 성공률 기반으로 보정
  • 멀티윈도우 멀티소진률 알림 규칙(fast burn 1h+5m, slow burn 6h+30m) 작성
  • Grafana 에러 버짓 잔여량 게이지 대시보드
  • 배포 파이프라인에 에러 버짓 게이트 스크립트 연결, 예외 배포(force_deploy) 경로 포함
  • 의도적 장애 주입으로 알림 발화 및 배포 게이트 차단 동작 검증