SLI·SLO·에러 버짓과 온콜·에스컬레이션 - 숫자로 문제를 정의하고 사람에게 연결하기
SLI/SLO/SLA/에러 버짓은 '언제부터 문제로 볼 것인가'를 숫자로 정의하는 개념이고, 온콜·에스컬레이션은 그렇게 정의된 문제를 '누가, 언제 확인하게 만들 것인가'를 관리하는 절차다. 왜 이 둘이 서로 다른 계층이면서도 하나의 파이프라인으로 이어지는지 정리한다.
왜 이 네 개념을 같이 봐야 하는가
"SLO를 지킨다", "온콜을 돈다"는 말은 자주 쓰지만, 이 넷(SLI·SLO·에러 버짓·온콜)을 하나의 흐름으로 설명하려면 각자가 정확히 어느 질문에 답하는 개념인지 구분해야 한다. 앞의 셋(SLI·SLO·에러 버짓)은 "지금 이게 문제인가, 아직 괜찮은가"를 숫자로 정의하고, 뒤의 둘(온콜·에스컬레이션)은 그렇게 정의된 문제를 "누가, 언제 확인하게 만들 것인가"를 관리한다. 실제 구축 절차(Prometheus recording rule, Grafana OnCall 설정)는 시리즈 8과 시리즈 10에 있으니, 이 글은 개념과 그 둘이 이어지는 지점에 집중한다.
SLI - 목표가 아니라 측정값이다
**SLI(Service Level Indicator)**는 그 자체로는 목표가 아니라 지금 측정하고 있는 값이다. "요청 중 성공 비율이 얼마인가", "p95 응답시간이 몇 ms인가" 같은 숫자 자체를 가리킨다. 여기서 흔히 헷갈리는 지점은 "무엇을 SLI로 삼을 것인가"가 이미 판단이 들어간 선택이라는 점이다 - 예를 들어 "요청 성공률"을 SLI로 잡으면 타임아웃 직전까지 느리게라도 성공 응답을 준 요청은 "성공"으로 잡히는데, 사용자 입장에서는 그게 실패나 다름없을 수 있다. 그래서 실무에서는 성공률 하나만 보지 않고 p95/p99 레이턴시를 별도 SLI로 같이 추적해, "빠르게 실패"와 "느리게 성공"을 둘 다 놓치지 않게 만든다.
SLO - 내부 목표, SLA - 대외 계약
**SLO(Service Level Objective)**는 그 SLI에 대해 스스로 정한 목표치다("성공률 99.9% 이상"). **SLA(Service Level Agreement)**는 그 목표를 어겼을 때 페널티가 따르는 대외 계약이다(예: SLA 미달 시 이용료 환불). 실무적으로 중요한 차이는 SLO는 SLA보다 항상 더 엄격하게 잡아야 한다는 점이다 - SLA가 99.9%인데 SLO도 똑같이 99.9%로 잡으면, SLO를 어기는 순간 이미 대외 계약도 어긴 상태라 대응할 여유(buffer)가 없다. 내부 SLO를 99.95%처럼 SLA보다 빡빡하게 잡아야, SLO 위반 알림이 뜬 시점에 아직 SLA 위반까지는 여유가 있는 상태에서 대응할 수 있다. ㅣㅏㅣㅣㅣ
에러 버짓 - SLO를 "쓸 수 있는 예산"으로 뒤집어 본다
**에러 버짓(Error Budget)**은 SLO의 반대편이다. SLO가 99.9%면, 나머지 0.1%는 "이번 기간 동안 실패해도 되는 예산"이다. 이 관점 전환이 실무적으로 중요한 이유는, "장애가 있었다/없었다"라는 이분법 대신 "이번 달에 쓸 수 있는 실패 예산이 몇 % 남았는가"라는 연속적인 숫자로 배포 판단을 내릴 수 있게 되기 때문이다. 버짓이 넉넉하면 새 기능을 공격적으로 배포해도 되고, 버짓이 바닥나가면 신규 배포를 멈추고 안정화에 집중한다 - 이 정책 자체를 "에러 버짓 정책(Error Budget Policy)"이라고 부른다.
소진률(Burn Rate)과 멀티윈도우 조기경보 - 왜 단일 윈도우로는 부족한가
에러 버짓이 몇 % 남았는지만 보면 **"지금 이 속도로 계속 나쁘면 언제 바닥나는가"**를 놓친다. 그래서 실무에서는 소진률(burn rate) - 지금 속도로 계속 실패하면 예산을 얼마나 빨리 다 쓰는지를 나타내는 배수 - 을 따로 계산한다. 소진률 1배는 정확히 SLO 기간(예: 30일) 동안 예산을 다 쓰는 속도, 14.4배는 약 2일 만에 다 쓰는 속도라는 뜻이다.
여기서 한 걸음 더 들어가면 - 왜 짧은 윈도우 하나만으로 알림을 걸지 않는가라는 질문이 남는다. 이유는 두 가지 실패 양쪽을 다 피해야 하기 때문이다.
- 윈도우가 너무 짧으면(예: 5분): 순간적으로 튄 노이즈에도 알림이 발화해 오탐(false positive)이 잦아진다.
- 윈도우가 너무 길면(예: 24시간): 진짜 심각한 장애가 나도 평균에 묻혀서 늦게 감지된다.
Google SRE 워크북이 제안하는 멀티윈도우(multi-window) 방식은 짧은 윈도우(1시간)와 긴 윈도우(6시간) 두 개를 동시에 만족해야 알림이 발화하도록 만든다 - 짧은 윈도우는 "지금도 여전히 나쁜가"를 확인해 노이즈를 걸러내고, 긴 윈도우는 "일시적 튐이 아니라 지속되는 문제인가"를 확인한다. 두 조건을 AND로 묶어야 오탐과 늦은 감지를 동시에 줄일 수 있다.
여기까지가 "무엇이 문제인가"를 정의하는 계층이다
SLI·SLO·에러 버짓·소진률은 전부 "지금 상태를 문제로 볼 것인가"를 숫자로 결정하는 계층이다. 이 계층의 산출물은 결국 하나 - ErrorBudgetFastBurn 같은 알림(alert) 하나다. 그런데 알림이 발화하는 것과, 그 알림을 누군가 실제로 확인ㄴㄴ하고 대응하는 것은 완전히 다른 문제다. 여기서부터가 온콜·에스컬레이션의 영역이다.
Alertmanager와 온콜 도구는 역할이 다르다
Alertmanager는 "무엇이 알림인지, 누구에게 라우팅할지"까지만 판단한다. 알림을 채널에 뿌리는 순간 Alertmanager의 역할은 끝난다 - 아무도 안 보면 그대로 묻힌다. Grafana OnCall(또는 상용 PagerDuty)이 채우는 지점이 바로 여기다.
| Alertmanager | 온콜 도구(Grafana OnCall / PagerDuty) | |
|---|---|---|
| 역할 | 알림을 판단·라우팅 | 그 알림을 사람이 실제로 확인·대응하게 관리 |
| 없는 것 | 당직 스케줄, 무응답 시 에스컬레이션 개념 | (알림 자체를 판단하지는 않음 - Alertmanager가 여전히 소스) |
| 실패 시 | 채널에 뿌리고 끝 | 일정 시간 무응답이면 다음 담당자에게 자동으로 넘어감(전화·SMS 등) |
에스컬레이션 체인이 필요한 이유 - "담당자 한 명"도 단일 장애 지점이다
당직자를 한 명만 지정해두면, 그 사람이 자고 있거나 알림을 놓치는 순간 **그 사람 자체가 단일 장애 지점(SPOF)**이 된다. 에스컬레이션 체인은 "1차 담당자에게 알림 → N분 무응답 시 2차 담당자에게 자동 전환 → 그마저 무응답이면 3차로"라는 절차를 미리 정의해서, 사람 한 명의 부재가 곧바로 "아무도 대응 안 함"으로 이어지지 않게 만든다. 노드 이중화가 서버 한 대의 장애를 흡수하는 것과 같은 목적을, 사람 계층에서 절차로 구현한 것이다.
여기에 알림 그룹핑(grouping) 이 더해지는 이유도 같은 맥락이다. 하나의 근본 원인(예: DB 장애)이 여러 서비스에 연쇄적으로 영향을 주면 알림이 개별로 쏟아지는데, 이걸 하나의 "인시던트"로 묶지 않으면 온콜 담당자가 알림 폭주에 지쳐 정작 중요한 알림을 놓치는 알림 피로(alert fatigue) 가 생긴다. 에스컬레이션이 "한 사람의 부재"를 막는 절차라면, 그룹핑은 "알림이 너무 많아서 사람이 무뎌지는" 문제를 막는 절차다.
정리 - 두 계층, 하나의 파이프라인
| 계층 | 담당 개념 | 답하는 질문 |
|---|---|---|
| 문제 정의 | SLI → SLO → 에러 버짓 → 소진률 | 지금 이게 숫자로 봤을 때 문제인가? |
| 알림 판단·라우팅 | Alertmanager | 그 문제를 누구에게 보낼 알림으로 만들 것인가? |
| 사람에게 연결 | 온콜(당직 스케줄) + 에스컬레이션 체인 | 그 알림을 누가, 언제까지 확인하게 만들 것인가? |
"SLO 99.9%를 지킨다"는 말은 결국 이 파이프라인 전체가 갖춰져 있다는 뜻이다 - 에러 버짓 소진률이 임계값을 넘는 순간 알림이 발화하고(SLI·SLO·에러 버짓), 그 알림이 지금 당직인 사람에게 가고(온콜), 그 사람이 놓치면 자동으로 다음 사람에게 넘어간다(에스컬레이션). 셋 중 하나라도 빠지면 - 숫자 기준이 없거나, 알림이 사람에게 안 가거나, 담당자 부재를 흡수 못하거나 - "SLO를 지킨다"는 말은 감으로 하는 약속에 그친다.
체크리스트
- SLI(측정값)·SLO(내부 목표)·SLA(대외 계약)를 각각 정확히 구분해서 설명할 수 있는가
- SLO를 SLA보다 항상 더 엄격하게 잡아야 하는 이유를 설명할 수 있는가
- 에러 버짓이 "실패해도 되는 예산"으로서 배포 정책 판단에 쓰이는 방식을 설명할 수 있는가
- 소진률(burn rate)이 필요한 이유와, 멀티윈도우 조기경보가 오탐·늦은 감지를 동시에 줄이는 원리를 설명할 수 있는가
- Alertmanager와 온콜 도구(Grafana OnCall/PagerDuty)의 역할 차이를 설명할 수 있는가
- 에스컬레이션 체인이 "담당자 한 명"이라는 단일 장애 지점을 어떻게 없애는지, 알림 그룹핑이 알림 피로를 어떻게 막는지 설명할 수 있는가