온콜은 왜 필요하고, 어떻게 지속 가능하게 운영하는가
온콜을 'Grafana OnCall 설정법'으로만 보면 반쪽짜리다. 왜 순환 당직이 필요한지, 에스컬레이션이 없으면 담당자 한 명이 왜 단일 장애 지점이 되는지, 알림 피로(alert fatigue)가 실제로 어떤 사고로 이어지는지, 그리고 온콜을 사람이 버틸 수 있는 방식으로 설계하는 원칙까지 정리한다.
왜 이 주제를 도구 설정법과 분리해서 보는가
Grafana OnCall이나 PagerDuty의 설정 절차(시리즈 10에 정리)는 "어떻게 구현하는가"를 다룬다. 이 글은 그 전에 있어야 할 질문 - 온콜이 왜 필요하고, 무엇을 잘못 설계하면 어떤 사고가 나는지 - 를 다룬다.
온콜이 왜 필요한가
장애는 업무 시간에만 나지 않는다. 그렇다고 모든 엔지니어가 24시간 대기할 수도 없다 - 그건 지속 가능하지 않다. 온콜은 이 둘 사이의 타협이다: "항상 누군가는 대기하되, 그 '누군가'가 순환해서 한 사람에게 부담이 몰리지 않게 한다." 이 순환 자체가 온콜 설계의 첫 번째 문제이고, 그 사람이 놓쳤을 때 무슨 일이 벌어지는지가 두 번째 문제다.
담당자 한 명도 단일 장애 지점이다
온콜 당직자를 한 명만 지정해두면, 그 사람이 자고 있거나, 휴대폰 배터리가 나갔거나, 알림을 놓치는 순간 - 그 사람 자체가 시스템의 단일 장애 지점(SPOF)이 된다. 서버를 이중화하는 이유와 완전히 같은 논리가 사람에게도 적용된다 - 대신 여기서는 여분의 서버가 아니라 에스컬레이션 체인이 그 역할을 한다.
에스컬레이션 체인은 "1차 담당자에게 알림 → N분 무응답 시 2차 담당자에게 자동 전환 → 그마저 무응답이면 3차로"라는 절차를 미리 정의해둔 것이다. 여기서 실무적으로 중요한 설계 포인트가 하나 있다 - 에스컬레이션 시간(N분)을 얼마로 잡을 것인가다. 너무 짧으면(예: 1분) 화장실 다녀오는 사이에도 다음 사람에게 넘어가 당직자가 무력해지고, 너무 길면(예: 30분) 정작 심각한 장애의 초동 대응이 늦어진다. 보통 심각도(severity)별로 다른 에스컬레이션 시간을 두는 이유가 여기 있다 - critical은 5분, warning은 30분처럼.
알림 피로(Alert Fatigue) - "양치기 소년" 문제
온콜에서 가장 흔하게 실패하는 지점은 도구가 아니라 알림의 품질이다. 사소한 이상까지 전부 알림으로 쏘면, 당직자는 며칠 안에 알림에 무뎌진다 - 이걸 알림 피로(alert fatigue) 라고 부른다. 문제는 알림 피로가 누적되면 진짜 심각한 알림도 "또 저건가"하고 늦게 확인하게 된다는 것이다. 이솝우화의 양치기 소년과 정확히 같은 구조다 - 거짓 경보가 쌓이면 진짜 경보의 신뢰도까지 같이 깎인다.
이를 막는 실무 원칙 세 가지가 있다.
- 알림 그룹핑: 하나의 근본 원인(예: DB 장애)이 여러 서비스에 연쇄적으로 영향을 주면, 알림을 서비스별로 따로 보내는 대신 하나의 "인시던트"로 묶는다. 알림 10개가 쏟아지는 것과 "인시던트 1개(영향받은 서비스 10개)"로 보이는 것은 당직자의 체감 부담이 완전히 다르다.
- 심각도별 채널 분리: 즉시 대응이 필요한 것만 온콜(전화·SMS)로 보내고, 나머지는 대시보드나 채널에만 남겨 "굳이 지금 깨울 필요는 없지만 나중에 봐야 하는 것"과 구분한다.
- 알림마다 "왜 이게 알림인가"에 대한 근거가 있어야 한다: 정의되지 않은 임계값(예: "CPU 80% 넘으면 알림")보다, 실제로 사용자 영향과 연결된 임계값(예: SLO 소진률 기반)이 알림 피로를 줄인다. 이 지점이 SLI·SLO·에러 버짓(시리즈 24)이 온콜과 만나는 접점이다 - 잘 설계된 SLO 기반 알림은 그 자체로 "정말 대응이 필요한 것만" 걸러주는 필터가 된다.
지속 가능한 온콜 - 사람도 SLO가 필요하다
온콜은 그 자체로 사람에게 비용을 부과하는 절차다. 성숙한 조직은 온콜 부담 자체를 측정 대상으로 삼는다 - 한 사람이 한 주기 동안 몇 번 호출됐는지, 야간(업무 시간 외) 호출이 몇 건이었는지를 추적하고, 이 숫자가 과도하면 "알림 임계치가 잘못됐다"거나 "자동화로 없앨 수 있는 반복 호출이 있다"는 신호로 받아들인다. 온콜 부담이 늘어나는 걸 당연하게 여기지 않고 그 부담 자체를 줄이는 일(더 정확한 알림, 자동 복구, toil 제거) 을 온콜 운영의 일부로 보는 게 지속 가능한 온콜 설계의 핵심이다.
Alertmanager와 온콜 도구는 역할이 다르다
Alertmanager는 "무엇이 알림인지, 누구에게 라우팅할지"까지만 판단한다. 알림을 채널에 뿌리는 순간 역할이 끝난다 - 아무도 안 보면 그대로 묻힌다. Grafana OnCall(또는 PagerDuty)이 채우는 지점이 여기다.
| Alertmanager | 온콜 도구(Grafana OnCall / PagerDuty) | |
|---|---|---|
| 역할 | 알림을 판단·라우팅 | 그 알림을 사람이 실제로 확인·대응하게 관리 |
| 없는 것 | 당직 스케줄, 무응답 시 에스컬레이션 개념 | (알림 자체를 판단하지는 않음 - Alertmanager가 여전히 소스) |
| 실패 시 | 채널에 뿌리고 끝 | 일정 시간 무응답이면 다음 담당자에게 자동으로 넘어감 |
정리
온콜을 "당직 스케줄 짜고 에스컬레이션 도구 설치하기"로만 보면, 정작 온콜이 실패하는 진짜 이유(알림 피로로 인한 무뎌짐, 잘못된 에스컬레이션 시간, 부담이 한쪽으로 쏠리는 로테이션)를 놓친다. 좋은 온콜 설계는 결국 "당직자가 알림을 받았을 때, 그게 정말 지금 깨어나서 대응해야 할 일이라고 믿을 수 있는가" 를 지키는 일이다 - 그 신뢰가 무너지면 도구가 아무리 정교해도 온콜은 실패한다.
체크리스트
- 온콜이 왜 필요한지(24시간 대기 불가능 + 순환 필요)를 설명할 수 있는가
- 담당자 한 명이 왜 단일 장애 지점이 되는지, 에스컬레이션 체인이 이를 어떻게 없애는지 설명할 수 있는가
- 에스컬레이션 시간(N분)을 심각도별로 다르게 잡아야 하는 이유를 설명할 수 있는가
- 알림 피로(alert fatigue)가 왜 "양치기 소년" 문제와 같은 구조인지, 이를 막는 실무 원칙(그룹핑·채널 분리·근거 있는 임계값)을 설명할 수 있는가
- "지속 가능한 온콜"이 온콜 부담 자체를 측정·관리 대상으로 삼는다는 것을 설명할 수 있는가
- Alertmanager와 온콜 도구의 역할 차이를 설명할 수 있는가