ObservabilityDevOps 학습 로드맵 · 25/28편

온콜은 왜 필요하고, 어떻게 지속 가능하게 운영하는가

온콜을 'Grafana OnCall 설정법'으로만 보면 반쪽짜리다. 왜 순환 당직이 필요한지, 에스컬레이션이 없으면 담당자 한 명이 왜 단일 장애 지점이 되는지, 알림 피로(alert fatigue)가 실제로 어떤 사고로 이어지는지, 그리고 온콜을 사람이 버틸 수 있는 방식으로 설계하는 원칙까지 정리한다.

2026-09-1610 min read
#온콜#에스컬레이션#알림 피로#Alertmanager#SRE
DevOps 학습 로드맵시리즈 목차
1채용공고 요구사항 6개 중 자신 있게 답할 수 있는 게 절반도 안 됐다2kubeadm으로 온프레미스 Kubernetes 클러스터를 처음부터 세우는 절차3FastAPI 서비스 골격, RabbitMQ DLQ, Harbor+Trivy, Jenkins→ArgoCD 파이프라인 구축 절차4Argo Rollouts로 카나리 배포와 Prometheus 메트릭 기반 자동 롤백 붙이기5yaml 복붙 관리의 드리프트 문제를 Kustomize overlay로 구조화하기6Terraform과 Ansible로 클러스터를 코드에서 다시 세울 수 있게 만드는 절차7Prometheus·Loki·OpenTelemetry로 세운 관측 스택 - 메트릭·로그·트레이스를 하나로8관측 스택이 진짜로 장애를 잡는가 - 노드 다운·OOMKill·디스크풀 직접 주입해보기9SLI/SLO/에러 버짓을 실제로 계산해서 배포 판단 기준으로 써보기10임계값 없이 - 통계 기반 이상탐지로 Datadog Watchdog 흉내내기11Grafana OnCall로 PagerDuty 없이 온콜·에스컬레이션 구현하기12자체 JWT 구현부터 취약점 실험, Keycloak 마이그레이션까지의 실제 절차13ISMS-P 인프라 영역 심사를 가정하고 내 클러스터의 증적을 만드는 절차14SealedSecret이 못 남기는 것 - OpenBao + External Secrets Operator로 감사 로그 확보하기15번외: 더미 워커를 실제 ONNX 추론으로, GPU 스케줄링까지 교체하는 절차16번외: 인터넷을 완전히 끊고도 클러스터가 돌아가는지 - 폐쇄망(에어갭) 시뮬레이션 절차17번외: 부하테스트로 관측 스택을 실전 검증하기 - k6 + HPA + MSA 파이프라인18번외: DORA 4대 지표를 Four Keys로 자동 집계해보기19실무와 다른 4가지를 채우려고 로드맵을 이렇게 짰다20OpenSearch·Loki·Datadog, 로그 스택은 왜 하나로 안 끝나는가21Control-Plane HA는 언제 정당한가 - etcd 쿼럼, kube-vip 페일오버, cordon/drain의 수학22OpenTelemetry는 무엇을 표준화하는가 - Prometheus·Grafana·Loki·Tempo가 실제로 맞물리는 지점23Helm은 템플릿 도구가 아니라 릴리스 버전 관리자다24카나리 배포와 블루그린 배포, 뭐가 다르고 언제 뭘 써야 하는가25SRE는 정확히 무엇을 하는 직군인가 - '운영을 소프트웨어 문제로 본다'는 말의 실체26온콜은 왜 필요하고, 어떻게 지속 가능하게 운영하는가27IaC는 한 계층이 아니다 - Terraform·Packer·Helm이 각각 다루는 것, 그리고 RKE2 vs kubeadm28SLI·SLO·에러 버짓과 온콜·에스컬레이션 - 숫자로 문제를 정의하고 사람에게 연결하기

왜 이 주제를 도구 설정법과 분리해서 보는가

Grafana OnCall이나 PagerDuty의 설정 절차(시리즈 10에 정리)는 "어떻게 구현하는가"를 다룬다. 이 글은 그 전에 있어야 할 질문 - 온콜이 왜 필요하고, 무엇을 잘못 설계하면 어떤 사고가 나는지 - 를 다룬다.

온콜이 왜 필요한가

장애는 업무 시간에만 나지 않는다. 그렇다고 모든 엔지니어가 24시간 대기할 수도 없다 - 그건 지속 가능하지 않다. 온콜은 이 둘 사이의 타협이다: "항상 누군가는 대기하되, 그 '누군가'가 순환해서 한 사람에게 부담이 몰리지 않게 한다." 이 순환 자체가 온콜 설계의 첫 번째 문제이고, 그 사람이 놓쳤을 때 무슨 일이 벌어지는지가 두 번째 문제다.

담당자 한 명도 단일 장애 지점이다

온콜 당직자를 한 명만 지정해두면, 그 사람이 자고 있거나, 휴대폰 배터리가 나갔거나, 알림을 놓치는 순간 - 그 사람 자체가 시스템의 단일 장애 지점(SPOF)이 된다. 서버를 이중화하는 이유와 완전히 같은 논리가 사람에게도 적용된다 - 대신 여기서는 여분의 서버가 아니라 에스컬레이션 체인이 그 역할을 한다.

에스컬레이션 체인은 "1차 담당자에게 알림 → N분 무응답 시 2차 담당자에게 자동 전환 → 그마저 무응답이면 3차로"라는 절차를 미리 정의해둔 것이다. 여기서 실무적으로 중요한 설계 포인트가 하나 있다 - 에스컬레이션 시간(N분)을 얼마로 잡을 것인가다. 너무 짧으면(예: 1분) 화장실 다녀오는 사이에도 다음 사람에게 넘어가 당직자가 무력해지고, 너무 길면(예: 30분) 정작 심각한 장애의 초동 대응이 늦어진다. 보통 심각도(severity)별로 다른 에스컬레이션 시간을 두는 이유가 여기 있다 - critical은 5분, warning은 30분처럼.

알림 피로(Alert Fatigue) - "양치기 소년" 문제

온콜에서 가장 흔하게 실패하는 지점은 도구가 아니라 알림의 품질이다. 사소한 이상까지 전부 알림으로 쏘면, 당직자는 며칠 안에 알림에 무뎌진다 - 이걸 알림 피로(alert fatigue) 라고 부른다. 문제는 알림 피로가 누적되면 진짜 심각한 알림도 "또 저건가"하고 늦게 확인하게 된다는 것이다. 이솝우화의 양치기 소년과 정확히 같은 구조다 - 거짓 경보가 쌓이면 진짜 경보의 신뢰도까지 같이 깎인다.

이를 막는 실무 원칙 세 가지가 있다.

  • 알림 그룹핑: 하나의 근본 원인(예: DB 장애)이 여러 서비스에 연쇄적으로 영향을 주면, 알림을 서비스별로 따로 보내는 대신 하나의 "인시던트"로 묶는다. 알림 10개가 쏟아지는 것과 "인시던트 1개(영향받은 서비스 10개)"로 보이는 것은 당직자의 체감 부담이 완전히 다르다.
  • 심각도별 채널 분리: 즉시 대응이 필요한 것만 온콜(전화·SMS)로 보내고, 나머지는 대시보드나 채널에만 남겨 "굳이 지금 깨울 필요는 없지만 나중에 봐야 하는 것"과 구분한다.
  • 알림마다 "왜 이게 알림인가"에 대한 근거가 있어야 한다: 정의되지 않은 임계값(예: "CPU 80% 넘으면 알림")보다, 실제로 사용자 영향과 연결된 임계값(예: SLO 소진률 기반)이 알림 피로를 줄인다. 이 지점이 SLI·SLO·에러 버짓(시리즈 24)이 온콜과 만나는 접점이다 - 잘 설계된 SLO 기반 알림은 그 자체로 "정말 대응이 필요한 것만" 걸러주는 필터가 된다.

지속 가능한 온콜 - 사람도 SLO가 필요하다

온콜은 그 자체로 사람에게 비용을 부과하는 절차다. 성숙한 조직은 온콜 부담 자체를 측정 대상으로 삼는다 - 한 사람이 한 주기 동안 몇 번 호출됐는지, 야간(업무 시간 외) 호출이 몇 건이었는지를 추적하고, 이 숫자가 과도하면 "알림 임계치가 잘못됐다"거나 "자동화로 없앨 수 있는 반복 호출이 있다"는 신호로 받아들인다. 온콜 부담이 늘어나는 걸 당연하게 여기지 않고 그 부담 자체를 줄이는 일(더 정확한 알림, 자동 복구, toil 제거) 을 온콜 운영의 일부로 보는 게 지속 가능한 온콜 설계의 핵심이다.

Alertmanager와 온콜 도구는 역할이 다르다

Alertmanager는 "무엇이 알림인지, 누구에게 라우팅할지"까지만 판단한다. 알림을 채널에 뿌리는 순간 역할이 끝난다 - 아무도 안 보면 그대로 묻힌다. Grafana OnCall(또는 PagerDuty)이 채우는 지점이 여기다.

Alertmanager온콜 도구(Grafana OnCall / PagerDuty)
역할알림을 판단·라우팅그 알림을 사람이 실제로 확인·대응하게 관리
없는 것당직 스케줄, 무응답 시 에스컬레이션 개념(알림 자체를 판단하지는 않음 - Alertmanager가 여전히 소스)
실패 시채널에 뿌리고 끝일정 시간 무응답이면 다음 담당자에게 자동으로 넘어감

정리

온콜을 "당직 스케줄 짜고 에스컬레이션 도구 설치하기"로만 보면, 정작 온콜이 실패하는 진짜 이유(알림 피로로 인한 무뎌짐, 잘못된 에스컬레이션 시간, 부담이 한쪽으로 쏠리는 로테이션)를 놓친다. 좋은 온콜 설계는 결국 "당직자가 알림을 받았을 때, 그게 정말 지금 깨어나서 대응해야 할 일이라고 믿을 수 있는가" 를 지키는 일이다 - 그 신뢰가 무너지면 도구가 아무리 정교해도 온콜은 실패한다.

체크리스트

  • 온콜이 왜 필요한지(24시간 대기 불가능 + 순환 필요)를 설명할 수 있는가
  • 담당자 한 명이 왜 단일 장애 지점이 되는지, 에스컬레이션 체인이 이를 어떻게 없애는지 설명할 수 있는가
  • 에스컬레이션 시간(N분)을 심각도별로 다르게 잡아야 하는 이유를 설명할 수 있는가
  • 알림 피로(alert fatigue)가 왜 "양치기 소년" 문제와 같은 구조인지, 이를 막는 실무 원칙(그룹핑·채널 분리·근거 있는 임계값)을 설명할 수 있는가
  • "지속 가능한 온콜"이 온콜 부담 자체를 측정·관리 대상으로 삼는다는 것을 설명할 수 있는가
  • Alertmanager와 온콜 도구의 역할 차이를 설명할 수 있는가