ObservabilityDevOps 학습 로드맵 · 10/28편

Grafana OnCall로 PagerDuty 없이 온콜·에스컬레이션 구현하기

Alertmanager가 알림을 보내는 것과 그 알림을 누가 언제 처리하는지 관리하는 것은 다른 문제다. PagerDuty의 오픈소스 대체품 Grafana OnCall로 당직 스케줄, 무응답 시 에스컬레이션, 알림 그룹핑까지 구현하는 절차.

2026-07-2717 min read
#PagerDuty#Grafana OnCall#온콜#에스컬레이션#Alertmanager#온콜 번아웃
DevOps 학습 로드맵시리즈 목차
1채용공고 요구사항 6개 중 자신 있게 답할 수 있는 게 절반도 안 됐다2kubeadm으로 온프레미스 Kubernetes 클러스터를 처음부터 세우는 절차3FastAPI 서비스 골격, RabbitMQ DLQ, Harbor+Trivy, Jenkins→ArgoCD 파이프라인 구축 절차4Argo Rollouts로 카나리 배포와 Prometheus 메트릭 기반 자동 롤백 붙이기5yaml 복붙 관리의 드리프트 문제를 Kustomize overlay로 구조화하기6Terraform과 Ansible로 클러스터를 코드에서 다시 세울 수 있게 만드는 절차7Prometheus·Loki·OpenTelemetry로 세운 관측 스택 - 메트릭·로그·트레이스를 하나로8관측 스택이 진짜로 장애를 잡는가 - 노드 다운·OOMKill·디스크풀 직접 주입해보기9SLI/SLO/에러 버짓을 실제로 계산해서 배포 판단 기준으로 써보기10임계값 없이 - 통계 기반 이상탐지로 Datadog Watchdog 흉내내기11Grafana OnCall로 PagerDuty 없이 온콜·에스컬레이션 구현하기12자체 JWT 구현부터 취약점 실험, Keycloak 마이그레이션까지의 실제 절차13ISMS-P 인프라 영역 심사를 가정하고 내 클러스터의 증적을 만드는 절차14SealedSecret이 못 남기는 것 - OpenBao + External Secrets Operator로 감사 로그 확보하기15번외: 더미 워커를 실제 ONNX 추론으로, GPU 스케줄링까지 교체하는 절차16번외: 인터넷을 완전히 끊고도 클러스터가 돌아가는지 - 폐쇄망(에어갭) 시뮬레이션 절차17번외: 부하테스트로 관측 스택을 실전 검증하기 - k6 + HPA + MSA 파이프라인18번외: DORA 4대 지표를 Four Keys로 자동 집계해보기19실무와 다른 4가지를 채우려고 로드맵을 이렇게 짰다20OpenSearch·Loki·Datadog, 로그 스택은 왜 하나로 안 끝나는가21Control-Plane HA는 언제 정당한가 - etcd 쿼럼, kube-vip 페일오버, cordon/drain의 수학22OpenTelemetry는 무엇을 표준화하는가 - Prometheus·Grafana·Loki·Tempo가 실제로 맞물리는 지점23Helm은 템플릿 도구가 아니라 릴리스 버전 관리자다24카나리 배포와 블루그린 배포, 뭐가 다르고 언제 뭘 써야 하는가25SRE는 정확히 무엇을 하는 직군인가 - '운영을 소프트웨어 문제로 본다'는 말의 실체26온콜은 왜 필요하고, 어떻게 지속 가능하게 운영하는가27IaC는 한 계층이 아니다 - Terraform·Packer·Helm이 각각 다루는 것, 그리고 RKE2 vs kubeadm28SLI·SLO·에러 버짓과 온콜·에스컬레이션 - 숫자로 문제를 정의하고 사람에게 연결하기

목표

지금까지 Alertmanager는 알림을 Discord 채널에 뿌리는 것으로 끝났다 - 채널에 알림이 오지만 "누가 봐야 하는지, 못 보면 어떻게 되는지"는 사람이 알아서 챙겨야 했다. PagerDuty가 상용으로 제공하는 이 부분(당직 스케줄, 무응답 시 다음 사람에게 에스컬레이션, 알림 그룹핑으로 노이즈 감소)을 오픈소스 Grafana OnCall로 직접 구현한다.

개념: Alertmanager와 온콜 도구는 역할이 다르다

AlertmanagerGrafana OnCall / PagerDuty
역할알림을 받아 라우팅(누구에게 보낼지 규칙 적용)그 알림을 "사람이 실제로 확인·대응"하게 관리
없는 것당직 스케줄, 무응답 시 재시도 개념(직접 만들지 않음, Alertmanager가 여전히 알림 소스)
실패 시채널에 뿌리고 끝 - 아무도 안 보면 그대로 묻힘일정 시간 무응답 시 다음 사람에게 자동 에스컬레이션(전화·SMS 등)

Grafana OnCall은 Alertmanager를 대체하는 게 아니라 그 뒤에 붙는다 - Alertmanager가 여전히 "무엇이 알림인지"를 판단하고, OnCall은 "그 알림을 누가 언제 확인해야 하는지"를 관리한다.

실제 구축 절차

1. Grafana OnCall 설치

helm repo add grafana https://grafana.github.io/helm-charts
helm install grafana-oncall grafana/oncall \
  --namespace monitoring \
  --set oncall.secrets.secretKey=$(openssl rand -hex 32)

2. Alertmanager → OnCall 연동

Alertmanager의 기존 Discord 웹훅 라우트 옆에 OnCall 웹훅 라우트를 추가한다 - 두 채널 모두에 알림이 가되, 실제 "누가 대응할지"는 OnCall이 관리한다.

# alertmanager config
route:
  receiver: "null"
  routes:
    - receiver: discord         # 기존 - 채널에 그냥 뿌림 (가시성 용도)
      matchers: [severity =~ "warning|critical"]
    - receiver: grafana-oncall  # 신규 - 실제 대응 관리
      matchers: [severity = "critical"]
receivers:
  - name: "null"
  - name: discord
    slack_configs:
      - api_url_file: /etc/alertmanager/secrets/discord-webhook/url
  - name: grafana-oncall
    webhook_configs:
      - url: http://grafana-oncall.monitoring:8080/integrations/v1/alertmanager/<integration-token>/

3. 당직 스케줄 구성

Grafana OnCall UI(또는 Terraform provider)에서 스케줄을 정의한다 - 개인 랩이라 실제로는 "본인 1인 로테이션"이지만, 팀 규모를 가정한 다인 로테이션 구조로 만들어본다.

# terraform/oncall.tf (grafana/grafana provider의 oncall 리소스)
resource "grafana_oncall_schedule" "primary" {
  name = "primary-oncall"
  type = "calendar"
  shifts = [grafana_oncall_on_call_shift.weekday.id]
}

resource "grafana_oncall_on_call_shift" "weekday" {
  name       = "weekday-shift"
  type       = "recurrent_event"
  start      = "2026-07-27T09:00:00"
  duration   = 43200  # 12시간
  frequency  = "daily"
  users      = [data.grafana_oncall_user.me.id]
}

4. 에스컬레이션 정책

에스컬레이션 체인은 심각도별로 다르게 둔다 - 모든 알림을 똑같이 취급하면 둘 중 하나로 실패한다. critical까지 무응답 대기 시간을 넉넉히 주면 실제 장애의 초동 대응이 늦어지고, warning까지 에스컬레이션시키면 백업 담당자가 급하지 않은 알림에도 계속 불려나온다.

  • critical: 1차 담당자에게 즉시 통지 → 무응답 시 짧은 대기 후 2차로 자동 전환. "사람이 지금 봐야 대응 가능한" 알림이라 대응 속도가 곧 장애 영향 범위다.
  • warning: 에스컬레이션 체인 자체가 없다. Discord 채널 알림 + (선택적으로) OnCall 상의 티켓 생성으로 끝내고, 무응답이어도 다음 사람을 깨우지 않는다. 다음 근무일에 확인해도 되는 수준이라는 판단이 이미 severity 분류에 들어가 있기 때문이다 - 여기서 다시 에스컬레이션을 걸면 severity 분류가 무의미해진다.

무응답 대기 시간(duration)을 5분으로 잡은 것도 임의의 숫자가 아니다 - "알림을 보고 확인 버튼을 누르기까지 걸리는 현실적인 시간"과 "실제로 대응 불가능한 상태를 빨리 알아채야 하는 시간" 사이의 절충값이다.

대기 시간문제
너무 짧음 (1~2분)폰을 보고 있어도 알림 확인 → 상황 파악 → ack 클릭까지의 정상적인 지연조차 에스컬레이션으로 처리돼 백업 담당자가 불필요하게 깨어난다
너무 길음 (15분+)1차 담당자가 실제로 대응 불가능한 상태(수면 중, 이동 중, 전원 꺼짐)여도 그만큼 장애가 방치된다 - critical에서는 이 지연이 곧 장애 지속 시간이다

이 프로젝트에서는 알림 채널이 Discord 푸시라는 점을 감안해 5분으로 시작했고, 이후 실제 무응답 발생 빈도와 오탐(정상 확인인데 에스컬레이션된 경우) 비율을 보면서 조정하는 쪽으로 잡았다 - 처음부터 "정답 숫자"를 찾으려 하지 않고, 관측 가능한 값으로 만든 뒤 조정하는 접근이다.

resource "grafana_oncall_escalation_chain" "critical" {
  name = "critical-escalation"
}

resource "grafana_oncall_escalation" "notify_primary" {
  escalation_chain_id = grafana_oncall_escalation_chain.critical.id
  type                = "notify_persons"
  persons_to_notify    = [data.grafana_oncall_user.me.id]
  position             = 0
}

resource "grafana_oncall_escalation" "escalate_after_5min" {
  escalation_chain_id = grafana_oncall_escalation_chain.critical.id
  type                = "wait"
  duration            = 300   # 5분 무응답 시
  position             = 1
}

resource "grafana_oncall_escalation" "notify_backup" {
  escalation_chain_id = grafana_oncall_escalation_chain.critical.id
  type                = "notify_person_next_each_time"
  position             = 2
}

# warning은 별도 체인 - 통지만 하고 에스컬레이션 단계가 없다
resource "grafana_oncall_escalation_chain" "warning" {
  name = "warning-ticket-only"
}

resource "grafana_oncall_escalation" "notify_ticket_only" {
  escalation_chain_id = grafana_oncall_escalation_chain.warning.id
  type                = "notify_persons"
  persons_to_notify    = [data.grafana_oncall_user.me.id]
  position             = 0
  # 이후 wait/notify_next 단계를 두지 않는다 - 무응답이어도 다음 사람을 부르지 않음
}

5. 알림 그룹핑으로 노이즈 감소

한 장애가 여러 서비스에 연쇄적으로 영향을 주면(예: DB 장애 → 여러 서비스가 동시에 5xx) Alertmanager가 알림을 각각 따로 보내 "알림 폭주"가 생길 수 있다. 그룹핑이 없으면 온콜 담당자는 원인 하나에 대해 알림 10개, 확인 버튼 10번, 상황 파악 10번을 반복하게 된다 - 실제로 필요한 건 "DB가 죽었다" 하나의 신호인데 노이즈가 신호를 덮어버리는 실패 모드다. OnCall의 그룹핑 규칙으로 같은 근본 원인으로 추정되는 알림을 하나의 "인시던트"로 묶는다.

# alertmanager config - group_by로 1차 그룹핑
route:
  group_by: ['alertname', 'cluster']
  group_wait: 30s
  group_interval: 5m

세 설정값은 서로 다른 역할을 하고, 각각 잘못 잡으면 실패 모드도 다르다.

설정하는 일너무 크면너무 작으면
group_by어떤 라벨이 같아야 "같은 그룹"으로 볼지 정의라벨을 너무 좁게 잡으면(예: alertname만) 서로 무관한 알림까지 한 그룹에 묶여 원인 파악이 오히려 헷갈린다라벨을 너무 넓게 잡으면(예: 인스턴스 단위까지 포함) 같은 원인인데도 그룹이 쪼개져 그룹핑 효과가 사라진다
group_wait그룹의 첫 알림을 보내기 전, 같은 그룹으로 더 들어올 알림을 얼마나 기다릴지초동 알림 자체가 늦어져 대응 시작이 밀린다거의 즉시 발송되므로 뒤따라 들어오는 관련 알림들이 그룹핑되지 않고 개별로 새 알림처럼 쌓인다 - 그룹핑을 켜놨는데 사실상 안 켠 것과 같은 상태
group_interval같은 그룹에 대해 다음 알림(추가/해소된 알림 반영)을 보내는 최소 간격이미 열려있는 그룹의 억제 구간 동안, 우연히 같은 그룹 키에 걸린 별개 원인의 새 알림이 묻혀서 늦게 전달된다알림이 자주 갱신되며 사실상 그룹핑 전의 폭주와 비슷한 빈도로 다시 울린다

이 프로젝트에서는 group_wait: 30s, group_interval: 5m으로 시작했다 - 30초는 "동시에 튀는 연쇄 장애"를 한 묶음으로 잡을 만큼 짧고, 5분은 그룹이 살아있는 동안 정말 새로운 정보(추가 서비스 장애, 복구)가 있을 때만 다시 알리게 하는 간격이다. group_by는 alertname과 cluster만 넣어 "같은 종류의 알림이 같은 클러스터에서" 발생했을 때만 묶이게 했다 - 서로 다른 클러스터의 같은 알림까지 묶어버리면 실제로는 무관한 두 장애가 하나로 보이는 부작용이 생기기 때문이다.

온콜 로테이션 설계와 번아웃 방지

에스컬레이션과 그룹핑이 "알림이 온 다음"을 관리하는 거라면, 로테이션 설계는 "그 부담을 누가 얼마나 지는지"를 관리하는 문제다. 온콜은 한 번 잘못 설계하면 특정 인원에게 부담이 몰리다가 번아웃으로 이어지는 게 전형적인 실패 패턴이라, 처음부터 부담을 측정하고 분산하는 구조를 넣어야 한다.

로테이션 주기: 일간 로테이션은 한 사람이 지는 부담을 짧게 끊어 극단적인 몰림을 막지만, 매일 담당자가 바뀌면서 인수인계·컨텍스트 전환 비용이 커진다. 주간 로테이션은 한 주 동안 상황에 익숙해져 대응 품질이 올라가지만, 그 한 주에 하필 장애가 몰리면 한 사람이 그 주를 통째로 갈아넣게 된다. 팀 규모가 작을수록(이 랩처럼 1인에 가까울수록) 주기보다 "얼마나 자주 알림이 오는지"를 줄이는 쪽이 우선이다 - 로테이션을 아무리 잘 짜도 알림 자체가 많으면 번아웃은 못 막는다.

야간 알림을 줄이는 사전 조치: 온콜 부담의 핵심은 알림 총량이 아니라 "잠을 깨우는 알림"의 비율이다. 사람이 봐야만 해결되는 알림과, 정해진 절차대로 처리하면 되는 알림을 구분해서 후자를 자동화로 빼는 게 먼저다.

  • 디스크 사용량 임계치 초과 → 사람 판단 없이 로그 로테이션/오래된 아티팩트 정리 스크립트를 알림보다 먼저 트리거 (알림은 자동 조치가 실패했을 때만)
  • Pod OOMKill로 인한 재시작 → k8s가 이미 자동으로 재시작하므로, 재시작 자체는 알리지 않고 "짧은 시간 내 재시작 횟수 임계치 초과"만 알림으로 승격
  • 이런 알림은 "사람이 지금 깨서 판단해야 하는가"를 기준으로 분류하고, 아니라면 온콜 알림에서 제외하거나 자동 조치 후 결과만 낮은 severity로 남긴다

부담을 정량적으로 추적: "느낌상 힘들다"로는 개선이 안 되니 숫자로 본다. 대표적으로 보는 지표는 두 가지다 - 담당자 1인당 주당 알림(페이지) 수, 그중 야간 시간대(예: 22:00~07:00) 알림의 비율. OnCall의 API로 최근 알림 그룹 목록을 뽑아 집계할 수 있다.

# 최근 7일간 발생한 알림 그룹 수 조회 (Grafana OnCall REST API)
curl -s -H "Authorization: <api-token>" \
  "https://oncall.example.com/api/v1/alert_groups/?started_at__gte=$(date -u -d '7 days ago' +%Y-%m-%dT%H:%M:%S)" \
  | jq '.results | length'

이 수를 매주 추적하면서, 야간 알림 비율이 일정 수준(예: 20%) 이상으로 올라가면 "로테이션을 더 쪼갤 문제"가 아니라 "그 알림을 자동화로 없앨 문제"로 우선 접근한다 - 로테이션 조정은 부담을 사람들 사이에 재분배할 뿐이고, 자동화만이 총량 자체를 줄인다.

검증 방법

  • 시리즈 6의 장애 주입 실험(디스크풀·OOMKill 등)을 다시 실행해 OnCall에 실제로 알림이 도착하는지 확인
  • 알림을 의도적으로 확인(acknowledge)하지 않고 5분을 기다려, 백업 담당자에게 실제로 에스컬레이션되는지 확인
  • 여러 서비스에 동시에 영향을 주는 장애를 재현해, 알림이 개별로 쏟아지는 대신 하나의 인시던트로 그룹핑되는지 확인
  • 당직 스케줄 시간 외에 발생한 알림이 그 시간대 담당자에게만 가는지 확인

체크리스트

  • Grafana OnCall 설치, Alertmanager 웹훅 연동
  • 당직 스케줄 구성 (다인 로테이션 가정)
  • 심각도별 에스컬레이션 체인 분리 - critical은 무응답 시 자동 전환, warning은 에스컬레이션 없이 통지만
  • group_by/group_wait/group_interval 값을 실제 알림 패턴에 맞게 조정하고, 동시다발 알림이 하나의 인시던트로 묶이는지 확인
  • 자동 조치 가능한 알림(디스크 정리, 재시작 임계치 등)을 식별해 온콜 알림에서 분리
  • 주당 알림 수·야간 알림 비율을 추적할 방법 마련
  • 시리즈 6 장애 주입 실험 재실행으로 전체 흐름(Prometheus → Alertmanager → OnCall → 에스컬레이션) 종단 검증