Grafana OnCall로 PagerDuty 없이 온콜·에스컬레이션 구현하기
Alertmanager가 알림을 보내는 것과 그 알림을 누가 언제 처리하는지 관리하는 것은 다른 문제다. PagerDuty의 오픈소스 대체품 Grafana OnCall로 당직 스케줄, 무응답 시 에스컬레이션, 알림 그룹핑까지 구현하는 절차.
목표
지금까지 Alertmanager는 알림을 Discord 채널에 뿌리는 것으로 끝났다 - 채널에 알림이 오지만 "누가 봐야 하는지, 못 보면 어떻게 되는지"는 사람이 알아서 챙겨야 했다. PagerDuty가 상용으로 제공하는 이 부분(당직 스케줄, 무응답 시 다음 사람에게 에스컬레이션, 알림 그룹핑으로 노이즈 감소)을 오픈소스 Grafana OnCall로 직접 구현한다.
개념: Alertmanager와 온콜 도구는 역할이 다르다
| Alertmanager | Grafana OnCall / PagerDuty | |
|---|---|---|
| 역할 | 알림을 받아 라우팅(누구에게 보낼지 규칙 적용) | 그 알림을 "사람이 실제로 확인·대응"하게 관리 |
| 없는 것 | 당직 스케줄, 무응답 시 재시도 개념 | (직접 만들지 않음, Alertmanager가 여전히 알림 소스) |
| 실패 시 | 채널에 뿌리고 끝 - 아무도 안 보면 그대로 묻힘 | 일정 시간 무응답 시 다음 사람에게 자동 에스컬레이션(전화·SMS 등) |
Grafana OnCall은 Alertmanager를 대체하는 게 아니라 그 뒤에 붙는다 - Alertmanager가 여전히 "무엇이 알림인지"를 판단하고, OnCall은 "그 알림을 누가 언제 확인해야 하는지"를 관리한다.
실제 구축 절차
1. Grafana OnCall 설치
helm repo add grafana https://grafana.github.io/helm-charts
helm install grafana-oncall grafana/oncall \
--namespace monitoring \
--set oncall.secrets.secretKey=$(openssl rand -hex 32)
2. Alertmanager → OnCall 연동
Alertmanager의 기존 Discord 웹훅 라우트 옆에 OnCall 웹훅 라우트를 추가한다 - 두 채널 모두에 알림이 가되, 실제 "누가 대응할지"는 OnCall이 관리한다.
# alertmanager config
route:
receiver: "null"
routes:
- receiver: discord # 기존 - 채널에 그냥 뿌림 (가시성 용도)
matchers: [severity =~ "warning|critical"]
- receiver: grafana-oncall # 신규 - 실제 대응 관리
matchers: [severity = "critical"]
receivers:
- name: "null"
- name: discord
slack_configs:
- api_url_file: /etc/alertmanager/secrets/discord-webhook/url
- name: grafana-oncall
webhook_configs:
- url: http://grafana-oncall.monitoring:8080/integrations/v1/alertmanager/<integration-token>/
3. 당직 스케줄 구성
Grafana OnCall UI(또는 Terraform provider)에서 스케줄을 정의한다 - 개인 랩이라 실제로는 "본인 1인 로테이션"이지만, 팀 규모를 가정한 다인 로테이션 구조로 만들어본다.
# terraform/oncall.tf (grafana/grafana provider의 oncall 리소스)
resource "grafana_oncall_schedule" "primary" {
name = "primary-oncall"
type = "calendar"
shifts = [grafana_oncall_on_call_shift.weekday.id]
}
resource "grafana_oncall_on_call_shift" "weekday" {
name = "weekday-shift"
type = "recurrent_event"
start = "2026-07-27T09:00:00"
duration = 43200 # 12시간
frequency = "daily"
users = [data.grafana_oncall_user.me.id]
}
4. 에스컬레이션 정책
에스컬레이션 체인은 심각도별로 다르게 둔다 - 모든 알림을 똑같이 취급하면 둘 중 하나로 실패한다. critical까지 무응답 대기 시간을 넉넉히 주면 실제 장애의 초동 대응이 늦어지고, warning까지 에스컬레이션시키면 백업 담당자가 급하지 않은 알림에도 계속 불려나온다.
- critical: 1차 담당자에게 즉시 통지 → 무응답 시 짧은 대기 후 2차로 자동 전환. "사람이 지금 봐야 대응 가능한" 알림이라 대응 속도가 곧 장애 영향 범위다.
- warning: 에스컬레이션 체인 자체가 없다. Discord 채널 알림 + (선택적으로) OnCall 상의 티켓 생성으로 끝내고, 무응답이어도 다음 사람을 깨우지 않는다. 다음 근무일에 확인해도 되는 수준이라는 판단이 이미 severity 분류에 들어가 있기 때문이다 - 여기서 다시 에스컬레이션을 걸면 severity 분류가 무의미해진다.
무응답 대기 시간(duration)을 5분으로 잡은 것도 임의의 숫자가 아니다 - "알림을 보고 확인 버튼을 누르기까지 걸리는 현실적인 시간"과 "실제로 대응 불가능한 상태를 빨리 알아채야 하는 시간" 사이의 절충값이다.
| 대기 시간 | 문제 |
|---|---|
| 너무 짧음 (1~2분) | 폰을 보고 있어도 알림 확인 → 상황 파악 → ack 클릭까지의 정상적인 지연조차 에스컬레이션으로 처리돼 백업 담당자가 불필요하게 깨어난다 |
| 너무 길음 (15분+) | 1차 담당자가 실제로 대응 불가능한 상태(수면 중, 이동 중, 전원 꺼짐)여도 그만큼 장애가 방치된다 - critical에서는 이 지연이 곧 장애 지속 시간이다 |
이 프로젝트에서는 알림 채널이 Discord 푸시라는 점을 감안해 5분으로 시작했고, 이후 실제 무응답 발생 빈도와 오탐(정상 확인인데 에스컬레이션된 경우) 비율을 보면서 조정하는 쪽으로 잡았다 - 처음부터 "정답 숫자"를 찾으려 하지 않고, 관측 가능한 값으로 만든 뒤 조정하는 접근이다.
resource "grafana_oncall_escalation_chain" "critical" {
name = "critical-escalation"
}
resource "grafana_oncall_escalation" "notify_primary" {
escalation_chain_id = grafana_oncall_escalation_chain.critical.id
type = "notify_persons"
persons_to_notify = [data.grafana_oncall_user.me.id]
position = 0
}
resource "grafana_oncall_escalation" "escalate_after_5min" {
escalation_chain_id = grafana_oncall_escalation_chain.critical.id
type = "wait"
duration = 300 # 5분 무응답 시
position = 1
}
resource "grafana_oncall_escalation" "notify_backup" {
escalation_chain_id = grafana_oncall_escalation_chain.critical.id
type = "notify_person_next_each_time"
position = 2
}
# warning은 별도 체인 - 통지만 하고 에스컬레이션 단계가 없다
resource "grafana_oncall_escalation_chain" "warning" {
name = "warning-ticket-only"
}
resource "grafana_oncall_escalation" "notify_ticket_only" {
escalation_chain_id = grafana_oncall_escalation_chain.warning.id
type = "notify_persons"
persons_to_notify = [data.grafana_oncall_user.me.id]
position = 0
# 이후 wait/notify_next 단계를 두지 않는다 - 무응답이어도 다음 사람을 부르지 않음
}
5. 알림 그룹핑으로 노이즈 감소
한 장애가 여러 서비스에 연쇄적으로 영향을 주면(예: DB 장애 → 여러 서비스가 동시에 5xx) Alertmanager가 알림을 각각 따로 보내 "알림 폭주"가 생길 수 있다. 그룹핑이 없으면 온콜 담당자는 원인 하나에 대해 알림 10개, 확인 버튼 10번, 상황 파악 10번을 반복하게 된다 - 실제로 필요한 건 "DB가 죽었다" 하나의 신호인데 노이즈가 신호를 덮어버리는 실패 모드다. OnCall의 그룹핑 규칙으로 같은 근본 원인으로 추정되는 알림을 하나의 "인시던트"로 묶는다.
# alertmanager config - group_by로 1차 그룹핑
route:
group_by: ['alertname', 'cluster']
group_wait: 30s
group_interval: 5m
세 설정값은 서로 다른 역할을 하고, 각각 잘못 잡으면 실패 모드도 다르다.
| 설정 | 하는 일 | 너무 크면 | 너무 작으면 |
|---|---|---|---|
group_by | 어떤 라벨이 같아야 "같은 그룹"으로 볼지 정의 | 라벨을 너무 좁게 잡으면(예: alertname만) 서로 무관한 알림까지 한 그룹에 묶여 원인 파악이 오히려 헷갈린다 | 라벨을 너무 넓게 잡으면(예: 인스턴스 단위까지 포함) 같은 원인인데도 그룹이 쪼개져 그룹핑 효과가 사라진다 |
group_wait | 그룹의 첫 알림을 보내기 전, 같은 그룹으로 더 들어올 알림을 얼마나 기다릴지 | 초동 알림 자체가 늦어져 대응 시작이 밀린다 | 거의 즉시 발송되므로 뒤따라 들어오는 관련 알림들이 그룹핑되지 않고 개별로 새 알림처럼 쌓인다 - 그룹핑을 켜놨는데 사실상 안 켠 것과 같은 상태 |
group_interval | 같은 그룹에 대해 다음 알림(추가/해소된 알림 반영)을 보내는 최소 간격 | 이미 열려있는 그룹의 억제 구간 동안, 우연히 같은 그룹 키에 걸린 별개 원인의 새 알림이 묻혀서 늦게 전달된다 | 알림이 자주 갱신되며 사실상 그룹핑 전의 폭주와 비슷한 빈도로 다시 울린다 |
이 프로젝트에서는 group_wait: 30s, group_interval: 5m으로 시작했다 - 30초는 "동시에 튀는 연쇄 장애"를 한 묶음으로 잡을 만큼 짧고, 5분은 그룹이 살아있는 동안 정말 새로운 정보(추가 서비스 장애, 복구)가 있을 때만 다시 알리게 하는 간격이다. group_by는 alertname과 cluster만 넣어 "같은 종류의 알림이 같은 클러스터에서" 발생했을 때만 묶이게 했다 - 서로 다른 클러스터의 같은 알림까지 묶어버리면 실제로는 무관한 두 장애가 하나로 보이는 부작용이 생기기 때문이다.
온콜 로테이션 설계와 번아웃 방지
에스컬레이션과 그룹핑이 "알림이 온 다음"을 관리하는 거라면, 로테이션 설계는 "그 부담을 누가 얼마나 지는지"를 관리하는 문제다. 온콜은 한 번 잘못 설계하면 특정 인원에게 부담이 몰리다가 번아웃으로 이어지는 게 전형적인 실패 패턴이라, 처음부터 부담을 측정하고 분산하는 구조를 넣어야 한다.
로테이션 주기: 일간 로테이션은 한 사람이 지는 부담을 짧게 끊어 극단적인 몰림을 막지만, 매일 담당자가 바뀌면서 인수인계·컨텍스트 전환 비용이 커진다. 주간 로테이션은 한 주 동안 상황에 익숙해져 대응 품질이 올라가지만, 그 한 주에 하필 장애가 몰리면 한 사람이 그 주를 통째로 갈아넣게 된다. 팀 규모가 작을수록(이 랩처럼 1인에 가까울수록) 주기보다 "얼마나 자주 알림이 오는지"를 줄이는 쪽이 우선이다 - 로테이션을 아무리 잘 짜도 알림 자체가 많으면 번아웃은 못 막는다.
야간 알림을 줄이는 사전 조치: 온콜 부담의 핵심은 알림 총량이 아니라 "잠을 깨우는 알림"의 비율이다. 사람이 봐야만 해결되는 알림과, 정해진 절차대로 처리하면 되는 알림을 구분해서 후자를 자동화로 빼는 게 먼저다.
- 디스크 사용량 임계치 초과 → 사람 판단 없이 로그 로테이션/오래된 아티팩트 정리 스크립트를 알림보다 먼저 트리거 (알림은 자동 조치가 실패했을 때만)
- Pod OOMKill로 인한 재시작 → k8s가 이미 자동으로 재시작하므로, 재시작 자체는 알리지 않고 "짧은 시간 내 재시작 횟수 임계치 초과"만 알림으로 승격
- 이런 알림은 "사람이 지금 깨서 판단해야 하는가"를 기준으로 분류하고, 아니라면 온콜 알림에서 제외하거나 자동 조치 후 결과만 낮은 severity로 남긴다
부담을 정량적으로 추적: "느낌상 힘들다"로는 개선이 안 되니 숫자로 본다. 대표적으로 보는 지표는 두 가지다 - 담당자 1인당 주당 알림(페이지) 수, 그중 야간 시간대(예: 22:00~07:00) 알림의 비율. OnCall의 API로 최근 알림 그룹 목록을 뽑아 집계할 수 있다.
# 최근 7일간 발생한 알림 그룹 수 조회 (Grafana OnCall REST API)
curl -s -H "Authorization: <api-token>" \
"https://oncall.example.com/api/v1/alert_groups/?started_at__gte=$(date -u -d '7 days ago' +%Y-%m-%dT%H:%M:%S)" \
| jq '.results | length'
이 수를 매주 추적하면서, 야간 알림 비율이 일정 수준(예: 20%) 이상으로 올라가면 "로테이션을 더 쪼갤 문제"가 아니라 "그 알림을 자동화로 없앨 문제"로 우선 접근한다 - 로테이션 조정은 부담을 사람들 사이에 재분배할 뿐이고, 자동화만이 총량 자체를 줄인다.
검증 방법
- 시리즈 6의 장애 주입 실험(디스크풀·OOMKill 등)을 다시 실행해 OnCall에 실제로 알림이 도착하는지 확인
- 알림을 의도적으로 확인(acknowledge)하지 않고 5분을 기다려, 백업 담당자에게 실제로 에스컬레이션되는지 확인
- 여러 서비스에 동시에 영향을 주는 장애를 재현해, 알림이 개별로 쏟아지는 대신 하나의 인시던트로 그룹핑되는지 확인
- 당직 스케줄 시간 외에 발생한 알림이 그 시간대 담당자에게만 가는지 확인
체크리스트
- Grafana OnCall 설치, Alertmanager 웹훅 연동
- 당직 스케줄 구성 (다인 로테이션 가정)
- 심각도별 에스컬레이션 체인 분리 - critical은 무응답 시 자동 전환, warning은 에스컬레이션 없이 통지만
-
group_by/group_wait/group_interval값을 실제 알림 패턴에 맞게 조정하고, 동시다발 알림이 하나의 인시던트로 묶이는지 확인 - 자동 조치 가능한 알림(디스크 정리, 재시작 임계치 등)을 식별해 온콜 알림에서 분리
- 주당 알림 수·야간 알림 비율을 추적할 방법 마련
- 시리즈 6 장애 주입 실험 재실행으로 전체 흐름(Prometheus → Alertmanager → OnCall → 에스컬레이션) 종단 검증