관측 스택이 진짜로 장애를 잡는가 - 노드 다운·OOMKill·디스크풀 직접 주입해보기
카오스 엔지니어링의 핵심 전제(steady state hypothesis)부터, 노드 다운·OOMKill·디스크풀·RabbitMQ 강제종료 4종 장애 주입 실험의 실제 탐지 시간, 알림 규칙이 실제 장애 유형을 못 잡아낸 사례와 교체 과정, 포스트모템 템플릿까지.
목표
Prometheus·Loki·OpenTelemetry로 세운 관측 스택이 "설치되어 있다"는 것과 "실제 장애를 탐지한다"는 것은 다른 주장이다. 이 편은 그 스택에 실제로 장애를 주입해서, 알림이 오는지·얼마나 걸리는지·애초에 그 장애 유형을 잡을 수 있는 규칙이었는지를 직접 검증한다.
개념: 카오스 엔지니어링과 정상 상태 가설
카오스 엔지니어링은 "장애가 언젠가 난다"는 걸 전제로, 실제로 터지기 전에 통제된 환경에서 미리 장애를 일으켜보고 시스템과 사람(알림·대응 절차)이 제대로 반응하는지 검증하는 방법론이다. 원전(Netflix의 Chaos Monkey)에서 나온 정의를 이 랩 규모로 옮기면 핵심은 하나로 압축된다 - 정상 상태 가설(steady state hypothesis)을 먼저 정의하고, 그 가설이 장애 상황에서도 유지되는지를 실험으로 반증(falsify)한다.
정상 상태 가설의 예:
"api-server의 5xx 비율은 5% 미만이다"
"RabbitMQ에 발행된 메시지는 워커가 반드시 ack/nack 처리한다"
"노드 하나가 죽어도 파드는 5분 안에 다른 노드로 재스케줄된다"
실험 = 이 가설을 깨뜨릴 조건을 의도적으로 만들고, 실제로 깨지는지 관찰
이 틀에서 보면 실험의 목적은 "장애를 일으키는 것"이 아니라 **"장애가 났을 때 탐지까지 얼마나 걸리는지, 그리고 정상 상태 가설이 실제로 방어되는지를 미리 재보는 것"**이다. 이 시리즈의 모든 실험은 그 시간을 재는 게 진짜 목적이고, 주입 규모(blast radius)를 랩 클러스터 전체가 아니라 노드 1대·파드 1개 단위로 좁혀서 진행한 것도 "실서비스였다면 영향 범위를 최소화해야 한다"는 원칙을 그대로 반영한 것이다.
각 실험은 가설 정의 → 주입 → 관측 → 기록의 순서로 진행하고, 주입 시작 시각을 먼저 기록해야 나중에 "알림까지 걸린 시간"을 정확히 잴 수 있다.
blast radius(장애 파급 범위) 제한: 이 실험들은 실제로 서비스에 영향을 줄 수 있는 조작이라, 아래 세 가지를 실험 전에 정해두고 시작했다.
- 스테이징(이 랩 클러스터)에서 먼저 - 프로덕션 트래픽이 있는 환경이라면, 여기서 이미 검증된 실험만, 그것도 아래 두 조건을 지켜서 반복하는 게 맞는 순서다.
- 트래픽이 낮은 시간대 - 재스케줄·축출이 진행되는 동안은 일시적으로 처리 용량이 줄기 때문에, 실제 요청이 몰리는 시간대를 피해서 주입한다.
- 롤백 조건을 실험 전에 정의 - "N분 내 자기치유가 안 되면 즉시 수동 복구(파드 삭제 취소, 노드 재기동)"처럼, 실험이 계획대로 안 풀렸을 때 언제 멈추고 되돌릴지를 주입 전에 정해둔다. 아래 3번 실험(노드 다운)에서 실제로 의도와 다른 노드에 주입한 걸 조기에 발견하고 3분 만에 복구할 수 있었던 것도, "축출 타임아웃 전에 못 고치면 즉시 되돌린다"는 기준을 미리 갖고 있었기 때문이다.
실험 설계: 4종
노드 다운
# 실험 대상 워커 노드에서
sudo systemctl stop kubelet
# 또는 VM 자체를 강제 종료
# 관측할 것
# - kubectl get nodes 에서 NotReady로 바뀌는 시점
# - 해당 노드의 파드가 다른 노드로 재스케줄되기까지 걸리는 시간 (기본 pod-eviction-timeout 5분)
# - Alertmanager 알림이 Discord에 도착하는 시점
kubelet이 멎으면 컨트롤플레인은 일정 시간(node-monitor-grace-period, 기본 40초) 동안 하트비트가 없는 노드를 NotReady로 표시하고, 그 뒤로도 pod-eviction-timeout(기본 5분)이 지나야 비로소 그 노드의 파드를 다른 곳으로 재스케줄한다. 즉 "노드가 죽었다"와 "서비스가 실제로 복구된다" 사이에는 기본값만으로도 5분 이상의 구조적 지연이 있다는 뜻이고, 이 수치 자체가 나중에 SLO를 잡을 때(07편) 참고할 하한선이 된다.
OOMKill
리눅스 커널은 메모리가 부족해지면 임의로 프로세스를 골라 강제 종료해서 시스템 전체가 멎는 걸 막는다 - 이 메커니즘을 OOM(Out Of Memory) Killer라 부른다. 컨테이너에 메모리 limits를 걸어두면, 그 컨테이너가 한도를 넘었을 때 커널이 호스트 전체 대신 그 컨테이너만 골라 종료한다(OOMKilled).
# 의도적으로 낮은 메모리 제한을 건 테스트 파드
resources:
limits: {memory: "64Mi"}
kubectl run oom-test --image=polinux/stress --limits=memory=64Mi -- \
stress --vm 1 --vm-bytes 256M
# kubectl describe pod oom-test 에서 OOMKilled 상태 확인
# Prometheus의 container_oom_events_total 메트릭에 반영되는 시점 확인
디스크 풀
# 워커 노드에서 디스크를 의도적으로 채움
fallocate -l 10G /tmp/fillfile
# kubelet의 disk pressure 감지 → 노드가 파드 축출(evict)을 시작하는지 확인
# node-exporter의 node_filesystem_avail_bytes 알림이 임계치를 넘는 시점 확인
RabbitMQ 강제 종료
kubectl delete pod rabbitmq-0 --grace-period=0 --force
# ack/nack 파이프라인이 이 상황에서 실제로 메시지를 보존하는지 재검증
메시지 브로커 자체를 즉시 종료(--grace-period=0)하는 건 "정상 종료(graceful shutdown)를 건너뛴다"는 의미다 - 브로커가 처리 중이던 메시지를 디스크에 flush할 기회조차 주지 않고 죽이는 최악의 경로를 재현해서, ack되지 않은 메시지가 재큐잉되는지, 컨슈머가 재연결에 성공하는지를 확인한다.
실험 증거를 어떻게 남겼는가
"알림이 왔다"는 말만으로는 증거가 안 된다. 각 실험마다 최소 세 시점을 대시보드로 남겼다.
- 주입 전 - 위에서 정의한 steady state 지표가 정상 범위라는 걸 보여주는 캡처(예: 시리즈 초반부터 쓰는
Grafana Kubernetes/Networking/Namespace(Pods)대시보드,up쿼리 결과). - 주입 중 - 이상 신호가 뜨는 순간(Prometheus
up이 0으로 떨어지는 시점,NotReady/DiskPressure상태 전환). - 알림 도착 및 복구 후 - Alertmanager Alerts 화면과 Discord 수신 캡처. 위 Alertmanager 절의
alertmanger_alerts.png가 실제로 이 세 번째 단계의 증거이고, 그 안에 있는PodOOMKilled(tempo-0)가 테스트가 아니라 실제 장애였다는 것도 발화 유지 시간과 라벨을 보고 실험용 알림과 구분할 수 있었다.
탐지 시간과 복구 시간은 다른 숫자다 - "알림이 왔다"와 "정상 상태로 실제로 돌아왔다"는 서로 다른 시점이라, 아래 표에 둘을 나눠서 기록했다.
실제로 실행한 결과
| # | 실험 | 탐지 시간 | 복구 시간 | 비고 |
|---|---|---|---|---|
| 1 | RabbitMQ 파드 강제삭제 | 알림 없음 (임계치 미도달) | 46초 (자기치유, 수동 개입 없음) | worker 재연결 로직이 임계치 도달 전에 정상 동작 - 이것도 유효한 결과다 |
| 2 | OOMKill | kubectl 기준 9초, 메트릭 알림은 못 잡음 | kubelet이 즉시 재시작 (수 초) | container_oom_events_total이 재시작 없이 죽는 파드는 못 잡는다는 한계 발견 → kube_pod_container_status_last_terminated_reason 기반 규칙으로 교체 |
| 3 | 노드 다운(kubelet 중지) | 약 2분(NotReady) | 3분 (수동 복구) | IP 착각으로 의도와 다른 노드에 주입했지만, 조기 발견 후 3분 만에 복구(축출 타임아웃 전이라 서비스 영향 없음) |
| 4 | 디스크 풀 | 13초(DiskPressure) | 자동, 수십 초 내 (image GC) | kubelet의 자동 image GC가 축출 전에 스스로 ~5GB를 회수하는 것까지 실측 확인 |
4개 전부 디스코드로 알림이 도착했다(1번은 애초에 임계치를 안 넘어서 알림이 없는 게 맞는 동작이다). 2번에서 알림 규칙이 실제 장애 유형을 못 잡는 걸 발견하고 교체한 게 이 실험의 핵심 소득이다 - "장애를 일으켜봤다"가 아니라 "탐지 공백을 찾아 메꿨다"가 진짜 목적이라는 걸 보여주는 사례다.
SLO·알람 설계로 이어진 피드백: 2번은 알림 규칙 자체를 즉시 교체했지만, 4번은 규칙을 안 바꿔도 되는 이유를 찾은 경우다 - image GC가 축출 이전에 자동으로 공간을 회수한다는 걸 실측했으므로, DiskPressure 알림의 severity를 "즉시 대응 필요"가 아니라 "GC가 못 따라잡을 때만 대응 필요"로 재해석할 근거가 생겼다. 즉 이 네 실험은 각각 "규칙을 바꿔야 한다"(2번), "지금 규칙이 맞다는 걸 확인했다"(1번, 4번), "탐지는 됐지만 사람이 착각할 수 있는 지점을 찾았다"(3번, IP 착각)로 서로 다른 종류의 피드백을 냈다 - 카오스 실험의 결과물은 하나의 정답이 아니라 이렇게 실측값 기준으로 알림·SLO 설계를 다시 검증하는 과정 그 자체다.
포스트모템 문서 템플릿
실험마다 아래 형식으로 기록한다. 항목을 미리 정해두는 이유는, 장애가 실제로 터졌을 때(연습이 아니라 진짜 사고일 때) 같은 틀로 돌아볼 수 있게 훈련하는 것도 이 실험의 목적이기 때문이다.
# 포스트모템: <실험명> (YYYY-MM-DD)
## 타임라인
- 00:00 장애 주입 (구체적 명령/조작)
- 00:XX 첫 이상 신호 감지 (메트릭/로그상 변화)
- 00:XX 알림 도착 (Discord 등)
- 00:XX 자동/수동 복구 완료
## 원인
(장애가 실제로 무엇 때문에 발생했는지)
## 탐지 공백
(장애 발생부터 알림 도착까지 얼마나 걸렸는지, 왜 그만큼 걸렸는지)
## 재발 방지
(알림 규칙 조정, 임계치 변경, 자동 복구 추가 등 - 실행한 조치)
검증 방법
각 실험에서 반드시 남겨야 하는 숫자 3가지: 장애 발생 시각, 첫 메트릭/로그 이상 시각, 알림 도착 시각. 이 세 시각의 차이가 곧 "탐지 공백(detection gap)"이고, 이 값을 계속 줄여나가는 게 알림 규칙 튜닝의 목표다. 나중에 SLO/에러 버짓을 잡을 때도 이 탐지 공백이 "장애가 나서 실제로 사용자 영향이 시작되는 시점"과 "우리가 그걸 알게 되는 시점" 사이의 간극으로 그대로 이어진다.
체크리스트
- 실험별 정상 상태 가설을 먼저 문장으로 정의
- 장애 주입 실험 4종 실행 (노드 다운/OOMKill/디스크풀/RabbitMQ 강제종료)
- 실험마다 포스트모템 문서 작성 (타임라인·원인·탐지 공백·재발 방지)
- 알림 규칙이 실제로 그 장애 유형을 잡아내는지 검증 - 못 잡는 경우 조건식 교체