ObservabilityDevOps 학습 로드맵 · 7.5/28편

관측 스택이 진짜로 장애를 잡는가 - 노드 다운·OOMKill·디스크풀 직접 주입해보기

카오스 엔지니어링의 핵심 전제(steady state hypothesis)부터, 노드 다운·OOMKill·디스크풀·RabbitMQ 강제종료 4종 장애 주입 실험의 실제 탐지 시간, 알림 규칙이 실제 장애 유형을 못 잡아낸 사례와 교체 과정, 포스트모템 템플릿까지.

2026-07-1815 min read
#카오스 엔지니어링#장애 주입#Prometheus#Alertmanager#포스트모템
DevOps 학습 로드맵시리즈 목차
1채용공고 요구사항 6개 중 자신 있게 답할 수 있는 게 절반도 안 됐다2kubeadm으로 온프레미스 Kubernetes 클러스터를 처음부터 세우는 절차3FastAPI 서비스 골격, RabbitMQ DLQ, Harbor+Trivy, Jenkins→ArgoCD 파이프라인 구축 절차4Argo Rollouts로 카나리 배포와 Prometheus 메트릭 기반 자동 롤백 붙이기5yaml 복붙 관리의 드리프트 문제를 Kustomize overlay로 구조화하기6Terraform과 Ansible로 클러스터를 코드에서 다시 세울 수 있게 만드는 절차7Prometheus·Loki·OpenTelemetry로 세운 관측 스택 - 메트릭·로그·트레이스를 하나로8관측 스택이 진짜로 장애를 잡는가 - 노드 다운·OOMKill·디스크풀 직접 주입해보기9SLI/SLO/에러 버짓을 실제로 계산해서 배포 판단 기준으로 써보기10임계값 없이 - 통계 기반 이상탐지로 Datadog Watchdog 흉내내기11Grafana OnCall로 PagerDuty 없이 온콜·에스컬레이션 구현하기12자체 JWT 구현부터 취약점 실험, Keycloak 마이그레이션까지의 실제 절차13ISMS-P 인프라 영역 심사를 가정하고 내 클러스터의 증적을 만드는 절차14SealedSecret이 못 남기는 것 - OpenBao + External Secrets Operator로 감사 로그 확보하기15번외: 더미 워커를 실제 ONNX 추론으로, GPU 스케줄링까지 교체하는 절차16번외: 인터넷을 완전히 끊고도 클러스터가 돌아가는지 - 폐쇄망(에어갭) 시뮬레이션 절차17번외: 부하테스트로 관측 스택을 실전 검증하기 - k6 + HPA + MSA 파이프라인18번외: DORA 4대 지표를 Four Keys로 자동 집계해보기19실무와 다른 4가지를 채우려고 로드맵을 이렇게 짰다20OpenSearch·Loki·Datadog, 로그 스택은 왜 하나로 안 끝나는가21Control-Plane HA는 언제 정당한가 - etcd 쿼럼, kube-vip 페일오버, cordon/drain의 수학22OpenTelemetry는 무엇을 표준화하는가 - Prometheus·Grafana·Loki·Tempo가 실제로 맞물리는 지점23Helm은 템플릿 도구가 아니라 릴리스 버전 관리자다24카나리 배포와 블루그린 배포, 뭐가 다르고 언제 뭘 써야 하는가25SRE는 정확히 무엇을 하는 직군인가 - '운영을 소프트웨어 문제로 본다'는 말의 실체26온콜은 왜 필요하고, 어떻게 지속 가능하게 운영하는가27IaC는 한 계층이 아니다 - Terraform·Packer·Helm이 각각 다루는 것, 그리고 RKE2 vs kubeadm28SLI·SLO·에러 버짓과 온콜·에스컬레이션 - 숫자로 문제를 정의하고 사람에게 연결하기

목표

Prometheus·Loki·OpenTelemetry로 세운 관측 스택이 "설치되어 있다"는 것과 "실제 장애를 탐지한다"는 것은 다른 주장이다. 이 편은 그 스택에 실제로 장애를 주입해서, 알림이 오는지·얼마나 걸리는지·애초에 그 장애 유형을 잡을 수 있는 규칙이었는지를 직접 검증한다.

개념: 카오스 엔지니어링과 정상 상태 가설

카오스 엔지니어링은 "장애가 언젠가 난다"는 걸 전제로, 실제로 터지기 전에 통제된 환경에서 미리 장애를 일으켜보고 시스템과 사람(알림·대응 절차)이 제대로 반응하는지 검증하는 방법론이다. 원전(Netflix의 Chaos Monkey)에서 나온 정의를 이 랩 규모로 옮기면 핵심은 하나로 압축된다 - 정상 상태 가설(steady state hypothesis)을 먼저 정의하고, 그 가설이 장애 상황에서도 유지되는지를 실험으로 반증(falsify)한다.

정상 상태 가설의 예:
  "api-server의 5xx 비율은 5% 미만이다"
  "RabbitMQ에 발행된 메시지는 워커가 반드시 ack/nack 처리한다"
  "노드 하나가 죽어도 파드는 5분 안에 다른 노드로 재스케줄된다"

실험 = 이 가설을 깨뜨릴 조건을 의도적으로 만들고, 실제로 깨지는지 관찰

이 틀에서 보면 실험의 목적은 "장애를 일으키는 것"이 아니라 **"장애가 났을 때 탐지까지 얼마나 걸리는지, 그리고 정상 상태 가설이 실제로 방어되는지를 미리 재보는 것"**이다. 이 시리즈의 모든 실험은 그 시간을 재는 게 진짜 목적이고, 주입 규모(blast radius)를 랩 클러스터 전체가 아니라 노드 1대·파드 1개 단위로 좁혀서 진행한 것도 "실서비스였다면 영향 범위를 최소화해야 한다"는 원칙을 그대로 반영한 것이다.

각 실험은 가설 정의 → 주입 → 관측 → 기록의 순서로 진행하고, 주입 시작 시각을 먼저 기록해야 나중에 "알림까지 걸린 시간"을 정확히 잴 수 있다.

blast radius(장애 파급 범위) 제한: 이 실험들은 실제로 서비스에 영향을 줄 수 있는 조작이라, 아래 세 가지를 실험 전에 정해두고 시작했다.

  • 스테이징(이 랩 클러스터)에서 먼저 - 프로덕션 트래픽이 있는 환경이라면, 여기서 이미 검증된 실험만, 그것도 아래 두 조건을 지켜서 반복하는 게 맞는 순서다.
  • 트래픽이 낮은 시간대 - 재스케줄·축출이 진행되는 동안은 일시적으로 처리 용량이 줄기 때문에, 실제 요청이 몰리는 시간대를 피해서 주입한다.
  • 롤백 조건을 실험 전에 정의 - "N분 내 자기치유가 안 되면 즉시 수동 복구(파드 삭제 취소, 노드 재기동)"처럼, 실험이 계획대로 안 풀렸을 때 언제 멈추고 되돌릴지를 주입 전에 정해둔다. 아래 3번 실험(노드 다운)에서 실제로 의도와 다른 노드에 주입한 걸 조기에 발견하고 3분 만에 복구할 수 있었던 것도, "축출 타임아웃 전에 못 고치면 즉시 되돌린다"는 기준을 미리 갖고 있었기 때문이다.

실험 설계: 4종

노드 다운

# 실험 대상 워커 노드에서
sudo systemctl stop kubelet
# 또는 VM 자체를 강제 종료

# 관측할 것
# - kubectl get nodes 에서 NotReady로 바뀌는 시점
# - 해당 노드의 파드가 다른 노드로 재스케줄되기까지 걸리는 시간 (기본 pod-eviction-timeout 5분)
# - Alertmanager 알림이 Discord에 도착하는 시점

kubelet이 멎으면 컨트롤플레인은 일정 시간(node-monitor-grace-period, 기본 40초) 동안 하트비트가 없는 노드를 NotReady로 표시하고, 그 뒤로도 pod-eviction-timeout(기본 5분)이 지나야 비로소 그 노드의 파드를 다른 곳으로 재스케줄한다. 즉 "노드가 죽었다"와 "서비스가 실제로 복구된다" 사이에는 기본값만으로도 5분 이상의 구조적 지연이 있다는 뜻이고, 이 수치 자체가 나중에 SLO를 잡을 때(07편) 참고할 하한선이 된다.

OOMKill

리눅스 커널은 메모리가 부족해지면 임의로 프로세스를 골라 강제 종료해서 시스템 전체가 멎는 걸 막는다 - 이 메커니즘을 OOM(Out Of Memory) Killer라 부른다. 컨테이너에 메모리 limits를 걸어두면, 그 컨테이너가 한도를 넘었을 때 커널이 호스트 전체 대신 그 컨테이너만 골라 종료한다(OOMKilled).

# 의도적으로 낮은 메모리 제한을 건 테스트 파드
resources:
  limits: {memory: "64Mi"}
kubectl run oom-test --image=polinux/stress --limits=memory=64Mi -- \
  stress --vm 1 --vm-bytes 256M
# kubectl describe pod oom-test 에서 OOMKilled 상태 확인
# Prometheus의 container_oom_events_total 메트릭에 반영되는 시점 확인

디스크 풀

# 워커 노드에서 디스크를 의도적으로 채움
fallocate -l 10G /tmp/fillfile
# kubelet의 disk pressure 감지 → 노드가 파드 축출(evict)을 시작하는지 확인
# node-exporter의 node_filesystem_avail_bytes 알림이 임계치를 넘는 시점 확인

RabbitMQ 강제 종료

kubectl delete pod rabbitmq-0 --grace-period=0 --force
# ack/nack 파이프라인이 이 상황에서 실제로 메시지를 보존하는지 재검증

메시지 브로커 자체를 즉시 종료(--grace-period=0)하는 건 "정상 종료(graceful shutdown)를 건너뛴다"는 의미다 - 브로커가 처리 중이던 메시지를 디스크에 flush할 기회조차 주지 않고 죽이는 최악의 경로를 재현해서, ack되지 않은 메시지가 재큐잉되는지, 컨슈머가 재연결에 성공하는지를 확인한다.

실험 증거를 어떻게 남겼는가

"알림이 왔다"는 말만으로는 증거가 안 된다. 각 실험마다 최소 세 시점을 대시보드로 남겼다.

  1. 주입 전 - 위에서 정의한 steady state 지표가 정상 범위라는 걸 보여주는 캡처(예: 시리즈 초반부터 쓰는 Grafana Kubernetes/Networking/Namespace(Pods) 대시보드, up 쿼리 결과).
  2. 주입 중 - 이상 신호가 뜨는 순간(Prometheus up이 0으로 떨어지는 시점, NotReady/DiskPressure 상태 전환).
  3. 알림 도착 및 복구 후 - Alertmanager Alerts 화면과 Discord 수신 캡처. 위 Alertmanager 절의 alertmanger_alerts.png가 실제로 이 세 번째 단계의 증거이고, 그 안에 있는 PodOOMKilled(tempo-0)가 테스트가 아니라 실제 장애였다는 것도 발화 유지 시간과 라벨을 보고 실험용 알림과 구분할 수 있었다.

탐지 시간과 복구 시간은 다른 숫자다 - "알림이 왔다"와 "정상 상태로 실제로 돌아왔다"는 서로 다른 시점이라, 아래 표에 둘을 나눠서 기록했다.

실제로 실행한 결과

#실험탐지 시간복구 시간비고
1RabbitMQ 파드 강제삭제알림 없음 (임계치 미도달)46초 (자기치유, 수동 개입 없음)worker 재연결 로직이 임계치 도달 전에 정상 동작 - 이것도 유효한 결과다
2OOMKillkubectl 기준 9초, 메트릭 알림은 못 잡음kubelet이 즉시 재시작 (수 초)container_oom_events_total이 재시작 없이 죽는 파드는 못 잡는다는 한계 발견 → kube_pod_container_status_last_terminated_reason 기반 규칙으로 교체
3노드 다운(kubelet 중지)약 2분(NotReady)3분 (수동 복구)IP 착각으로 의도와 다른 노드에 주입했지만, 조기 발견 후 3분 만에 복구(축출 타임아웃 전이라 서비스 영향 없음)
4디스크 풀13초(DiskPressure)자동, 수십 초 내 (image GC)kubelet의 자동 image GC가 축출 전에 스스로 ~5GB를 회수하는 것까지 실측 확인

4개 전부 디스코드로 알림이 도착했다(1번은 애초에 임계치를 안 넘어서 알림이 없는 게 맞는 동작이다). 2번에서 알림 규칙이 실제 장애 유형을 못 잡는 걸 발견하고 교체한 게 이 실험의 핵심 소득이다 - "장애를 일으켜봤다"가 아니라 "탐지 공백을 찾아 메꿨다"가 진짜 목적이라는 걸 보여주는 사례다.

SLO·알람 설계로 이어진 피드백: 2번은 알림 규칙 자체를 즉시 교체했지만, 4번은 규칙을 안 바꿔도 되는 이유를 찾은 경우다 - image GC가 축출 이전에 자동으로 공간을 회수한다는 걸 실측했으므로, DiskPressure 알림의 severity를 "즉시 대응 필요"가 아니라 "GC가 못 따라잡을 때만 대응 필요"로 재해석할 근거가 생겼다. 즉 이 네 실험은 각각 "규칙을 바꿔야 한다"(2번), "지금 규칙이 맞다는 걸 확인했다"(1번, 4번), "탐지는 됐지만 사람이 착각할 수 있는 지점을 찾았다"(3번, IP 착각)로 서로 다른 종류의 피드백을 냈다 - 카오스 실험의 결과물은 하나의 정답이 아니라 이렇게 실측값 기준으로 알림·SLO 설계를 다시 검증하는 과정 그 자체다.

포스트모템 문서 템플릿

실험마다 아래 형식으로 기록한다. 항목을 미리 정해두는 이유는, 장애가 실제로 터졌을 때(연습이 아니라 진짜 사고일 때) 같은 틀로 돌아볼 수 있게 훈련하는 것도 이 실험의 목적이기 때문이다.

# 포스트모템: <실험명> (YYYY-MM-DD)

## 타임라인
- 00:00 장애 주입 (구체적 명령/조작)
- 00:XX 첫 이상 신호 감지 (메트릭/로그상 변화)
- 00:XX 알림 도착 (Discord 등)
- 00:XX 자동/수동 복구 완료

## 원인
(장애가 실제로 무엇 때문에 발생했는지)

## 탐지 공백
(장애 발생부터 알림 도착까지 얼마나 걸렸는지, 왜 그만큼 걸렸는지)

## 재발 방지
(알림 규칙 조정, 임계치 변경, 자동 복구 추가 등 - 실행한 조치)

검증 방법

각 실험에서 반드시 남겨야 하는 숫자 3가지: 장애 발생 시각, 첫 메트릭/로그 이상 시각, 알림 도착 시각. 이 세 시각의 차이가 곧 "탐지 공백(detection gap)"이고, 이 값을 계속 줄여나가는 게 알림 규칙 튜닝의 목표다. 나중에 SLO/에러 버짓을 잡을 때도 이 탐지 공백이 "장애가 나서 실제로 사용자 영향이 시작되는 시점"과 "우리가 그걸 알게 되는 시점" 사이의 간극으로 그대로 이어진다.

체크리스트

  • 실험별 정상 상태 가설을 먼저 문장으로 정의
  • 장애 주입 실험 4종 실행 (노드 다운/OOMKill/디스크풀/RabbitMQ 강제종료)
  • 실험마다 포스트모템 문서 작성 (타임라인·원인·탐지 공백·재발 방지)
  • 알림 규칙이 실제로 그 장애 유형을 잡아내는지 검증 - 못 잡는 경우 조건식 교체