ObservabilityDevOps 학습 로드맵 · 9/28편

임계값 없이 - 통계 기반 이상탐지로 Datadog Watchdog 흉내내기

Datadog Watchdog 같은 상용 AI 이상탐지 기능을, Prometheus의 holt_winters·predict_linear로 정상 트래픽 패턴을 학습해 고정 임계값 없이 이상을 탐지하는 절차로 오픈소스 구현. 고정 임계값 알림과 나란히 비교해 오탐/누락을 실측.

2026-07-2715 min read
#이상탐지#Prometheus#Watchdog#Datadog#AIOps#holt-winters
DevOps 학습 로드맵시리즈 목차
1채용공고 요구사항 6개 중 자신 있게 답할 수 있는 게 절반도 안 됐다2kubeadm으로 온프레미스 Kubernetes 클러스터를 처음부터 세우는 절차3FastAPI 서비스 골격, RabbitMQ DLQ, Harbor+Trivy, Jenkins→ArgoCD 파이프라인 구축 절차4Argo Rollouts로 카나리 배포와 Prometheus 메트릭 기반 자동 롤백 붙이기5yaml 복붙 관리의 드리프트 문제를 Kustomize overlay로 구조화하기6Terraform과 Ansible로 클러스터를 코드에서 다시 세울 수 있게 만드는 절차7Prometheus·Loki·OpenTelemetry로 세운 관측 스택 - 메트릭·로그·트레이스를 하나로8관측 스택이 진짜로 장애를 잡는가 - 노드 다운·OOMKill·디스크풀 직접 주입해보기9SLI/SLO/에러 버짓을 실제로 계산해서 배포 판단 기준으로 써보기10임계값 없이 - 통계 기반 이상탐지로 Datadog Watchdog 흉내내기11Grafana OnCall로 PagerDuty 없이 온콜·에스컬레이션 구현하기12자체 JWT 구현부터 취약점 실험, Keycloak 마이그레이션까지의 실제 절차13ISMS-P 인프라 영역 심사를 가정하고 내 클러스터의 증적을 만드는 절차14SealedSecret이 못 남기는 것 - OpenBao + External Secrets Operator로 감사 로그 확보하기15번외: 더미 워커를 실제 ONNX 추론으로, GPU 스케줄링까지 교체하는 절차16번외: 인터넷을 완전히 끊고도 클러스터가 돌아가는지 - 폐쇄망(에어갭) 시뮬레이션 절차17번외: 부하테스트로 관측 스택을 실전 검증하기 - k6 + HPA + MSA 파이프라인18번외: DORA 4대 지표를 Four Keys로 자동 집계해보기19실무와 다른 4가지를 채우려고 로드맵을 이렇게 짰다20OpenSearch·Loki·Datadog, 로그 스택은 왜 하나로 안 끝나는가21Control-Plane HA는 언제 정당한가 - etcd 쿼럼, kube-vip 페일오버, cordon/drain의 수학22OpenTelemetry는 무엇을 표준화하는가 - Prometheus·Grafana·Loki·Tempo가 실제로 맞물리는 지점23Helm은 템플릿 도구가 아니라 릴리스 버전 관리자다24카나리 배포와 블루그린 배포, 뭐가 다르고 언제 뭘 써야 하는가25SRE는 정확히 무엇을 하는 직군인가 - '운영을 소프트웨어 문제로 본다'는 말의 실체26온콜은 왜 필요하고, 어떻게 지속 가능하게 운영하는가27IaC는 한 계층이 아니다 - Terraform·Packer·Helm이 각각 다루는 것, 그리고 RKE2 vs kubeadm28SLI·SLO·에러 버짓과 온콜·에스컬레이션 - 숫자로 문제를 정의하고 사람에게 연결하기

목표

지금까지 만든 알림 규칙(HighErrorRate > 0.05 같은)은 전부 고정 임계값이다. 문제는 "정상적인 트래픽 변동"과 "진짜 이상 상황"을 구분하지 못한다는 것 - 예를 들어 트래픽이 몰리는 시간대엔 응답시간이 평소보다 늘어나는 게 정상인데, 고정 임계값은 그 맥락을 모른다. Datadog의 Watchdog(Datadog 플랫폼 안의 AI 이상탐지 기능 - Datadog이라는 제품과는 별개의, 그 안에 포함된 하나의 기능이다)이 하는 일이 바로 이 맥락을 학습하는 것이다. 이 시리즈에서는 Prometheus의 시계열 예측 함수로 같은 개념을 오픈소스로 흉내낸다.

개념: 고정 임계값이 놓치는 것

상황고정 임계값(> 500ms)학습 기반 이상탐지
평소 대비 정상적인 피크 시간대 트래픽 증가오탐(진짜 이상 아닌데 알림)정상 범위로 인식, 알림 안 함
평소보다 낮은 트래픽 시간대의 미세한 지연 증가임계값 미달로 누락평소 패턴과 다름을 감지, 알림
요일별/시간대별 반복되는 패턴(주말 트래픽 감소 등)매번 같은 임계값 적용과거 같은 시간대와 비교

실제 구축 절차

1. holt_winters로 계절성 있는 예측선 만들기

Prometheus의 holt_winters 함수는 과거 데이터의 추세(trend)와 계절성(seasonality)을 반영해 "지금 이 시점에 예상되는 값"을 계산한다.

# 과거 1시간 추세를 반영한 요청 수 예측 (평활 계수는 실측하며 조정)
holt_winters(http_requests_total[1h], 0.3, 0.1)

1-1. holt_winters가 전제하는 계절성이 깨지는 경우

holt_winters는 트래픽에 요일/시간대별로 반복되는 패턴이 있다는 걸 전제로 예측선을 만든다. 이 전제가 안 맞으면 오히려 고정 임계값보다 못한 결과가 나온다.

  • 트래픽 패턴이 아직 확립되지 않은 신규 서비스: 학습할 과거 데이터가 며칠치뿐이면 예측선이 실제 계절성을 반영하지 못하고, 최근 추세를 그대로 이어 그린 직선에 가까워진다. 이 상태에서는 정상적인 요일 변화(평일→주말)조차 "예측과 다름"으로 잡혀 오탐이 급증한다.
  • 이벤트성 스파이크가 잦은 서비스(마케팅 캠페인, 정기 배치, 프로모션처럼 불규칙하지만 반복되는 트래픽 급증): holt_winters는 이런 스파이크를 계절성으로 학습해버려 다음 스파이크를 "정상"으로 판단하거나, 반대로 스파이크가 매번 패턴을 교란시켜 그 뒤 며칠간 예측선 자체가 불안정해진다.

학습 기간(lookback window, holt_winters(...[Nh]...)의 N)을 얼마나 잡을지도 트레이드오프다.

lookback window장점단점
짧게(1~6시간)최근 추세 변화에 빠르게 반응요일 단위 계절성을 전혀 학습하지 못함 - 사실상 predict_linear와 차이가 없어짐
길게(1주 이상)요일별/주말 패턴까지 반영사용 패턴이 실제로 바뀌면(신규 기능 배포, 트래픽 소스 변화) 예측선이 옛 패턴에 갇혀 며칠간 오탐 지속

이 구현에서는 최소 2주치 데이터가 쌓인 뒤부터 holt_winters 기반 알림을 켜고, 그 전까지는 기존 고정 임계값 알림을 유지하는 걸 원칙으로 잡는다 - 학습 기반 이상탐지는 "데이터가 충분히 쌓인 서비스"에만 적용하는 게 맞고, 신규 서비스에 무리하게 적용하면 오탐만 늘린다.

2. 예측 구간을 벗어나는지로 이상 판정

# prometheus-rules/anomaly.yaml
groups:
  - name: anomaly-detection
    rules:
      - record: anomaly:request_rate:predicted
        expr: holt_winters(sum(rate(http_requests_total[5m]))[1h:5m], 0.3, 0.1)

      - record: anomaly:request_rate:actual
        expr: sum(rate(http_requests_total[5m]))

      - record: anomaly:request_rate:deviation_ratio
        expr: |
          abs(anomaly:request_rate:actual - anomaly:request_rate:predicted)
          /
          anomaly:request_rate:predicted

      - alert: TrafficAnomalyDetected
        expr: anomaly:request_rate:deviation_ratio > 0.5   # 예측치 대비 50% 이상 이탈
        for: 10m
        labels: { severity: warning }
        annotations:
          summary: "실제 트래픽이 예측 패턴에서 50% 이상 벗어남 - 임계값이 아니라 패턴 이탈로 감지"

3. predict_linear로 "이대로 가면 언제 임계값을 넘는지" 예측

디스크 사용량처럼 서서히 증가하는 지표는, 현재 값이 아니라 증가 추세를 보고 미리 경고하는 게 더 유용하다.

# 디스크 사용량이 현재 추세(최근 6시간)로 계속 늘면 4시간 안에 가득 찰지 예측
predict_linear(node_filesystem_avail_bytes[6h], 4 * 3600) < 0

이 알림은 "지금 디스크가 부족하다"가 아니라 "지금 이 속도로 줄면 4시간 뒤에 부족해진다"를 미리 알려준다 - 시리즈 6의 장애 주입 실험(디스크 풀)에서 사후에야 알아챘던 것과 대비되는 지점이다.

4. 고정 임계값과 나란히 비교

기존 HighErrorRate(고정 임계값) 알림과 이번에 만든 TrafficAnomalyDetected(학습 기반)를 같은 대시보드에 나란히 두고, 부하테스트 시리즈(12번)에서 쓴 k6 스크립트로 트래픽을 인위적으로 늘려가며 두 알림 중 어느 쪽이 먼저·더 정확하게 반응하는지 비교한다.

5. 민감도 조정에 따른 오탐/누락 트레이드오프 측정

이탈률 임계값(deviation_ratio > 0.5)을 조정하면 오탐과 누락이 반대로 움직인다. 이 관계를 감으로 판단하지 않고 두 지표로 측정한다.

  • 탐지율(recall 성격): 관찰 기간 동안 실제로 발생한 이상 트래픽 상황(시리즈 6 장애 주입 + 부하테스트 시리즈 12번의 인위적 스파이크 + 운영 중 실제 발생한 이상) 중, TrafficAnomalyDetected가 실제로 발화한 비율.
  • 알림 정확도(precision 성격): 발화한 전체 알림 건수 중, 재현 가능한 원인이 확인되어 실제 조치가 필요했던 알림의 비율. 나머지는 정상 변동인데 알림이 뜬 오탐.

임계값을 0.3 / 0.5 / 0.7로 각각 2주씩 운영하며 두 지표를 기록한다.

이탈률 임계값알림 발생 건수알림 정확도탐지율
0.3 (민감)많음낮음 - 정상 변동도 자주 잡힘높음 - 작은 이상도 놓치지 않음
0.5 (기본)중간중간중간
0.7 (둔감)적음높음 - 알림이 뜨면 대부분 실제 문제낮음 - 미세한 이상은 누락

절대적인 수치는 서비스별 트래픽 변동성에 따라 달라지므로, 이 표에서 가져갈 건 정성적 관계(민감도↑ → 알림 정확도↓, 탐지율↑)뿐이다. 실제 운영에 쓸 임계값은 이 실험을 서비스마다 따로 돌려서 정한다.

상용 이상탐지와의 근본적 차이

이 구현을 Datadog Watchdog과 같은 선상에 놓고 보면 안 되는 근본적인 한계가 있다.

  • 단변량 vs 다변량: holt_winters는 지표 하나(요청 수, 에러율 등)를 독립적으로 예측한다. Watchdog 같은 상용 제품은 레이턴시·에러율·트래픽·인프라 메트릭·태그 조합을 동시에 넣어 다변량 모델로 상관관계를 학습한다 - "에러율은 정상 범위인데 특정 태그 조합에서만 이상"처럼 지표 하나만 봐서는 안 보이는 이상까지 잡아낸다. 이 구현은 그런 상관관계 이상을 원천적으로 놓친다.
  • 통계 모델 vs 머신러닝 모델: holt_winters는 지수평활법(exponential smoothing) 기반의 고정된 통계 공식이다. 데이터가 쌓인다고 모델이 스스로 더 정교해지지 않는다. 상용 제품은 서비스별 특성을 학습하는 ML 모델을 쓰기 때문에 시간이 지날수록 판단이 정확해지는 구조다.

그럼에도 이 구현이 의미가 있는 이유:

  • 비용 없이 시작 가능: 이미 Prometheus를 쓰고 있다면 recording rule 몇 개만 추가하면 된다. Watchdog급 기능을 도입하려면 상용 APM 계약이 필요하다.
  • 고정 임계값보다는 확실히 나은 베이스라인: 다변량 상관관계까지는 못 잡아도, "지금이 평소 이 시간대에 정상적인 범위인가"라는 가장 기본적인 맥락은 확보한다. 이 시리즈 앞부분에서 만든 고정 임계값 알림들이 놓치던 오탐/누락의 상당 부분은 이 정도 수준으로도 줄어든다.
  • 설명 가능함: 왜 알림이 떴는지 predicted, actual, deviation_ratio 세 값으로 바로 추적할 수 있다. 블랙박스 ML 모델과 달리 디버깅이 쉽다.

즉 이 구현은 Watchdog의 대체품이 아니라, 다변량 ML 이상탐지를 도입하기 전 단계에서 고정 임계값의 가장 큰 문제(맥락 없음)만이라도 해결하는 중간 단계로 보는 게 맞다.

검증 방법

  • 평소 패턴대로 트래픽을 흘리며 TrafficAnomalyDetected가 오탐하지 않는지(정상 변동을 이상으로 잘못 잡지 않는지) 확인
  • k6로 평소와 다른 갑작스러운 트래픽 패턴을 주입해 학습 기반 알림이 실제로 반응하는지 확인
  • 같은 상황에서 기존 고정 임계값 알림과 비교해 어느 쪽이 먼저 반응했는지, 오탐률은 어느 쪽이 높았는지 기록
  • predict_linear 기반 디스크 알림이 실제 디스크 풀 몇 시간 전에 미리 발화하는지 확인(시리즈 6 장애 주입 실험 재활용)
  • 아직 데이터가 2주 미만인 신규 서비스에 holt_winters 알림을 켰을 때 오탐이 실제로 급증하는지 확인 - 급증하면 기존 원칙대로 고정 임계값으로 되돌림
  • 이탈률 임계값 0.3 / 0.5 / 0.7 각각을 2주씩 운영하며 알림 발생 건수·알림 정확도·탐지율을 기록해 민감도-오탐/누락 곡선을 실측

체크리스트

  • holt_winters 기반 예측선 recording rule 작성
  • 예측치 대비 이탈률로 이상탐지 알림 규칙 작성
  • predict_linear로 디스크 사용량 사전 경고 알림 작성
  • 기존 고정 임계값 알림과 나란히 두고 k6 부하로 반응 속도·오탐률 비교
  • 비교 결과를 표로 정리 (고정 임계값 vs 학습 기반, 각각의 장단점)
  • 신규 서비스 대상으로 학습 데이터 2주 미만일 때의 오탐률 확인 및 lookback window별 비교
  • 이탈률 임계값별(0.3/0.5/0.7) 알림 정확도·탐지율 실측, 서비스별 기본 임계값 확정
  • 다변량 상관관계 이상(지표 하나로는 안 보이는 경우)을 이 구현이 놓치는 사례를 실제로 하나 이상 기록