임계값 없이 - 통계 기반 이상탐지로 Datadog Watchdog 흉내내기
Datadog Watchdog 같은 상용 AI 이상탐지 기능을, Prometheus의 holt_winters·predict_linear로 정상 트래픽 패턴을 학습해 고정 임계값 없이 이상을 탐지하는 절차로 오픈소스 구현. 고정 임계값 알림과 나란히 비교해 오탐/누락을 실측.
목표
지금까지 만든 알림 규칙(HighErrorRate > 0.05 같은)은 전부 고정 임계값이다. 문제는 "정상적인 트래픽 변동"과 "진짜 이상 상황"을 구분하지 못한다는 것 - 예를 들어 트래픽이 몰리는 시간대엔 응답시간이 평소보다 늘어나는 게 정상인데, 고정 임계값은 그 맥락을 모른다. Datadog의 Watchdog(Datadog 플랫폼 안의 AI 이상탐지 기능 - Datadog이라는 제품과는 별개의, 그 안에 포함된 하나의 기능이다)이 하는 일이 바로 이 맥락을 학습하는 것이다. 이 시리즈에서는 Prometheus의 시계열 예측 함수로 같은 개념을 오픈소스로 흉내낸다.
개념: 고정 임계값이 놓치는 것
| 상황 | 고정 임계값(> 500ms) | 학습 기반 이상탐지 |
|---|---|---|
| 평소 대비 정상적인 피크 시간대 트래픽 증가 | 오탐(진짜 이상 아닌데 알림) | 정상 범위로 인식, 알림 안 함 |
| 평소보다 낮은 트래픽 시간대의 미세한 지연 증가 | 임계값 미달로 누락 | 평소 패턴과 다름을 감지, 알림 |
| 요일별/시간대별 반복되는 패턴(주말 트래픽 감소 등) | 매번 같은 임계값 적용 | 과거 같은 시간대와 비교 |
실제 구축 절차
1. holt_winters로 계절성 있는 예측선 만들기
Prometheus의 holt_winters 함수는 과거 데이터의 추세(trend)와 계절성(seasonality)을 반영해 "지금 이 시점에 예상되는 값"을 계산한다.
# 과거 1시간 추세를 반영한 요청 수 예측 (평활 계수는 실측하며 조정)
holt_winters(http_requests_total[1h], 0.3, 0.1)
1-1. holt_winters가 전제하는 계절성이 깨지는 경우
holt_winters는 트래픽에 요일/시간대별로 반복되는 패턴이 있다는 걸 전제로 예측선을 만든다. 이 전제가 안 맞으면 오히려 고정 임계값보다 못한 결과가 나온다.
- 트래픽 패턴이 아직 확립되지 않은 신규 서비스: 학습할 과거 데이터가 며칠치뿐이면 예측선이 실제 계절성을 반영하지 못하고, 최근 추세를 그대로 이어 그린 직선에 가까워진다. 이 상태에서는 정상적인 요일 변화(평일→주말)조차 "예측과 다름"으로 잡혀 오탐이 급증한다.
- 이벤트성 스파이크가 잦은 서비스(마케팅 캠페인, 정기 배치, 프로모션처럼 불규칙하지만 반복되는 트래픽 급증):
holt_winters는 이런 스파이크를 계절성으로 학습해버려 다음 스파이크를 "정상"으로 판단하거나, 반대로 스파이크가 매번 패턴을 교란시켜 그 뒤 며칠간 예측선 자체가 불안정해진다.
학습 기간(lookback window, holt_winters(...[Nh]...)의 N)을 얼마나 잡을지도 트레이드오프다.
| lookback window | 장점 | 단점 |
|---|---|---|
| 짧게(1~6시간) | 최근 추세 변화에 빠르게 반응 | 요일 단위 계절성을 전혀 학습하지 못함 - 사실상 predict_linear와 차이가 없어짐 |
| 길게(1주 이상) | 요일별/주말 패턴까지 반영 | 사용 패턴이 실제로 바뀌면(신규 기능 배포, 트래픽 소스 변화) 예측선이 옛 패턴에 갇혀 며칠간 오탐 지속 |
이 구현에서는 최소 2주치 데이터가 쌓인 뒤부터 holt_winters 기반 알림을 켜고, 그 전까지는 기존 고정 임계값 알림을 유지하는 걸 원칙으로 잡는다 - 학습 기반 이상탐지는 "데이터가 충분히 쌓인 서비스"에만 적용하는 게 맞고, 신규 서비스에 무리하게 적용하면 오탐만 늘린다.
2. 예측 구간을 벗어나는지로 이상 판정
# prometheus-rules/anomaly.yaml
groups:
- name: anomaly-detection
rules:
- record: anomaly:request_rate:predicted
expr: holt_winters(sum(rate(http_requests_total[5m]))[1h:5m], 0.3, 0.1)
- record: anomaly:request_rate:actual
expr: sum(rate(http_requests_total[5m]))
- record: anomaly:request_rate:deviation_ratio
expr: |
abs(anomaly:request_rate:actual - anomaly:request_rate:predicted)
/
anomaly:request_rate:predicted
- alert: TrafficAnomalyDetected
expr: anomaly:request_rate:deviation_ratio > 0.5 # 예측치 대비 50% 이상 이탈
for: 10m
labels: { severity: warning }
annotations:
summary: "실제 트래픽이 예측 패턴에서 50% 이상 벗어남 - 임계값이 아니라 패턴 이탈로 감지"
3. predict_linear로 "이대로 가면 언제 임계값을 넘는지" 예측
디스크 사용량처럼 서서히 증가하는 지표는, 현재 값이 아니라 증가 추세를 보고 미리 경고하는 게 더 유용하다.
# 디스크 사용량이 현재 추세(최근 6시간)로 계속 늘면 4시간 안에 가득 찰지 예측
predict_linear(node_filesystem_avail_bytes[6h], 4 * 3600) < 0
이 알림은 "지금 디스크가 부족하다"가 아니라 "지금 이 속도로 줄면 4시간 뒤에 부족해진다"를 미리 알려준다 - 시리즈 6의 장애 주입 실험(디스크 풀)에서 사후에야 알아챘던 것과 대비되는 지점이다.
4. 고정 임계값과 나란히 비교
기존 HighErrorRate(고정 임계값) 알림과 이번에 만든 TrafficAnomalyDetected(학습 기반)를 같은 대시보드에 나란히 두고, 부하테스트 시리즈(12번)에서 쓴 k6 스크립트로 트래픽을 인위적으로 늘려가며 두 알림 중 어느 쪽이 먼저·더 정확하게 반응하는지 비교한다.
5. 민감도 조정에 따른 오탐/누락 트레이드오프 측정
이탈률 임계값(deviation_ratio > 0.5)을 조정하면 오탐과 누락이 반대로 움직인다. 이 관계를 감으로 판단하지 않고 두 지표로 측정한다.
- 탐지율(recall 성격): 관찰 기간 동안 실제로 발생한 이상 트래픽 상황(시리즈 6 장애 주입 + 부하테스트 시리즈 12번의 인위적 스파이크 + 운영 중 실제 발생한 이상) 중,
TrafficAnomalyDetected가 실제로 발화한 비율. - 알림 정확도(precision 성격): 발화한 전체 알림 건수 중, 재현 가능한 원인이 확인되어 실제 조치가 필요했던 알림의 비율. 나머지는 정상 변동인데 알림이 뜬 오탐.
임계값을 0.3 / 0.5 / 0.7로 각각 2주씩 운영하며 두 지표를 기록한다.
| 이탈률 임계값 | 알림 발생 건수 | 알림 정확도 | 탐지율 |
|---|---|---|---|
| 0.3 (민감) | 많음 | 낮음 - 정상 변동도 자주 잡힘 | 높음 - 작은 이상도 놓치지 않음 |
| 0.5 (기본) | 중간 | 중간 | 중간 |
| 0.7 (둔감) | 적음 | 높음 - 알림이 뜨면 대부분 실제 문제 | 낮음 - 미세한 이상은 누락 |
절대적인 수치는 서비스별 트래픽 변동성에 따라 달라지므로, 이 표에서 가져갈 건 정성적 관계(민감도↑ → 알림 정확도↓, 탐지율↑)뿐이다. 실제 운영에 쓸 임계값은 이 실험을 서비스마다 따로 돌려서 정한다.
상용 이상탐지와의 근본적 차이
이 구현을 Datadog Watchdog과 같은 선상에 놓고 보면 안 되는 근본적인 한계가 있다.
- 단변량 vs 다변량:
holt_winters는 지표 하나(요청 수, 에러율 등)를 독립적으로 예측한다. Watchdog 같은 상용 제품은 레이턴시·에러율·트래픽·인프라 메트릭·태그 조합을 동시에 넣어 다변량 모델로 상관관계를 학습한다 - "에러율은 정상 범위인데 특정 태그 조합에서만 이상"처럼 지표 하나만 봐서는 안 보이는 이상까지 잡아낸다. 이 구현은 그런 상관관계 이상을 원천적으로 놓친다. - 통계 모델 vs 머신러닝 모델:
holt_winters는 지수평활법(exponential smoothing) 기반의 고정된 통계 공식이다. 데이터가 쌓인다고 모델이 스스로 더 정교해지지 않는다. 상용 제품은 서비스별 특성을 학습하는 ML 모델을 쓰기 때문에 시간이 지날수록 판단이 정확해지는 구조다.
그럼에도 이 구현이 의미가 있는 이유:
- 비용 없이 시작 가능: 이미 Prometheus를 쓰고 있다면 recording rule 몇 개만 추가하면 된다. Watchdog급 기능을 도입하려면 상용 APM 계약이 필요하다.
- 고정 임계값보다는 확실히 나은 베이스라인: 다변량 상관관계까지는 못 잡아도, "지금이 평소 이 시간대에 정상적인 범위인가"라는 가장 기본적인 맥락은 확보한다. 이 시리즈 앞부분에서 만든 고정 임계값 알림들이 놓치던 오탐/누락의 상당 부분은 이 정도 수준으로도 줄어든다.
- 설명 가능함: 왜 알림이 떴는지
predicted,actual,deviation_ratio세 값으로 바로 추적할 수 있다. 블랙박스 ML 모델과 달리 디버깅이 쉽다.
즉 이 구현은 Watchdog의 대체품이 아니라, 다변량 ML 이상탐지를 도입하기 전 단계에서 고정 임계값의 가장 큰 문제(맥락 없음)만이라도 해결하는 중간 단계로 보는 게 맞다.
검증 방법
- 평소 패턴대로 트래픽을 흘리며
TrafficAnomalyDetected가 오탐하지 않는지(정상 변동을 이상으로 잘못 잡지 않는지) 확인 - k6로 평소와 다른 갑작스러운 트래픽 패턴을 주입해 학습 기반 알림이 실제로 반응하는지 확인
- 같은 상황에서 기존 고정 임계값 알림과 비교해 어느 쪽이 먼저 반응했는지, 오탐률은 어느 쪽이 높았는지 기록
predict_linear기반 디스크 알림이 실제 디스크 풀 몇 시간 전에 미리 발화하는지 확인(시리즈 6 장애 주입 실험 재활용)- 아직 데이터가 2주 미만인 신규 서비스에
holt_winters알림을 켰을 때 오탐이 실제로 급증하는지 확인 - 급증하면 기존 원칙대로 고정 임계값으로 되돌림 - 이탈률 임계값 0.3 / 0.5 / 0.7 각각을 2주씩 운영하며 알림 발생 건수·알림 정확도·탐지율을 기록해 민감도-오탐/누락 곡선을 실측
체크리스트
-
holt_winters기반 예측선 recording rule 작성 - 예측치 대비 이탈률로 이상탐지 알림 규칙 작성
-
predict_linear로 디스크 사용량 사전 경고 알림 작성 - 기존 고정 임계값 알림과 나란히 두고 k6 부하로 반응 속도·오탐률 비교
- 비교 결과를 표로 정리 (고정 임계값 vs 학습 기반, 각각의 장단점)
- 신규 서비스 대상으로 학습 데이터 2주 미만일 때의 오탐률 확인 및 lookback window별 비교
- 이탈률 임계값별(0.3/0.5/0.7) 알림 정확도·탐지율 실측, 서비스별 기본 임계값 확정
- 다변량 상관관계 이상(지표 하나로는 안 보이는 경우)을 이 구현이 놓치는 사례를 실제로 하나 이상 기록