번외: 부하테스트로 관측 스택을 실전 검증하기 - k6 + HPA + MSA 파이프라인
시리즈 6에서 만든 관측 스택(Prometheus/Grafana/Alertmanager)을 인위적 장애가 아니라 실제 트래픽 증가로 검증한다. k6로 이미지 업로드→비동기 추론 파이프라인 전체에 부하를 걸고, 큐 길이 기반 HPA 오토스케일링, 알림 임계치, 병목 구간까지 확인하는 절차.
목표
시리즈 4에서 관측 스택을 세우고 노드 다운·OOMKill 같은 장애를 "인위적으로" 주입해 탐지 시간을 쟀다. 하지만 실제 운영에서 가장 흔하게 벌어지는 상황은 노드가 죽는 게 아니라 트래픽이 늘어나는 것이다 - 이 경우엔 아무것도 "고장"나지 않았는데도 큐가 쌓이고, 응답이 느려지고, 어느 시점부턴가 임계치를 넘는다. 이 시리즈는 k6로 파이프라인 전체(api-server → RabbitMQ → inference-worker → PostgreSQL)에 실제 부하를 걸어서, 관측 스택이 가짜 장애가 아니라 진짜 트래픽 증가에서도 제 역할을 하는지 검증한다. 부수적으로, 지금까지 수동(kubectl scale)으로만 조정하던 워커 수를 큐 길이 기준 자동 확장(HPA/KEDA)으로 바꾸고, 그게 실제로 작동하는지도 이 부하테스트로 증명한다.
개념: 장애 주입과 부하테스트는 다른 질문에 답한다
시리즈 4의 장애 주입 실험은 "시스템이 죽었을 때 알림이 얼마나 빨리 오는가"를 잰다 - 답은 있음/없음에 가깝다. 부하테스트는 다른 질문을 던진다 - **"트래픽이 늘어날 때 시스템이 어디서부터, 얼마나 천천히 무너지는가"**다. 두 실험은 서로 대체되지 않는다. 장애 주입만 해봤다면 알림 규칙이 "완전히 죽었을 때"는 검증됐어도 "서서히 나빠질 때"는 검증되지 않은 상태다. 관측 스택 없이 부하테스트만 했다면 p95가 올랐다는 건 알아도 그게 게이트웨이인지, 큐 대기인지, 워커 처리인지, DB인지 알 수 없다 - 이번 시리즈는 관측 스택이 있는 상태에서 부하테스트를 하기 때문에 그 질문에 답할 수 있다는 게 핵심이다.
실제 구축 절차
1. 부하 시나리오 설계 - 파이프라인 진입점을 향해
fastapi-appendix-k6에서 다룬 건 단일 CRUD API였다면, 이번엔 비동기 파이프라인 전체를 통과시키는 시나리오가 필요하다 - 요청 하나가 끝나는 지점이 HTTP 응답이 아니라 "결과가 저장되어 조회 가능해지는 시점"이기 때문이다.
부하 시나리오는 한 가지로 충분하지 않다. k6의 executor 중 실제로 구분해서 쓴 세 가지는 각각 다른 실패 모드를 드러낸다.
- constant(고정 부하): 특정 처리량을 일정 시간 유지한다. "이 트래픽을 얼마나 오래 버틸 수 있는가"를 본다 - 워커가 평균적으로는 따라가지만 아주 조금씩 처리 속도가 밀리는 느린 누수는 짧은 램핑 테스트로는 안 보이고, 10분 이상 고정 부하를 유지해야 드러난다.
- ramping-vus(점진적 증가): 부하를 서서히 늘려가며 시스템이 어디서부터 무너지는지 한계선(변곡점)을 찾는다. 아래
pipeline-ramp.js가 이 역할이다 - 10→80 VU로 2분에 걸쳐 늘리는 이유는 급증이 아니라, 어느 지점에서 큐 적재 속도가 소진 속도를 앞서는지를 관찰하기 위해서다. - 스파이크(짧은 시간에 급격히 증가): 반대로 한계선이 아니라 오토스케일러의 반응 속도 자체를 시험한다. 10초 만에 5→100 VU로 뛰면 관찰 대상은 시스템의 처리 한계가 아니라 "KEDA가 이 변화를 감지하고 워커를 늘리는 데 걸리는 시간"이 된다.
세 시나리오를 한 번에 섞지 않고 순서대로 돌렸다 - ① constant로 평상시 처리량에서 안정적인지 기준선 확인 → ② ramping으로 한계선 위치 파악 → ③ spike로 그 한계선을 순식간에 넘겼을 때 오토스케일이 큐를 얼마나 쌓이게 방치하는지 확인. 섞어서 돌리면 지연이 어느 원인(처리 한계 vs 반응 속도)에서 왔는지 구분할 수 없다.
// tests/load/pipeline-ramp.js — ② 한계선 탐색용
import http from 'k6/http';
import { check, sleep } from 'k6';
const BASE_URL = __ENV.BASE_URL || 'https://api.local';
export const options = {
stages: [
{ duration: '2m', target: 10 }, // 평상시 수준
{ duration: '3m', target: 10 },
{ duration: '2m', target: 80 }, // 급증 - 큐가 쌓이기 시작하는 지점을 넘김
{ duration: '5m', target: 80 }, // 고부하 유지 - 오토스케일이 반응할 시간
{ duration: '2m', target: 0 }, // 회복 확인
],
thresholds: {
http_req_failed: ['rate<0.02'],
http_req_duration: ['p(95)<2000'], // 업로드 접수 자체는 빨라야 함(비동기이므로)
},
};
export default function () {
const res = http.post(`${BASE_URL}/jobs`, JSON.stringify({ image_ref: `sample-${__VU}-${__ITER}.tif` }), {
headers: { 'Content-Type': 'application/json', Authorization: `Bearer ${__ENV.TOKEN}` },
});
check(res, { 'job accepted (202)': (r) => r.status === 202 });
sleep(1);
}
업로드 API는 작업을 큐에 넣고 즉시 202 Accepted로 응답하므로(시리즈 2), http_req_duration이 빨라도 파이프라인 뒷단은 여전히 밀릴 수 있다 - 그래서 이 시나리오의 진짜 결과는 k6 리포트가 아니라 다음 단계의 Grafana 대시보드에서 읽는다.
한계선을 찾은 뒤엔 그 한계선을 순식간에 넘기는 스파이크 시나리오를 따로 돌린다.
// tests/load/pipeline-spike.js — ③ 오토스케일 반응 속도 테스트
import http from 'k6/http';
import { check, sleep } from 'k6';
const BASE_URL = __ENV.BASE_URL || 'https://api.local';
export const options = {
stages: [
{ duration: '1m', target: 5 }, // 평상시
{ duration: '10s', target: 100 }, // 스파이크 - 오토스케일이 못 따라가는 구간을 노린다
{ duration: '4m', target: 100 }, // 스케일아웃이 끝날 때까지 유지
{ duration: '1m', target: 0 },
],
};
export default function () {
const res = http.post(`${BASE_URL}/jobs`, JSON.stringify({ image_ref: `spike-${__VU}-${__ITER}.tif` }), {
headers: { 'Content-Type': 'application/json', Authorization: `Bearer ${__ENV.TOKEN}` },
});
check(res, { 'job accepted (202)': (r) => r.status === 202 });
sleep(1);
}
pipeline-ramp.js와 pipeline-spike.js는 같은 엔드포인트를 때리지만 관심 지표가 다르다 - ramp는 k6 쪽 threshold(p(95), http_req_failed)로 "얼마나 버티는가"를 보고, spike는 k6 리포트가 아니라 Grafana의 큐 길이·워커 파드 수 패널로 "얼마나 빨리 반응하는가"를 본다. 10초 만에 유입이 20배로 뛰면 큐 길이는 거의 수직으로 상승하고, 이 상승분이 얼마나 오래 유지되는지가 곧 뒤에서 다루는 오토스케일 반응 지연의 실측값이다.
2. 큐 길이 기반 오토스케일 연결 - 수동 스케일을 걷어낸다
시리즈 2까지는 kubectl scale deployment inference-worker --replicas=N으로 수동 조정했다. 이번엔 RabbitMQ 큐 길이를 기준으로 자동 확장되게 KEDA를 붙인다 - CPU 사용률 기준 HPA보다 "큐에 일이 얼마나 쌓였는지"가 이 파이프라인의 실제 부하를 더 정확히 반영하기 때문이다.
# keda-scaledobject.yaml
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
name: inference-worker-scaler
spec:
scaleTargetRef:
name: inference-worker
minReplicaCount: 1
maxReplicaCount: 15 # 위성 플랫폼 회고에서 실제로 확인한 수평 확장 한도와 동일하게 맞춤
pollingInterval: 15 # 큐 길이를 몇 초마다 확인할지
cooldownPeriod: 300 # 스케일다운 전 안정화 대기 시간(초) - 너무 짧으면 flapping
triggers:
- type: rabbitmq
metadata:
queueName: inference-queue
host: amqp://rabbitmq.default:5672
queueLength: "20" # 큐에 20건 이상 쌓이면 워커 1개 추가
queueLength: "20" 하나로 "쌓인 작업 수 ÷ 20 = 목표 워커 수"가 계산된다 - 이 숫자를 몇으로 잡느냐가 "얼마나 빨리 늘리고, 얼마나 자원을 아낄지"의 트레이드오프다. 이번 부하테스트로 이 값이 적절한지 실측한다.
오토스케일 반응 지연은 숫자 하나가 아니라 네 구간의 합이다
queueLength가 얼마나 빨리 트리거되는지는 pollingInterval만으로 결정되지 않는다. 큐 길이가 임계치를 넘긴 시점부터 실제 워커 파드가 하나 더 뜰 때까지, 아래 네 구간이 순차적으로 쌓인다.
- RabbitMQ exporter → Prometheus 스크레이프 주기 (15초)
- KEDA
pollingInterval- 스크레이프된 값을 KEDA가 확인하는 주기 (15초) - KEDA가 내부적으로 생성하는 HPA의 컨트롤러 동기화 주기 (기본 15초)
- 스케일 판단 이후 파드 스케줄링 + 컨테이너 기동 + 워커 프로세스 준비 시간 (이미지 크기·초기화 로직에 따라 수 초~수십 초)
네 구간이 최악으로 겹치면 3060초 정도가 아무 대응 없이 지나간다. 이 구간 동안 큐는 유입만 계속되고 소진은 그대로다 - 수백 건으로 불어나 있을 수 있다. Grafana에서 큐 길이 패널의 기울기(초당 유입 - 초당 소진)를 보면 이 무대응 구간 동안 얼마나 쌓였는지가 그대로 드러난다.queueLength: 20으로 트리거가 걸려도, 실제 워커가 뜰 즈음엔 큐가 이미 수십
cooldownPeriod는 반대 방향의 문제, flapping을 만든다. 처음 60초로 낮춰서 돌려보니 큐가 일시적으로 비었다가 트래픽이 조금만 출렁여도 다시 차는 것만으로 스케일다운→스케일업이 몇 분 안에 반복됐다 - 워커 파드 수 패널이 톱니 모양으로 오르내리는 게 그 신호다. cooldownPeriod를 300초(기본값)로 되돌리자 진동이 사라졌다. 스케일업은 빠르게, 스케일다운은 훨씬 보수적으로 잡아야 한다는 걸 이번에 숫자로 확인했다.
3. Grafana 대시보드 - 5개 지표를 한 화면에
시리즈 6에서 이미 Prometheus/Grafana는 있으므로, 이번엔 패널만 새로 구성한다.
| 패널 | 쿼리 | 보는 것 |
|---|---|---|
| 큐 길이 | rabbitmq_queue_messages{queue="inference-queue"} | 부하가 쌓이는 속도, 워커가 이를 소진하는 속도 |
| 워커 파드 수 | kube_deployment_status_replicas{deployment="inference-worker"} | KEDA가 실제로 스케일아웃하는 시점 |
| api-server 응답시간 | histogram_quantile(0.95, rate(http_request_duration_seconds_bucket{job="api-server"}[1m])) | 업로드 접수 자체가 밀리는지(게이트웨이/DB 병목 신호) |
| DB 커넥션 풀 사용률 | pg_stat_activity_count / pg_settings_max_connections | 워커가 늘어날 때 DB가 병목이 되는지 |
| 알림 상태 | Alertmanager ALERTS | 정의된 알림이 실제로 Firing 상태로 전환되는 시점 |
4. 부하 실행 + 5개 시각 기록
k6 run --env BASE_URL=https://api.local --env TOKEN=$TOKEN tests/load/pipeline-ramp.js
실행하면서 Grafana를 같이 열어두고, 아래 5개 시각을 반드시 기록한다 - 시리즈 6의 "탐지 공백" 개념을 그대로 가져오되, 이번엔 원인이 장애가 아니라 부하다.
- 부하 급증 시작 시각 (k6 stage가 80 VU로 전환된 시각)
- 큐 길이가
queueLength임계치(20)를 넘긴 시각 - KEDA가 워커를 스케일아웃한 시각
- Alertmanager 알림이 도착한 시각 (큐 길이 또는 지연 관련 규칙)
- 큐가 다시 정상 수준으로 소진된 시각
23번 사이 간격이 "오토스케일 반응 지연"이고, 24번 사이 간격이 "이번 버전의 탐지 공백"이다 - 시리즈 6의 알림 규칙이 사람이 아니라 실제 트래픽 증가에도 적절한 시점에 울리는지가 이 시리즈의 통과 기준이다. 2~3번 간격을 실측하면 앞서 계산한 네 구간의 합과 대체로 맞아떨어진다 - 맞지 않는다면(예상보다 훨씬 길다면) 어느 구간이 다르게 동작하는지 다시 좁혀봐야 한다는 신호다. 부하가 걷힌 뒤에는 워커 파드 수 패널을 몇 분 더 관찰해서 스케일다운이 한 번에 끝나는지, 아니면 오르내림(flapping)이 나타나는지도 함께 확인한다.
5. (선택) OTel 트레이스로 병목 구간 특정
시리즈 4의 선택 확장으로 OpenTelemetry를 붙였다면, 부하가 걸린 동안 임의의 요청 하나를 골라 trace ID로 조회한다 - 게이트웨이 진입, 큐 대기, 워커 처리, DB 기록 각 구간이 몇 ms인지 한 화면에서 비교하면, http_req_duration만으로는 안 보이던 "정확히 어느 구간이 늘어났는지"가 드러난다. 예를 들어 큐 대기 구간만 늘어났다면 병목은 워커 처리 속도가 아니라 오토스케일 반응 속도 쪽이다.
6. 병목 식별 - 하나를 풀면 다음이 드러난다
부하테스트의 목적은 "느려졌다"를 확인하는 게 아니라 "어디가 느려졌는지"를 특정하는 것이다. 이 파이프라인에서 병목이 될 수 있는 지점은 네 군데 - 애플리케이션(워커 CPU), 큐(consumer 처리 속도), DB(커넥션 풀), 네트워크/인그레스 - 이고, 3번 섹션의 대시보드만으로 아래 순서로 좁혀나갈 수 있다.
- 큐 길이는 계속 오르는데 워커 파드 수가 안 늘어난다 → 오토스케일 파이프라인 자체가 안 도는 것이다(메트릭 수집 실패, KEDA 인증 문제 등). 애플리케이션 병목이 아니라 인프라 설정 문제로 먼저 갈라낸다.
- 워커 파드 수는 늘어나는데 큐 길이가 줄지 않는다 → consumer(워커)가 늘어난 수만큼 처리량을 못 낸다는 뜻. 워커 파드의
container_cpu_usage_seconds_total이 요청한 CPU limit 근처에 붙어있으면 CPU bound로 판단한다 - 이때 늘려야 할 건 워커 수가 아니라 워커 하나당 CPU다. - 워커 CPU는 여유가 있는데도 처리 속도가 안 오른다 → 워커가 뭔가를 기다리고 있다는 신호다.
pg_stat_activity_count / pg_settings_max_connections가 1에 붙어있으면 DB 커넥션 풀이 병목이다 - 이 경우 워커를 늘릴수록 커넥션 경쟁만 심해져 오히려 역효과가 난다. - DB 커넥션 풀도 여유 있는데 api-server 응답시간(p95)만 늘어난다 → 게이트웨이/인그레스 구간을 봐야 한다. 인그레스 컨트롤러의 요청 처리량, 커넥션 리셋 수 같은 메트릭을 추가로 확인한다.
실제로는 이 네 단계를 한 번에 통과하지 못했다. 처음 돌린 부하테스트에서는 워커 CPU가 limit에 붙는 게 보여서 "CPU bound"로 결론 내리고 resources.requests.cpu를 올렸다. 같은 시나리오를 다시 돌리자 이번엔 CPU는 여유로운데 DB 커넥션 풀 사용률이 100%를 찍었다 - 병목이 애플리케이션에서 DB로 옮겨간 것이다. 커넥션 풀러(pgbouncer) 설정을 늘려 다시 돌리자 그제서야 큐 길이가 임계치를 넘긴 뒤 정상적으로 소진되는 패턴이 나왔다. 병목은 한 번에 다 드러나지 않는다 - 하나를 풀면 다음 지점이 드러나므로, 부하테스트는 "한 번 돌리고 끝"이 아니라 병목이 더 안 나올 때까지 반복하는 절차로 다뤄야 한다.
검증 방법
- k6 리포트:
http_req_failed,p(95)등이 정의한 threshold를 통과하는지 - 큐 길이 → 스케일아웃 → 알림 도착까지 5개 시각이 실제로 기록되고, 각 구간의 지연이 납득 가능한 수준인지
- 부하가 걷힌 뒤 워커가
minReplicaCount까지 자동으로 축소되는지 (스케일인 확인 - 스케일아웃만 확인하고 끝내지 않는다), 그 과정에서 flapping 없이 한 번에 안정화되는지 - constant·ramping·spike 세 시나리오 각각에서 다른 실패 모드(느린 누수/한계선/반응 지연)가 실제로 구분되어 관찰되는지
- 병목이 애플리케이션/큐/DB/네트워크 중 어디인지 지표로 특정되고, 하나를 해소한 뒤 재실행했을 때 다음 병목이 드러나는지
- (선택) 트레이스로 병목 구간이 특정되는지
체크리스트
- constant(기준선) · ramping(한계선 탐색) · spike(오토스케일 반응 속도) 세 k6 시나리오 작성
- RabbitMQ 큐 길이 기준 KEDA ScaledObject 적용, 수동 스케일 제거
-
pollingInterval·cooldownPeriod값을 정하고, 메트릭 수집 주기+HPA 동기화 주기+파드 기동 시간을 더해 예상 반응 지연 계산 - 큐 길이·워커 파드 수·api-server 응답시간·DB 커넥션·알림 상태를 한 대시보드에 구성
- 부하 실행하며 5개 시각(부하 시작/임계치 초과/스케일아웃/알림 도착/정상화) 기록
- 스케일인(축소)까지 확인, 워커 파드 수 패널에서 flapping(톱니 패턴) 여부 점검
- 병목을 애플리케이션(CPU)/큐(consumer)/DB(커넥션 풀)/네트워크 순으로 지표 기반 특정, 해소 후 재테스트를 반복해 다음 병목 확인
- (선택) OTel 트레이스로 병목 구간 특정, 로그/메트릭만으로 봤을 때와 비교