번외: 더미 워커를 실제 ONNX 추론으로, GPU 스케줄링까지 교체하는 절차
sleep으로 흉내낸 inference-worker를 실제 ONNX Runtime 추론으로 바꾸고, GPU 노드 스케줄링과 모델 교체를 CI/CD에 편입하는 절차. 선택 시리즈.
목표
시리즈 2에서 time.sleep()으로 흉내낸 inference-worker를 실제 ONNX Runtime 추론으로 교체하고, GPU가 있다면 GPU 노드 스케줄링까지 붙인다. 이 시리즈는 선택이다 - 인프라·파이프라인이 이미 갖춰진 상태이므로, 워크로드 내용물만 바꾸는 작업에 가깝다.
개념: ONNX란, GPU 스케줄링이란
**ONNX(Open Neural Network Exchange)**란: AI 모델은 보통 PyTorch나 TensorFlow 같은 특정 프레임워크로 학습된다. 문제는 그 프레임워크를 학습 때와 똑같이 서빙(추론) 환경에도 그대로 설치해야 한다는 점이다 - 무겁고, 프레임워크 버전에 서비스가 종속된다. ONNX는 프레임워크에 상관없이 모델을 표현하는 공통 포맷이다. 학습은 PyTorch로 하되, 추론 시점엔 ONNX로 변환한 모델을 가벼운 ONNX Runtime으로 돌리면, 추론 서버가 특정 학습 프레임워크에 종속되지 않는다.
GPU 스케줄링이 CPU와 다른 이유: CPU는 여러 프로세스가 시분할로 나눠 쓰는 게 기본이라 Kubernetes가 "0.5개 코어"처럼 잘게 쪼개 요청할 수 있다. GPU는 기본적으로 나눠 쓰는 개념이 없다 - 한 컨테이너가 GPU 1개를 통째로 점유한다. 그래서 Kubernetes가 GPU를 인식하고 파드에 할당하려면 nvidia.com/gpu처럼 별도의 리소스 타입으로 노출해주는 디바이스 플러그인이 필요하다(아래 2번).
실제 구축 절차
1. 더미 모델 → ONNX Runtime 추론으로 교체
# 교체 전 - inference-worker/app/worker.py
def run_inference(job: dict):
time.sleep(180) # 오래 걸리는 작업 흉내
return {"result": "dummy"}
# 교체 후
import onnxruntime as ort
import numpy as np
session = ort.InferenceSession("model.onnx", providers=["CPUExecutionProvider"])
def run_inference(job: dict):
input_tensor = preprocess(job["image_path"])
outputs = session.run(None, {"input": input_tensor})
return postprocess(outputs)
기존 파이프라인(RabbitMQ ack/nack, DLQ, 상태 갱신)은 그대로 둔다 - 바뀌는 건 run_inference 내부뿐이다. 이렇게 인터페이스를 유지해두면 나중에 모델을 다시 바꿔도 파이프라인 코드는 안 건드려도 된다.
2. GPU 노드 스케줄링 (GPU가 있는 경우)
# NVIDIA device plugin 설치 - 노드의 GPU를 스케줄링 가능한 리소스로 노출
kubectl apply -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/main/deployments/static/nvidia-device-plugin.yml
# inference-worker deployment
spec:
containers:
- name: inference-worker
resources:
limits:
nvidia.com/gpu: 1
env:
- name: ONNX_PROVIDER
value: "CUDAExecutionProvider"
providers = ["CUDAExecutionProvider", "CPUExecutionProvider"] # GPU 우선, 실패 시 CPU로 폴백
session = ort.InferenceSession("model.onnx", providers=providers)
GPU가 없는 환경이라면 CPUExecutionProvider만 쓰고 이 단계는 건너뛴다 - 파이프라인 검증이 목적이라 추론 속도 자체는 부차적이다.
GPU 공유가 필요해진 이유: 위 디바이스 플러그인은 GPU를 정수 단위로만 파드에 할당한다 - nvidia.com/gpu: 1이 최소 단위이고 0.1처럼 쪼갤 수 없다. inference-worker 하나가 추론 한 번에 GPU 메모리의 10%도 안 쓰는데도 파드가 GPU 전체를 점유해버리면, 나머지 90%는 그냥 노는 셈이다. 이 문제를 푸는 두 가지 방식이 있다.
- 시간 분할(time-slicing): 여러 파드가 같은 물리 GPU를 시분할로 나눠 쓰게 하는 방식. NVIDIA device plugin 설정에
replicas를 주면 GPU 1개를 논리적으로 N개처럼 스케줄링할 수 있다. 설정이 쉽고 어떤 GPU에서도 동작한다는 장점이 있지만, 메모리 격리가 안 된다 - 한 파드가 GPU 메모리를 다 써버리면 같은 GPU를 쓰는 다른 파드도 같이 OOM으로 죽는다. 추론 요청이 간헐적이고 서로 신뢰할 수 있는 워크로드(같은 팀이 관리하는 여러 모델 버전 등)에 적합하다. - MIG(Multi-Instance GPU): A100/H100 등 최신 GPU가 하드웨어 수준에서 컴퓨트 유닛과 메모리를 물리적으로 분할해주는 기능. 파티션마다 독립된 메모리 공간을 가지므로 한 인스턴스가 죽어도 다른 인스턴스에 영향이 없다. 지원 GPU가 한정적이고 파티션 크기가 고정 조합(예: 7개 슬라이스)이라 세밀한 조정이 어렵다는 게 단점이다. 멀티테넌트 환경이나 SLA가 걸린 프로덕션 추론처럼 격리가 중요한 워크로드에 적합하다.
이 프로젝트 규모(단일 팀, 파이프라인 검증 목적)에서는 MIG 하드웨어를 갖추기보다 time-slicing으로 충분했다.
# nvidia-device-plugin ConfigMap - GPU 1개를 4개 슬롯으로 논리 분할
version: v1
sharing:
timeSlicing:
resources:
- name: nvidia.com/gpu
replicas: 4
이렇게 하면 nvidia.com/gpu: 1을 요청하는 파드 4개가 물리 GPU 1개를 나눠 쓴다 - 단, Kubernetes는 여전히 "논리 슬롯 1개"만 인식하고 실제 메모리 사용량은 신경 쓰지 않으므로, 파드 하나가 메모리를 과점하지 않도록 애플리케이션(ONNX Runtime 세션) 레벨에서 조절해야 한다.
3. 모델 교체를 CI/CD에 편입
모델 파일을 이미지에 굽지 않고, 별도 아티팩트로 관리해 이미지 재빌드 없이 교체할 수 있게 한다.
// Jenkinsfile 추가 스테이지
stage('Upload Model') {
steps {
sh '''
curl -T model-v2.onnx https://artifact-registry.local/models/model-v2.onnx
'''
}
}
# inference-worker가 시작 시 모델을 내려받는 initContainer
initContainers:
- name: fetch-model
image: curlimages/curl
command: ["curl", "-o", "/models/model.onnx", "https://artifact-registry.local/models/model-v2.onnx"]
volumeMounts:
- {name: model-volume, mountPath: /models}
모델 버전을 매니페스트(Kustomize overlay)에서 관리하면, 모델 교체도 ArgoCD의 GitOps 흐름을 그대로 탄다 - 이미지 태그를 바꾸던 것과 같은 방식으로 모델 URL만 바꿔 커밋하면 된다.
모델 롤백 전략: 모델 교체는 이미지 배포와 마찬가지로 "배포했더니 나빠졌다"는 상황이 생길 수 있다. 다만 코드 버그와 달리 에러 로그로 안 잡히고 추론 결과가 조용히 나빠지기만 한다는 점이 더 위험하다 - 파드는 정상, 헬스체크도 정상인데 결과 품질만 떨어진다.
- 정확도 모니터링: 정답이 있는 샘플 요청을 일정 비율로 흘려보내 예측값과 정답을 비교하는 shadow 검증, 또는 사용자 피드백(재요청률, 신고율)을 지표화해 대시보드에 올린다. 정답 라벨이 실시간으로 없는 경우가 많으므로, "이전 모델과 출력 분포가 급격히 달라졌는가"를 대리 지표로 쓴다(클래스별 예측 비율, confidence score 분포 등).
- A/B 비교: 신규 모델을 곧바로 100% 전환하지 않고, 트래픽 일부(예: 5~10%)만 새 모델로 라우팅해 기존 모델과 결과를 나란히 비교한다. inference-worker는 큐 컨슈머라서 로드밸런서 단의 트래픽 분할이 아니라, 큐 메시지에 모델 버전을 태깅하고 컨슈머를 버전별로 분리하는 방식으로 흉내 냈다.
- 롤백 가능하게 만들기: 핵심은 모델 아티팩트를 코드처럼 버전 관리하는 것.
model-v2.onnx를 덮어쓰지 않고 버전이 다른 파일로 계속 쌓아두고, 모델 URL을 Kustomize overlay에서 git으로 관리하면 "이전 커밋으로 되돌리기"가 곧 모델 롤백이 된다.
# 모델 롤백 = 이미지 롤백과 동일한 절차
git revert <모델 URL을 바꾼 커밋>
git push # ArgoCD가 감지해서 이전 모델 URL로 자동 재동기화
이미지 태그 롤백과 절차가 완전히 같다는 게 포인트다 - 모델을 "배포 아티팩트"로 취급하도록 파이프라인을 짜 둔 덕분에, 별도의 모델 전용 롤백 도구 없이 기존 GitOps 흐름을 그대로 재사용할 수 있었다.
4. 오토스케일링 지표: CPU 사용률이 아니라 GPU 사용률/큐 길이
기존 서비스들은 HPA(HorizontalPodAutoscaler)를 CPU 사용률 기준으로 스케일링했다. inference-worker에 그대로 적용하면 문제가 생긴다: ONNX Runtime의 GPU 추론은 실제 연산을 GPU가 수행하고, 파드 안의 CPU는 전처리/후처리와 RabbitMQ 컨슈밍 정도만 하니까 CPU 사용률은 낮게 유지된 채로 GPU가 이미 포화 상태일 수 있다. CPU 기준 HPA는 "지금 널널하다"고 오판해 스케일 아웃을 안 하고, 큐에는 추론 대기 작업이 계속 쌓인다.
두 가지 대안을 조합했다.
- GPU 사용률 기반 (DCGM 메트릭): NVIDIA DCGM(Data Center GPU Manager) exporter를 붙이면
DCGM_FI_DEV_GPU_UTIL같은 지표를 Prometheus로 긁을 수 있고, Prometheus Adapter로 커스텀 메트릭화해 HPA에 연결할 수 있다. 실제 GPU 부하를 반영한다는 장점이 있지만, GPU가 이미 100% 근처면 스케일 아웃을 해도 새 파드가 배정될 GPU 자체가 없다는 한계가 있다 - 노드 오토스케일러(Cluster Autoscaler)와 함께 움직여야 의미가 있다. - 큐 길이 기반: RabbitMQ의 대기 메시지 수(
rabbitmq_queue_messages_ready)를 KEDA(Kubernetes Event-driven Autoscaling)로 감지해 컨슈머 파드 수를 조절한다. GPU 자체의 실시간 사용률을 볼 필요가 없고 "일이 밀리고 있다"는 사실 자체로 스케일 판단을 내리므로 지표가 단순하고 안정적이다. 다만 개별 요청이 무거워 처리 시간이 긴 워크로드라면, 큐가 금방 비어도 실제 처리는 오래 걸리는 경우를 큐 길이만으로는 못 잡아낼 수 있다.
이 프로젝트에서는 큐 길이 기반(KEDA)을 스케일링 판단에 쓰고, GPU 사용률(DCGM)은 알림(alerting) 용도로만 뒀다 - 스케일링 판단에 지표 두 개를 같이 끌어들이면 서로 다른 시점에 다른 결론을 낼 때 디버깅이 복잡해진다. 단순한 지표 하나로 충분히 돌아가면 그게 낫다는 원칙을 여기서도 지켰다.
# KEDA ScaledObject - RabbitMQ 큐 길이 기반 오토스케일링
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
name: inference-worker-scaler
spec:
scaleTargetRef:
name: inference-worker
minReplicaCount: 1
maxReplicaCount: 4 # GPU 노드 수만큼 제한 (노드 오토스케일러 없으면 이 이상 못 늘림)
triggers:
- type: rabbitmq
metadata:
queueName: inference-jobs
mode: QueueLength
value: "5" # 파드 하나당 대기 작업 5개를 넘으면 스케일 아웃
검증 방법
# CPU/GPU 추론 결과가 동일한지 (provider만 다르고 출력은 같아야 함)
# 모델 교체 후 초기 요청 몇 건의 결과가 이전 모델과 다르게 나오는지 (버전이 실제로 바뀌었는지 확인)
kubectl logs <inference-worker-pod> | grep "provider" # 어떤 provider로 실행됐는지 로그로 확인
체크리스트
- 더미 워커를 실제 ONNX 추론으로 교체
- (GPU 있으면) GPU 노드 스케줄링 적용, 필요 시 time-slicing/MIG로 공유 여부 결정
- 모델 교체를 CI/CD 파이프라인에 편입 (이미지 재빌드 없이 교체 가능하게)
- 모델 버전을 아티팩트로 관리해 배포처럼 즉시 롤백 가능하게 구성
- 오토스케일링을 CPU가 아닌 GPU 사용률 또는 큐 길이 기준으로 설정