Kubernetes/ClusterDevOps 학습 로드맵 · 14/28편

번외: 더미 워커를 실제 ONNX 추론으로, GPU 스케줄링까지 교체하는 절차

sleep으로 흉내낸 inference-worker를 실제 ONNX Runtime 추론으로 바꾸고, GPU 노드 스케줄링과 모델 교체를 CI/CD에 편입하는 절차. 선택 시리즈.

2026-07-2215 min read
#ONNX#GPU#Kubernetes#MLOps#Autoscaling
DevOps 학습 로드맵시리즈 목차
1채용공고 요구사항 6개 중 자신 있게 답할 수 있는 게 절반도 안 됐다2kubeadm으로 온프레미스 Kubernetes 클러스터를 처음부터 세우는 절차3FastAPI 서비스 골격, RabbitMQ DLQ, Harbor+Trivy, Jenkins→ArgoCD 파이프라인 구축 절차4Argo Rollouts로 카나리 배포와 Prometheus 메트릭 기반 자동 롤백 붙이기5yaml 복붙 관리의 드리프트 문제를 Kustomize overlay로 구조화하기6Terraform과 Ansible로 클러스터를 코드에서 다시 세울 수 있게 만드는 절차7Prometheus·Loki·OpenTelemetry로 세운 관측 스택 - 메트릭·로그·트레이스를 하나로8관측 스택이 진짜로 장애를 잡는가 - 노드 다운·OOMKill·디스크풀 직접 주입해보기9SLI/SLO/에러 버짓을 실제로 계산해서 배포 판단 기준으로 써보기10임계값 없이 - 통계 기반 이상탐지로 Datadog Watchdog 흉내내기11Grafana OnCall로 PagerDuty 없이 온콜·에스컬레이션 구현하기12자체 JWT 구현부터 취약점 실험, Keycloak 마이그레이션까지의 실제 절차13ISMS-P 인프라 영역 심사를 가정하고 내 클러스터의 증적을 만드는 절차14SealedSecret이 못 남기는 것 - OpenBao + External Secrets Operator로 감사 로그 확보하기15번외: 더미 워커를 실제 ONNX 추론으로, GPU 스케줄링까지 교체하는 절차16번외: 인터넷을 완전히 끊고도 클러스터가 돌아가는지 - 폐쇄망(에어갭) 시뮬레이션 절차17번외: 부하테스트로 관측 스택을 실전 검증하기 - k6 + HPA + MSA 파이프라인18번외: DORA 4대 지표를 Four Keys로 자동 집계해보기19실무와 다른 4가지를 채우려고 로드맵을 이렇게 짰다20OpenSearch·Loki·Datadog, 로그 스택은 왜 하나로 안 끝나는가21Control-Plane HA는 언제 정당한가 - etcd 쿼럼, kube-vip 페일오버, cordon/drain의 수학22OpenTelemetry는 무엇을 표준화하는가 - Prometheus·Grafana·Loki·Tempo가 실제로 맞물리는 지점23Helm은 템플릿 도구가 아니라 릴리스 버전 관리자다24카나리 배포와 블루그린 배포, 뭐가 다르고 언제 뭘 써야 하는가25SRE는 정확히 무엇을 하는 직군인가 - '운영을 소프트웨어 문제로 본다'는 말의 실체26온콜은 왜 필요하고, 어떻게 지속 가능하게 운영하는가27IaC는 한 계층이 아니다 - Terraform·Packer·Helm이 각각 다루는 것, 그리고 RKE2 vs kubeadm28SLI·SLO·에러 버짓과 온콜·에스컬레이션 - 숫자로 문제를 정의하고 사람에게 연결하기

목표

시리즈 2에서 time.sleep()으로 흉내낸 inference-worker를 실제 ONNX Runtime 추론으로 교체하고, GPU가 있다면 GPU 노드 스케줄링까지 붙인다. 이 시리즈는 선택이다 - 인프라·파이프라인이 이미 갖춰진 상태이므로, 워크로드 내용물만 바꾸는 작업에 가깝다.

개념: ONNX란, GPU 스케줄링이란

**ONNX(Open Neural Network Exchange)**란: AI 모델은 보통 PyTorch나 TensorFlow 같은 특정 프레임워크로 학습된다. 문제는 그 프레임워크를 학습 때와 똑같이 서빙(추론) 환경에도 그대로 설치해야 한다는 점이다 - 무겁고, 프레임워크 버전에 서비스가 종속된다. ONNX는 프레임워크에 상관없이 모델을 표현하는 공통 포맷이다. 학습은 PyTorch로 하되, 추론 시점엔 ONNX로 변환한 모델을 가벼운 ONNX Runtime으로 돌리면, 추론 서버가 특정 학습 프레임워크에 종속되지 않는다.

GPU 스케줄링이 CPU와 다른 이유: CPU는 여러 프로세스가 시분할로 나눠 쓰는 게 기본이라 Kubernetes가 "0.5개 코어"처럼 잘게 쪼개 요청할 수 있다. GPU는 기본적으로 나눠 쓰는 개념이 없다 - 한 컨테이너가 GPU 1개를 통째로 점유한다. 그래서 Kubernetes가 GPU를 인식하고 파드에 할당하려면 nvidia.com/gpu처럼 별도의 리소스 타입으로 노출해주는 디바이스 플러그인이 필요하다(아래 2번).

실제 구축 절차

1. 더미 모델 → ONNX Runtime 추론으로 교체

# 교체 전 - inference-worker/app/worker.py
def run_inference(job: dict):
    time.sleep(180)   # 오래 걸리는 작업 흉내
    return {"result": "dummy"}
# 교체 후
import onnxruntime as ort
import numpy as np

session = ort.InferenceSession("model.onnx", providers=["CPUExecutionProvider"])

def run_inference(job: dict):
    input_tensor = preprocess(job["image_path"])
    outputs = session.run(None, {"input": input_tensor})
    return postprocess(outputs)

기존 파이프라인(RabbitMQ ack/nack, DLQ, 상태 갱신)은 그대로 둔다 - 바뀌는 건 run_inference 내부뿐이다. 이렇게 인터페이스를 유지해두면 나중에 모델을 다시 바꿔도 파이프라인 코드는 안 건드려도 된다.

2. GPU 노드 스케줄링 (GPU가 있는 경우)

# NVIDIA device plugin 설치 - 노드의 GPU를 스케줄링 가능한 리소스로 노출
kubectl apply -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/main/deployments/static/nvidia-device-plugin.yml
# inference-worker deployment
spec:
  containers:
    - name: inference-worker
      resources:
        limits:
          nvidia.com/gpu: 1
      env:
        - name: ONNX_PROVIDER
          value: "CUDAExecutionProvider"
providers = ["CUDAExecutionProvider", "CPUExecutionProvider"]  # GPU 우선, 실패 시 CPU로 폴백
session = ort.InferenceSession("model.onnx", providers=providers)

GPU가 없는 환경이라면 CPUExecutionProvider만 쓰고 이 단계는 건너뛴다 - 파이프라인 검증이 목적이라 추론 속도 자체는 부차적이다.

GPU 공유가 필요해진 이유: 위 디바이스 플러그인은 GPU를 정수 단위로만 파드에 할당한다 - nvidia.com/gpu: 1이 최소 단위이고 0.1처럼 쪼갤 수 없다. inference-worker 하나가 추론 한 번에 GPU 메모리의 10%도 안 쓰는데도 파드가 GPU 전체를 점유해버리면, 나머지 90%는 그냥 노는 셈이다. 이 문제를 푸는 두 가지 방식이 있다.

  • 시간 분할(time-slicing): 여러 파드가 같은 물리 GPU를 시분할로 나눠 쓰게 하는 방식. NVIDIA device plugin 설정에 replicas를 주면 GPU 1개를 논리적으로 N개처럼 스케줄링할 수 있다. 설정이 쉽고 어떤 GPU에서도 동작한다는 장점이 있지만, 메모리 격리가 안 된다 - 한 파드가 GPU 메모리를 다 써버리면 같은 GPU를 쓰는 다른 파드도 같이 OOM으로 죽는다. 추론 요청이 간헐적이고 서로 신뢰할 수 있는 워크로드(같은 팀이 관리하는 여러 모델 버전 등)에 적합하다.
  • MIG(Multi-Instance GPU): A100/H100 등 최신 GPU가 하드웨어 수준에서 컴퓨트 유닛과 메모리를 물리적으로 분할해주는 기능. 파티션마다 독립된 메모리 공간을 가지므로 한 인스턴스가 죽어도 다른 인스턴스에 영향이 없다. 지원 GPU가 한정적이고 파티션 크기가 고정 조합(예: 7개 슬라이스)이라 세밀한 조정이 어렵다는 게 단점이다. 멀티테넌트 환경이나 SLA가 걸린 프로덕션 추론처럼 격리가 중요한 워크로드에 적합하다.

이 프로젝트 규모(단일 팀, 파이프라인 검증 목적)에서는 MIG 하드웨어를 갖추기보다 time-slicing으로 충분했다.

# nvidia-device-plugin ConfigMap - GPU 1개를 4개 슬롯으로 논리 분할
version: v1
sharing:
  timeSlicing:
    resources:
      - name: nvidia.com/gpu
        replicas: 4

이렇게 하면 nvidia.com/gpu: 1을 요청하는 파드 4개가 물리 GPU 1개를 나눠 쓴다 - 단, Kubernetes는 여전히 "논리 슬롯 1개"만 인식하고 실제 메모리 사용량은 신경 쓰지 않으므로, 파드 하나가 메모리를 과점하지 않도록 애플리케이션(ONNX Runtime 세션) 레벨에서 조절해야 한다.

3. 모델 교체를 CI/CD에 편입

모델 파일을 이미지에 굽지 않고, 별도 아티팩트로 관리해 이미지 재빌드 없이 교체할 수 있게 한다.

// Jenkinsfile 추가 스테이지
stage('Upload Model') {
  steps {
    sh '''
      curl -T model-v2.onnx https://artifact-registry.local/models/model-v2.onnx
    '''
  }
}
# inference-worker가 시작 시 모델을 내려받는 initContainer
initContainers:
  - name: fetch-model
    image: curlimages/curl
    command: ["curl", "-o", "/models/model.onnx", "https://artifact-registry.local/models/model-v2.onnx"]
    volumeMounts:
      - {name: model-volume, mountPath: /models}

모델 버전을 매니페스트(Kustomize overlay)에서 관리하면, 모델 교체도 ArgoCD의 GitOps 흐름을 그대로 탄다 - 이미지 태그를 바꾸던 것과 같은 방식으로 모델 URL만 바꿔 커밋하면 된다.

모델 롤백 전략: 모델 교체는 이미지 배포와 마찬가지로 "배포했더니 나빠졌다"는 상황이 생길 수 있다. 다만 코드 버그와 달리 에러 로그로 안 잡히고 추론 결과가 조용히 나빠지기만 한다는 점이 더 위험하다 - 파드는 정상, 헬스체크도 정상인데 결과 품질만 떨어진다.

  • 정확도 모니터링: 정답이 있는 샘플 요청을 일정 비율로 흘려보내 예측값과 정답을 비교하는 shadow 검증, 또는 사용자 피드백(재요청률, 신고율)을 지표화해 대시보드에 올린다. 정답 라벨이 실시간으로 없는 경우가 많으므로, "이전 모델과 출력 분포가 급격히 달라졌는가"를 대리 지표로 쓴다(클래스별 예측 비율, confidence score 분포 등).
  • A/B 비교: 신규 모델을 곧바로 100% 전환하지 않고, 트래픽 일부(예: 5~10%)만 새 모델로 라우팅해 기존 모델과 결과를 나란히 비교한다. inference-worker는 큐 컨슈머라서 로드밸런서 단의 트래픽 분할이 아니라, 큐 메시지에 모델 버전을 태깅하고 컨슈머를 버전별로 분리하는 방식으로 흉내 냈다.
  • 롤백 가능하게 만들기: 핵심은 모델 아티팩트를 코드처럼 버전 관리하는 것. model-v2.onnx를 덮어쓰지 않고 버전이 다른 파일로 계속 쌓아두고, 모델 URL을 Kustomize overlay에서 git으로 관리하면 "이전 커밋으로 되돌리기"가 곧 모델 롤백이 된다.
# 모델 롤백 = 이미지 롤백과 동일한 절차
git revert <모델 URL을 바꾼 커밋>
git push   # ArgoCD가 감지해서 이전 모델 URL로 자동 재동기화

이미지 태그 롤백과 절차가 완전히 같다는 게 포인트다 - 모델을 "배포 아티팩트"로 취급하도록 파이프라인을 짜 둔 덕분에, 별도의 모델 전용 롤백 도구 없이 기존 GitOps 흐름을 그대로 재사용할 수 있었다.

4. 오토스케일링 지표: CPU 사용률이 아니라 GPU 사용률/큐 길이

기존 서비스들은 HPA(HorizontalPodAutoscaler)를 CPU 사용률 기준으로 스케일링했다. inference-worker에 그대로 적용하면 문제가 생긴다: ONNX Runtime의 GPU 추론은 실제 연산을 GPU가 수행하고, 파드 안의 CPU는 전처리/후처리와 RabbitMQ 컨슈밍 정도만 하니까 CPU 사용률은 낮게 유지된 채로 GPU가 이미 포화 상태일 수 있다. CPU 기준 HPA는 "지금 널널하다"고 오판해 스케일 아웃을 안 하고, 큐에는 추론 대기 작업이 계속 쌓인다.

두 가지 대안을 조합했다.

  • GPU 사용률 기반 (DCGM 메트릭): NVIDIA DCGM(Data Center GPU Manager) exporter를 붙이면 DCGM_FI_DEV_GPU_UTIL 같은 지표를 Prometheus로 긁을 수 있고, Prometheus Adapter로 커스텀 메트릭화해 HPA에 연결할 수 있다. 실제 GPU 부하를 반영한다는 장점이 있지만, GPU가 이미 100% 근처면 스케일 아웃을 해도 새 파드가 배정될 GPU 자체가 없다는 한계가 있다 - 노드 오토스케일러(Cluster Autoscaler)와 함께 움직여야 의미가 있다.
  • 큐 길이 기반: RabbitMQ의 대기 메시지 수(rabbitmq_queue_messages_ready)를 KEDA(Kubernetes Event-driven Autoscaling)로 감지해 컨슈머 파드 수를 조절한다. GPU 자체의 실시간 사용률을 볼 필요가 없고 "일이 밀리고 있다"는 사실 자체로 스케일 판단을 내리므로 지표가 단순하고 안정적이다. 다만 개별 요청이 무거워 처리 시간이 긴 워크로드라면, 큐가 금방 비어도 실제 처리는 오래 걸리는 경우를 큐 길이만으로는 못 잡아낼 수 있다.

이 프로젝트에서는 큐 길이 기반(KEDA)을 스케일링 판단에 쓰고, GPU 사용률(DCGM)은 알림(alerting) 용도로만 뒀다 - 스케일링 판단에 지표 두 개를 같이 끌어들이면 서로 다른 시점에 다른 결론을 낼 때 디버깅이 복잡해진다. 단순한 지표 하나로 충분히 돌아가면 그게 낫다는 원칙을 여기서도 지켰다.

# KEDA ScaledObject - RabbitMQ 큐 길이 기반 오토스케일링
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: inference-worker-scaler
spec:
  scaleTargetRef:
    name: inference-worker
  minReplicaCount: 1
  maxReplicaCount: 4   # GPU 노드 수만큼 제한 (노드 오토스케일러 없으면 이 이상 못 늘림)
  triggers:
    - type: rabbitmq
      metadata:
        queueName: inference-jobs
        mode: QueueLength
        value: "5"   # 파드 하나당 대기 작업 5개를 넘으면 스케일 아웃

검증 방법

# CPU/GPU 추론 결과가 동일한지 (provider만 다르고 출력은 같아야 함)
# 모델 교체 후 초기 요청 몇 건의 결과가 이전 모델과 다르게 나오는지 (버전이 실제로 바뀌었는지 확인)
kubectl logs <inference-worker-pod> | grep "provider"   # 어떤 provider로 실행됐는지 로그로 확인

체크리스트

  • 더미 워커를 실제 ONNX 추론으로 교체
  • (GPU 있으면) GPU 노드 스케줄링 적용, 필요 시 time-slicing/MIG로 공유 여부 결정
  • 모델 교체를 CI/CD 파이프라인에 편입 (이미지 재빌드 없이 교체 가능하게)
  • 모델 버전을 아티팩트로 관리해 배포처럼 즉시 롤백 가능하게 구성
  • 오토스케일링을 CPU가 아닌 GPU 사용률 또는 큐 길이 기준으로 설정