MLflow · Kubeflow · Seldon은 같은 층이 아니다 - 도구 없이 직접 만들어보고 알게 된 것

세 도구를 'MLOps 플랫폼'으로 묶어 부르곤 하는데, 실제로는 기록·실행·서빙이라는 다른 층에 있다. 각 층을 도구 없이 손으로 만들어 운영해본 뒤에야 셋이 정확히 무엇을 대신해주는지 알게 됐다.

2026-09-1918 min read
#MLOps#MLflow#Kubeflow#Seldon#KServe#Kubernetes#AI 인프라

문제: 셋을 한 덩어리로 알고 있었다

채용공고 우대사항에 MLOps 플랫폼(Kubeflow, MLflow, Seldon, Airflow 등) 구축·운영 경험 이 한 줄로 묶여 있는 걸 보고, 내가 이 셋을 구분하지 못한다는 걸 알았다. "MLOps 도구" 라는 한 덩어리로 알고 있었다.

마침 나는 세그멘테이션 모델을 개선하는 프로젝트에서 이 도구들을 하나도 쓰지 않고 필요한 걸 전부 직접 만들어 쓰고 있었다. 실험 기록은 CSV와 마크다운으로, 학습 실행은 직접 만든 큐로, 모델 배포는 파일 규약으로. 그러고 나서 셋을 제대로 들여다보니, 내가 만든 세 가지가 각각 이 셋에 대응한다는 게 보였다.

셋은 같은 층이 아니다.

층도구한 문장으로
기록MLflow어떤 실험을 어떤 설정으로 돌려 어떤 결과가 나왔는지 남긴다
실행Kubeflow학습을 쿠버네티스 위에서 돌린다
서빙Seldon · KServe학습된 모델을 추론 엔드포인트로 띄운다

이 글은 각 층이 실제로 무엇을 해주는지와, 그 자리를 손으로 채웠을 때 무엇이 비는지를 정리한 기록이다.


1. MLflow - 기록 계층

무엇을 하는가

MLflow는 라이브러리와 서버로 이루어져 있고, 네 덩어리를 제공한다.

  • Tracking - 학습 코드에 몇 줄을 넣으면 파라미터·지표·아티팩트가 실행 단위(run)로 기록된다
  • Model Registry - 기록된 모델에 이름과 버전을 붙이고 Staging · Production 같은 단계를 관리한다
  • Projects - 실행 환경과 진입점을 선언해 같은 실험을 재현 가능하게 만든다
  • Models - 프레임워크별 모델을 표준 포맷으로 저장하고, 간단한 서빙까지 제공한다

핵심은 첫 두 개다. "실행마다 무엇을 바꿨고 결과가 어땠는가"를 자동으로 남기는 장부, 그리고 "지금 프로덕션에 있는 모델이 어느 실행에서 나왔는가"를 잇는 연결고리.

내가 손으로 만든 것

나는 이걸 세 가지로 나눠 들고 있었다.

  • 실험 등록부 CSV - 실험 번호, 설정 경로, 최종 지표
  • 작업 이력 마크다운 - 무엇을 왜 바꿨는지 서술
  • 학습 큐 대시보드의 히스토리 - 실행 시각, 종료 코드

돌아가긴 했다. 스무 번 넘는 모델 실험과 라벨 계열 실험을 이 조합으로 관리했고, 챔피언 모델이 어느 실험에서 나왔는지도 추적할 수 있었다.

손으로 만들어보니 비는 것

그런데 플랫폼 팀이 운영하던 학습 도구를 뒤늦게 들여다보니, 같은 자리에 자동으로 채워지는 것들이 있었다.

항목손으로 할 때도구가 해줄 때
git 커밋 SHA안 남긴다. 나중에 "이 실험 코드가 어느 시점이었지"가 안 풀린다실행마다 자동 기록
에폭별 지표 곡선로그 파일을 열어 눈으로 본다실행 상세에서 바로 그려진다
실행 간 비교CSV를 정렬해서 본다여러 실행을 골라 파라미터 diff와 지표를 나란히
하이퍼파라미터 전량중요한 것만 골라 적는다 - 적어두지 않은 게 나중에 문제가 된다설정 전체가 통째로
아티팩트 연결체크포인트 경로를 손으로 적는다실행에 아티팩트가 붙어 있다

특히 git SHA와 하이퍼파라미터 전량이 컸다. 손으로 적으면 "적어둘 만하다고 판단한 것"만 남는데, 나중에 문제가 되는 건 대개 적어두지 않은 쪽이다.

반대로 손으로 해서 좋았던 건 하나 있었다. 마크다운 이력에는 "왜 이 실험을 하기로 했는지" 라는 판단 근거를 자연어로 남길 수 있었다. 이건 도구가 자동으로 채워주지 않는다.


2. Kubeflow - 실행 계층

단일 제품이 아니다

Kubeflow를 "설치한다"고 말할 때 실제로는 여러 컴포넌트 묶음을 올리는 것이다. 이걸 몰라서 한 덩어리로 알고 있었다.

컴포넌트하는 일
Pipelines전처리 → 학습 → 평가 → 배포를 DAG로 묶어 실행. 백엔드가 Argo Workflows다
Training OperatorPyTorchJob · TFJob · MPIJob 같은 CRD로 분산 학습을 쿠버네티스 Job으로 돌린다
Katib하이퍼파라미터 탐색을 자동화
Notebooks클러스터 안에서 도는 개발 환경
KServe모델 서빙. 원래 KFServing이었다가 별도 프로젝트로 분리됐다

여기서 내가 놓치고 있던 연결이 하나 있었다. Kubeflow Pipelines는 Argo Workflows 위에서 돈다. 나는 이전 프로젝트에서 Argo Workflows와 Argo Events를 운영해봤는데, 그게 Kubeflow의 실행 엔진이라는 걸 몰랐다.

내가 손으로 만든 것

학습을 돌리려면 두 가지가 필요했다.

하나, GPU가 비면 다음 실험을 띄우는 큐. 러너 프로세스가 GPU 점유를 확인하고 대기열에서 다음 설정을 꺼내 학습을 실행한다.

둘, 무엇을 다음에 돌릴지 정하는 루프. cron이 주기적으로 에이전트를 깨워 작업 이력을 읽고 다음 실험을 결정하게 했다. 실행 결과는 다시 이력에 쌓이고, 그게 다음 판단의 입력이 된다.

이 조합으로 사람이 붙어 있지 않아도 실험이 이어졌다.

손으로 만들어보니 비는 것

자원 회계가 어긋난다. 내 학습은 클러스터 밖에서 torchrun 으로 직접 떴다. 그러면 쿠버네티스 스케줄러는 이 워크로드를 모른다. 클러스터의 학습 도구는 "GPU 여유 있음, 실행 중 학습 0건" 이라고 표시하는데 실제로는 GPU 네 장이 전부 점유된 상태인 일이 생긴다. 그 화면을 보고 누군가 학습을 시작하면 충돌한다.

큐 러너 쪽에도 같은 종류의 구멍이 있었다. 러너는 torchrun 프로세스만 보고 GPU 점유를 판단했는데, python train.py 로 띄운 학습이나 같은 GPU에 상주하는 추론 API를 놓쳤다. 결국 nvidia-smi 의 compute-apps 를 직접 읽어 실제 점유 프로세스를 찾고, 추론 API PID만 제외하는 방식으로 우회했다.

Training Operator를 썼다면 이 문제 자체가 없다. 학습이 PyTorchJob 이면 스케줄러의 장부에 잡히고, 자원 요청도 파드 스펙에 선언되며, 실패하면 재시도 정책이 적용된다.

항목손으로 할 때도구가 해줄 때
자원 회계스케줄러가 모른다. 대시보드 두 개가 서로 다른 숫자를 보여준다학습도 파드라 같은 장부에 잡힌다
재현성셸 스크립트와 환경변수에 흩어져 있다Job 스펙이 곧 실행 정의
실패 처리죽으면 사람이 다시 띄운다backoffLimit · 재시도 정책
분산 학습torchrun 인자를 직접 맞춘다워커 수를 선언하면 오퍼레이터가 구성
의존 단계학습 후 평가를 셸로 이어붙인다DAG로 선언

3. Seldon · KServe - 서빙 계층

무엇을 하는가

Seldon Core는 SeldonDeployment 라는 CRD로 모델을 배포한다. 단순히 컨테이너를 띄우는 게 아니라 추론 그래프를 구성할 수 있는 게 특징이다. 전처리 → 모델 → 후처리를 노드로 잇고, 여러 모델을 A/B 나 멀티암 밴딧으로 묶을 수 있다. Alibi 를 붙이면 설명가능성과 아웃라이어 탐지까지 들어온다.

KServe는 InferenceService 로 같은 문제를 푼다. Knative 기반이라 요청이 없으면 0으로 줄이는 scale-to-zero 가 되고, 여러 모델을 한 서버에 올려 밀도를 높이는 ModelMesh 도 있다.

둘 다 공통으로 제공하는 건 이것이다.

  • 모델을 선언적으로 배포 (kubectl apply 로 모델 교체)
  • 카나리와 트래픽 분할 - 새 모델에 10%만 흘려보고 지표를 본 뒤 올린다
  • 추론 요청·응답 로깅과 메트릭
  • 오토스케일링

내가 손으로 만든 것

학습이 끝나면 ONNX 단일 그래프로 내보내고, 타임스탬프 폴더에 모델 파일과 매니페스트를 함께 올린다. 매니페스트에는 태스크 종류, 클래스 목록, 지표가 들어간다. 추론 서버는 그 폴더를 읽어 모델을 올린다.

학습  →  ONNX 내보내기  →  models/<모델명>/<타임스탬프>/
                              ├── model.onnx
                              └── manifest.json   (task · classes · metrics)
                          →  오브젝트 스토리지  →  추론 파드

파일 규약 하나로 모델과 서버를 분리한 구조다. 추론 서버는 어떤 모델인지 몰라도 되고, 새 모델은 새 폴더면 된다. 그리고 ONNX라서 학습 스택(PyTorch·CUDA 버전)과 추론 스택이 분리된다 - 같은 model.onnx 하나가 12GB GPU에서도 96GB GPU에서도 돈다.

변환이 맞는지는 PyTorch 출력과 ONNX 출력의 argmax 일치율로 검증했다. 99.9945%.

손으로 만들어보니 비는 것

배포는 됐다. 그런데 배포한 뒤가 없었다.

항목손으로 할 때도구가 해줄 때
카나리·트래픽 분할없다. 새 모델로 바꾸면 전부 바뀐다비율을 선언하면 게이트웨이가 나눈다
롤백이전 타임스탬프 폴더를 다시 가리킨다 (수동)리비전 되돌리기
추론 메트릭없다. 지연시간·처리량이 어디에도 안 쌓인다기본 제공
요청·응답 로깅없다페이로드 로거
오토스케일링파드 수를 손으로 조정요청량 기반, scale-to-zero
모델 버전 ↔ 실험 연결폴더 이름의 타임스탬프로 유추레지스트리와 연결

실제로 이 구멍이 드러난 적이 있다. 챔피언 모델이 배포본보다 mIoU 0.045 앞서 있는데도 서비스에는 올라가 있지 않았다. 배포 경로는 이미 있었고 ONNX 검증도 끝나 있었는데, 배포본과 최신 모델을 대조하는 장치가 없어서 아무도 그 격차를 몰랐던 것이다. 레지스트리가 있었다면 "Production 태그가 붙은 모델"과 "최고 지표 모델"이 다르다는 게 화면에 보였을 것이다.


4. 그래서 셋을 묶어 말하면 안 된다

정리하면 이렇게 된다.

MLflowKubeflowSeldon · KServe
층기록실행서빙
주 대상실험과 모델 버전학습 잡과 파이프라인추론 엔드포인트
쿠버네티스필수 아님전제전제
없으면 생기는 문제무엇을 바꿔 얼마나 올랐는지 추적 불가자원 회계와 재현성이 깨짐배포 이후가 통째로 빈다
서로 대체 가능한가아니다아니다Seldon ↔ KServe는 경쟁 관계

겹치는 부분이 아예 없지는 않다. MLflow에도 가벼운 서빙이 있고, Kubeflow에는 KServe가 들어 있다. 하지만 중심은 확실히 다르다. 셋을 한 줄로 묶어 "MLOps 플랫폼"이라 부르면 이 차이가 지워진다.

실제 조합은 대개 이렇게 간다.

MLflow (실험 기록 · 모델 레지스트리)
   ↓  "이 실행에서 나온 이 버전을 배포한다"
Kubeflow Pipelines / Training Operator (학습 실행)
   ↓  "학습 산출물을 레지스트리에 등록"
KServe / Seldon (서빙)
   ↓  "카나리로 10%부터"

5. 직접 만들어보고 알게 된 것

세 층을 도구 없이 채워보고 나서 남은 생각은 두 가지다.

하나, 각 층이 왜 필요한지는 없이 해봐야 안다. 도구를 먼저 배웠다면 "MLflow는 실험을 기록한다" 정도로 외웠을 것이다. 직접 CSV에 적어보고, 적어두지 않은 하이퍼파라미터 때문에 실험을 다시 돌려보고 나서야 레지스트리가 무엇을 지켜주는지 이해했다.

둘, 손으로 만든 것에서 가장 먼저 무너지는 건 "연결"이다. 각 층을 따로 만드는 건 어렵지 않았다. 기록도 했고, 실행도 했고, 배포도 했다. 무너진 건 그 사이다. 실험 기록과 배포본이 이어져 있지 않아서 0.045 격차를 몰랐고, 학습 실행과 클러스터 스케줄러가 이어져 있지 않아서 자원 회계가 어긋났다.

MLOps 도구가 파는 게 각 층의 기능이라기보다 층 사이의 연결이라는 걸, 연결이 없는 걸 만들어보고 나서 알았다.

다음 단계로는 학습을 쿠버네티스 Job으로 옮기는 것을 보고 있다. 실행 계층 하나만 제자리를 찾아도 자원 회계와 재현성이 같이 해결된다.


참고