DevOpsDevOps 학습 로드맵 · 18/28편

실무와 다른 4가지를 채우려고 로드맵을 이렇게 짰다

16편짜리 위성 MSA 재현 랩을 왜 처음부터 다시 만들었는지, 형상관리·장애 대응·판단 기준을 각각 어떤 원칙으로 나눴는지를 하나의 흐름으로 정리한 회고.

2026-08-2810 min read
#DevOps#GitOps#SRE#로드맵#회고
DevOps 학습 로드맵시리즈 목차
1채용공고 요구사항 6개 중 자신 있게 답할 수 있는 게 절반도 안 됐다2kubeadm으로 온프레미스 Kubernetes 클러스터를 처음부터 세우는 절차3FastAPI 서비스 골격, RabbitMQ DLQ, Harbor+Trivy, Jenkins→ArgoCD 파이프라인 구축 절차4Argo Rollouts로 카나리 배포와 Prometheus 메트릭 기반 자동 롤백 붙이기5yaml 복붙 관리의 드리프트 문제를 Kustomize overlay로 구조화하기6Terraform과 Ansible로 클러스터를 코드에서 다시 세울 수 있게 만드는 절차7Prometheus·Loki·OpenTelemetry로 세운 관측 스택 - 메트릭·로그·트레이스를 하나로8관측 스택이 진짜로 장애를 잡는가 - 노드 다운·OOMKill·디스크풀 직접 주입해보기9SLI/SLO/에러 버짓을 실제로 계산해서 배포 판단 기준으로 써보기10임계값 없이 - 통계 기반 이상탐지로 Datadog Watchdog 흉내내기11Grafana OnCall로 PagerDuty 없이 온콜·에스컬레이션 구현하기12자체 JWT 구현부터 취약점 실험, Keycloak 마이그레이션까지의 실제 절차13ISMS-P 인프라 영역 심사를 가정하고 내 클러스터의 증적을 만드는 절차14SealedSecret이 못 남기는 것 - OpenBao + External Secrets Operator로 감사 로그 확보하기15번외: 더미 워커를 실제 ONNX 추론으로, GPU 스케줄링까지 교체하는 절차16번외: 인터넷을 완전히 끊고도 클러스터가 돌아가는지 - 폐쇄망(에어갭) 시뮬레이션 절차17번외: 부하테스트로 관측 스택을 실전 검증하기 - k6 + HPA + MSA 파이프라인18번외: DORA 4대 지표를 Four Keys로 자동 집계해보기19실무와 다른 4가지를 채우려고 로드맵을 이렇게 짰다20OpenSearch·Loki·Datadog, 로그 스택은 왜 하나로 안 끝나는가21Control-Plane HA는 언제 정당한가 - etcd 쿼럼, kube-vip 페일오버, cordon/drain의 수학22OpenTelemetry는 무엇을 표준화하는가 - Prometheus·Grafana·Loki·Tempo가 실제로 맞물리는 지점23Helm은 템플릿 도구가 아니라 릴리스 버전 관리자다24카나리 배포와 블루그린 배포, 뭐가 다르고 언제 뭘 써야 하는가25SRE는 정확히 무엇을 하는 직군인가 - '운영을 소프트웨어 문제로 본다'는 말의 실체26온콜은 왜 필요하고, 어떻게 지속 가능하게 운영하는가27IaC는 한 계층이 아니다 - Terraform·Packer·Helm이 각각 다루는 것, 그리고 RKE2 vs kubeadm28SLI·SLO·에러 버짓과 온콜·에스컬레이션 - 숫자로 문제를 정의하고 사람에게 연결하기

이 로드맵을 16편 쓰고 나서 되짚어보면, 각 편의 선택은 따로 논 게 아니라 처음에 정한 원칙 하나에서 갈라져 나온 것들이었다. 그 원칙과, 거기서 갈라진 네 갈래(왜 다시 만들었는가 / 무엇을 버전 관리했는가 / 에러를 어떻게 나눠 다뤘는가 / 기준을 무엇으로 잡았는가)를 하나의 흐름으로 정리한다.

왜 처음부터 다시 만들었는가

시리즈 개요에서 이미 밝힌 대로, DevOps 채용공고 요구사항 6개 중 실무에서 이미 해본 것과 결이 다른 4가지가 있었다 - 온프레미스 클러스터를 kubeadm으로 처음부터 세우는 것, IaC로 Day-0부터 전부 재현 가능하게 만드는 것, ISMS-P 심사 대응, 자체 인증 구현부터 게이트웨이 마이그레이션까지. 이 넷을 채우는 방법으로 이론 공부 대신 직접 만들어보기를 고른 이유가 이후 모든 선택의 출발점이다 - 이론만으로는 클러스터가 죽었을 때 실제로 뭐가 어떻게 망가지는지 알 수 없다.

위성 변화탐지라는 실무 도메인을 그대로 재현하면 시간이 오래 걸리니, "이미지 업로드 → 비동기 AI 추론 → 결과 저장/조회"라는 단순한 흐름으로 도메인만 축소했다. 대신 패턴(게이트웨이 인증, 비동기 큐, ack/nack)은 실무와 같게 유지했다 - 도메인을 줄이는 것과 문제의 구조를 줄이는 것은 다른 일이기 때문이다.

무엇을 버전 관리했고, 무엇은 그럴 수 없었는가

"이 도메인을 재현한다"는 원칙을 실제 시스템으로 옮기면 곧바로 "무엇이 시스템의 진실인가"라는 질문이 나온다. 이 로드맵은 그 답을 층위별로 다르게 냈다.

  • 매니페스트 층위 (04편): 로컬·개발·에어갭 3환경 YAML을 복사해서 관리하다 드리프트(선언한 상태와 실제 상태가 갈리는 문제)를 겪은 뒤, Kustomize base/overlay 구조로 옮기고 ArgoCD Application으로 연동했다. Git에 있는 선언 자체가 버전이고, 실제 클러스터 상태는 그 선언을 따라가야 하는 쪽이라는 GitOps 원리가 여기서 나온다.
  • 인프라 층위 (05편): 클라우드 리소스는 Terraform, 노드 프로비저닝은 Ansible로 코드화하고, 실제로 라이브 클러스터를 파기한 뒤 코드만으로 Day-0 재구축이 되는지까지 검증했다. "버전 관리된 코드가 실제로 그 버전의 시스템을 재현할 수 있는가"를 실증한 사례다.
  • 시크릿 층위 (12편): 모든 값을 다 버전 관리(Git)할 수 있는 건 아니다. Git에 커밋 가능한 SealedSecret과, 회전·감사가 필요해서 중앙 저장소(OpenBao + External Secrets Operator)로 빼야 하는 값을 구분하는 기준을 정리했다.

세 층위를 합치면 하나의 원칙이 된다 - "무엇을 Git으로 버전 관리할 수 있고(매니페스트, IaC), 무엇을 그럴 수 없어서 별도 시스템으로 빼야 하는지(시크릿)"를 먼저 가르고, 각 층위 안에서는 "선언과 실제 상태가 갈리지 않는다"는 걸 재현/검증으로 확인하는 것.

에러를 왜 네 단계로 나눠 다뤘는가

"에러가 생겼을 때 어떻게 대처했는가"는 사실 하나의 질문이 아니다. 에러는 **감지(06·06b·08) → 대응 프로세스(09) → 사전 방어(10) → 극단 상황 대비(14)**라는 서로 다른 네 층위에서 발생하고, 이 로드맵은 각 층위를 다른 편에서 다뤘다.

  • 관측 스택 구축과 장애 주입 실험에서, 노드 다운·OOMKill·디스크풀을 직접 주입해 관측 체계의 구멍을 찾았다 - ServiceMonitor 셀렉터 함정, null 리시버로 알림이 조용히 사라진 사고, Grafana 크래시루프 같은 실전 버그가 그 과정에서 그대로 드러났다.
  • 08편에서는 고정 임계값 알림이 트래픽 패턴 변화에 오탐/누락을 일으키는 문제를, holt_winters·predict_linear로 정상 패턴을 학습하는 방식과 나란히 비교해 실측했다.
  • 09편은 알림이 오는 것과 그걸 누가 언제 처리하는지가 다른 문제라는 걸 다룬다 - Grafana OnCall로 당직 스케줄과 무응답 시 에스컬레이션을 구현했다.
  • 10편은 에러가 나기 전에 스스로 공격해서 찾는 접근이다 - 자체 JWT 구현의 alg:none, 서명 미검증 같은 취약점을 직접 뚫어보고, 검증 로직을 서비스마다 복붙했을 때 생기는 문제까지 재현한 뒤 Keycloak으로 옮겼다.
  • 14편은 가장 극단적인 장애 시나리오다 - 인터넷을 완전히 끊은 상태(에어갭)에서도 클러스터가 join·배포·설치까지 되는지 검증했다.

이 네 층위를 하나로 뭉쳐 "에러 대처"라고 답하면 오히려 부정확해진다. 질문이 어느 층위(감지/대응/방어/극단상황)를 겨냥하는지 먼저 가르는 게, 이 로드맵이 실제로 에러를 다룬 방식과 맞는 답이다.

판단 기준을 왜 두 갈래로 잡았는가

마지막으로 남는 질문은 "무엇이 좋아졌다고 판단할 기준을 뭘로 잡았는가"다. 이 로드맵은 기준을 수치로 정한 것과 표준에 매핑해서 정한 것, 두 갈래로 나눠 답한다.

  • 07편: "빠르다/느리다" 같은 감이 아니라, API 성공률을 SLI로 정의하고 Prometheus recording rule로 에러 버짓 소진률을 계산해 에러 버짓이 소진되면 배포를 멈춘다는 명시적 기준을 만들었다.
  • 16편: 재배포 월 10건→1건, 배포 4분→30초 같은 실무 수치를 DORA 4대 지표(배포 빈도·리드타임·변경 실패율·MTTR) 등급으로 재해석해, "이 개선이 얼마나 좋아진 건가"를 업계 표준 기준으로 다시 말할 수 있게 했다.
  • 11편: ISMS-P 인프라 영역 인증기준을 항목별로 매핑표로 정리하고, NetworkPolicy·TLS·SealedSecret·Loki 보존 정책을 각 항목의 증적으로 연결했다 - "무엇을 왜 한다"가 아니라 심사 항목 단위로 쪼개서 기준을 잡은 사례다.
  • 12편: 형상관리 절에서도 나왔지만, "회전이 필요한가/감사가 필요한가"를 SealedSecret과 OpenBao 중 어느 걸 쓸지 가르는 기준으로 명시했다.

수치 기준(07·16)은 "지금 상태가 얼마나 좋아졌는가"를 재는 도구이고, 표준/판단 기준(11·12)은 "이 선택이 정당한가"를 외부 기준에 비춰 검증하는 도구다. 이 로드맵에서 기준을 묻는 질문이 나오면, 이 두 갈래 중 어느 쪽을 겨냥하는지 먼저 구분하는 게 답을 짧고 정확하게 만든다.