실무와 다른 4가지를 채우려고 로드맵을 이렇게 짰다
16편짜리 위성 MSA 재현 랩을 왜 처음부터 다시 만들었는지, 형상관리·장애 대응·판단 기준을 각각 어떤 원칙으로 나눴는지를 하나의 흐름으로 정리한 회고.
이 로드맵을 16편 쓰고 나서 되짚어보면, 각 편의 선택은 따로 논 게 아니라 처음에 정한 원칙 하나에서 갈라져 나온 것들이었다. 그 원칙과, 거기서 갈라진 네 갈래(왜 다시 만들었는가 / 무엇을 버전 관리했는가 / 에러를 어떻게 나눠 다뤘는가 / 기준을 무엇으로 잡았는가)를 하나의 흐름으로 정리한다.
왜 처음부터 다시 만들었는가
시리즈 개요에서 이미 밝힌 대로, DevOps 채용공고 요구사항 6개 중 실무에서 이미 해본 것과 결이 다른 4가지가 있었다 - 온프레미스 클러스터를 kubeadm으로 처음부터 세우는 것, IaC로 Day-0부터 전부 재현 가능하게 만드는 것, ISMS-P 심사 대응, 자체 인증 구현부터 게이트웨이 마이그레이션까지. 이 넷을 채우는 방법으로 이론 공부 대신 직접 만들어보기를 고른 이유가 이후 모든 선택의 출발점이다 - 이론만으로는 클러스터가 죽었을 때 실제로 뭐가 어떻게 망가지는지 알 수 없다.
위성 변화탐지라는 실무 도메인을 그대로 재현하면 시간이 오래 걸리니, "이미지 업로드 → 비동기 AI 추론 → 결과 저장/조회"라는 단순한 흐름으로 도메인만 축소했다. 대신 패턴(게이트웨이 인증, 비동기 큐, ack/nack)은 실무와 같게 유지했다 - 도메인을 줄이는 것과 문제의 구조를 줄이는 것은 다른 일이기 때문이다.
무엇을 버전 관리했고, 무엇은 그럴 수 없었는가
"이 도메인을 재현한다"는 원칙을 실제 시스템으로 옮기면 곧바로 "무엇이 시스템의 진실인가"라는 질문이 나온다. 이 로드맵은 그 답을 층위별로 다르게 냈다.
- 매니페스트 층위 (04편): 로컬·개발·에어갭 3환경 YAML을 복사해서 관리하다 드리프트(선언한 상태와 실제 상태가 갈리는 문제)를 겪은 뒤, Kustomize base/overlay 구조로 옮기고 ArgoCD Application으로 연동했다. Git에 있는 선언 자체가 버전이고, 실제 클러스터 상태는 그 선언을 따라가야 하는 쪽이라는 GitOps 원리가 여기서 나온다.
- 인프라 층위 (05편): 클라우드 리소스는 Terraform, 노드 프로비저닝은 Ansible로 코드화하고, 실제로 라이브 클러스터를 파기한 뒤 코드만으로 Day-0 재구축이 되는지까지 검증했다. "버전 관리된 코드가 실제로 그 버전의 시스템을 재현할 수 있는가"를 실증한 사례다.
- 시크릿 층위 (12편): 모든 값을 다 버전 관리(Git)할 수 있는 건 아니다. Git에 커밋 가능한 SealedSecret과, 회전·감사가 필요해서 중앙 저장소(OpenBao + External Secrets Operator)로 빼야 하는 값을 구분하는 기준을 정리했다.
세 층위를 합치면 하나의 원칙이 된다 - "무엇을 Git으로 버전 관리할 수 있고(매니페스트, IaC), 무엇을 그럴 수 없어서 별도 시스템으로 빼야 하는지(시크릿)"를 먼저 가르고, 각 층위 안에서는 "선언과 실제 상태가 갈리지 않는다"는 걸 재현/검증으로 확인하는 것.
에러를 왜 네 단계로 나눠 다뤘는가
"에러가 생겼을 때 어떻게 대처했는가"는 사실 하나의 질문이 아니다. 에러는 **감지(06·06b·08) → 대응 프로세스(09) → 사전 방어(10) → 극단 상황 대비(14)**라는 서로 다른 네 층위에서 발생하고, 이 로드맵은 각 층위를 다른 편에서 다뤘다.
- 관측 스택 구축과 장애 주입 실험에서, 노드 다운·OOMKill·디스크풀을 직접 주입해 관측 체계의 구멍을 찾았다 - ServiceMonitor 셀렉터 함정, null 리시버로 알림이 조용히 사라진 사고, Grafana 크래시루프 같은 실전 버그가 그 과정에서 그대로 드러났다.
- 08편에서는 고정 임계값 알림이 트래픽 패턴 변화에 오탐/누락을 일으키는 문제를,
holt_winters·predict_linear로 정상 패턴을 학습하는 방식과 나란히 비교해 실측했다. - 09편은 알림이 오는 것과 그걸 누가 언제 처리하는지가 다른 문제라는 걸 다룬다 - Grafana OnCall로 당직 스케줄과 무응답 시 에스컬레이션을 구현했다.
- 10편은 에러가 나기 전에 스스로 공격해서 찾는 접근이다 - 자체 JWT 구현의
alg:none, 서명 미검증 같은 취약점을 직접 뚫어보고, 검증 로직을 서비스마다 복붙했을 때 생기는 문제까지 재현한 뒤 Keycloak으로 옮겼다. - 14편은 가장 극단적인 장애 시나리오다 - 인터넷을 완전히 끊은 상태(에어갭)에서도 클러스터가 join·배포·설치까지 되는지 검증했다.
이 네 층위를 하나로 뭉쳐 "에러 대처"라고 답하면 오히려 부정확해진다. 질문이 어느 층위(감지/대응/방어/극단상황)를 겨냥하는지 먼저 가르는 게, 이 로드맵이 실제로 에러를 다룬 방식과 맞는 답이다.
판단 기준을 왜 두 갈래로 잡았는가
마지막으로 남는 질문은 "무엇이 좋아졌다고 판단할 기준을 뭘로 잡았는가"다. 이 로드맵은 기준을 수치로 정한 것과 표준에 매핑해서 정한 것, 두 갈래로 나눠 답한다.
- 07편: "빠르다/느리다" 같은 감이 아니라, API 성공률을 SLI로 정의하고 Prometheus recording rule로 에러 버짓 소진률을 계산해 에러 버짓이 소진되면 배포를 멈춘다는 명시적 기준을 만들었다.
- 16편: 재배포 월 10건→1건, 배포 4분→30초 같은 실무 수치를 DORA 4대 지표(배포 빈도·리드타임·변경 실패율·MTTR) 등급으로 재해석해, "이 개선이 얼마나 좋아진 건가"를 업계 표준 기준으로 다시 말할 수 있게 했다.
- 11편: ISMS-P 인프라 영역 인증기준을 항목별로 매핑표로 정리하고, NetworkPolicy·TLS·SealedSecret·Loki 보존 정책을 각 항목의 증적으로 연결했다 - "무엇을 왜 한다"가 아니라 심사 항목 단위로 쪼개서 기준을 잡은 사례다.
- 12편: 형상관리 절에서도 나왔지만, "회전이 필요한가/감사가 필요한가"를 SealedSecret과 OpenBao 중 어느 걸 쓸지 가르는 기준으로 명시했다.
수치 기준(07·16)은 "지금 상태가 얼마나 좋아졌는가"를 재는 도구이고, 표준/판단 기준(11·12)은 "이 선택이 정당한가"를 외부 기준에 비춰 검증하는 도구다. 이 로드맵에서 기준을 묻는 질문이 나오면, 이 두 갈래 중 어느 쪽을 겨냥하는지 먼저 구분하는 게 답을 짧고 정확하게 만든다.