Kubernetes/ClusterDevOps 학습 로드맵 · 20/28편

Control-Plane HA는 언제 정당한가 - etcd 쿼럼, kube-vip 페일오버, cordon/drain의 수학

3노드 control-plane HA가 항상 정답은 아니다. etcd Raft 쿼럼 수식부터 kube-vip의 VIP 페일오버 메커니즘, cordon→drain 순차 업그레이드가 무중단을 보장하는 정확한 이유, 그리고 클러스터 규모·요구사항에 따라 HA 투자를 판단하는 비용-이득 프레임워크까지 정리한다.

2026-09-1427 min read
#Kubernetes#etcd#kube-vip#고가용성#control-plane#cordon#drain
DevOps 학습 로드맵시리즈 목차
1채용공고 요구사항 6개 중 자신 있게 답할 수 있는 게 절반도 안 됐다2kubeadm으로 온프레미스 Kubernetes 클러스터를 처음부터 세우는 절차3FastAPI 서비스 골격, RabbitMQ DLQ, Harbor+Trivy, Jenkins→ArgoCD 파이프라인 구축 절차4Argo Rollouts로 카나리 배포와 Prometheus 메트릭 기반 자동 롤백 붙이기5yaml 복붙 관리의 드리프트 문제를 Kustomize overlay로 구조화하기6Terraform과 Ansible로 클러스터를 코드에서 다시 세울 수 있게 만드는 절차7Prometheus·Loki·OpenTelemetry로 세운 관측 스택 - 메트릭·로그·트레이스를 하나로8관측 스택이 진짜로 장애를 잡는가 - 노드 다운·OOMKill·디스크풀 직접 주입해보기9SLI/SLO/에러 버짓을 실제로 계산해서 배포 판단 기준으로 써보기10임계값 없이 - 통계 기반 이상탐지로 Datadog Watchdog 흉내내기11Grafana OnCall로 PagerDuty 없이 온콜·에스컬레이션 구현하기12자체 JWT 구현부터 취약점 실험, Keycloak 마이그레이션까지의 실제 절차13ISMS-P 인프라 영역 심사를 가정하고 내 클러스터의 증적을 만드는 절차14SealedSecret이 못 남기는 것 - OpenBao + External Secrets Operator로 감사 로그 확보하기15번외: 더미 워커를 실제 ONNX 추론으로, GPU 스케줄링까지 교체하는 절차16번외: 인터넷을 완전히 끊고도 클러스터가 돌아가는지 - 폐쇄망(에어갭) 시뮬레이션 절차17번외: 부하테스트로 관측 스택을 실전 검증하기 - k6 + HPA + MSA 파이프라인18번외: DORA 4대 지표를 Four Keys로 자동 집계해보기19실무와 다른 4가지를 채우려고 로드맵을 이렇게 짰다20OpenSearch·Loki·Datadog, 로그 스택은 왜 하나로 안 끝나는가21Control-Plane HA는 언제 정당한가 - etcd 쿼럼, kube-vip 페일오버, cordon/drain의 수학22OpenTelemetry는 무엇을 표준화하는가 - Prometheus·Grafana·Loki·Tempo가 실제로 맞물리는 지점23Helm은 템플릿 도구가 아니라 릴리스 버전 관리자다24카나리 배포와 블루그린 배포, 뭐가 다르고 언제 뭘 써야 하는가25SRE는 정확히 무엇을 하는 직군인가 - '운영을 소프트웨어 문제로 본다'는 말의 실체26온콜은 왜 필요하고, 어떻게 지속 가능하게 운영하는가27IaC는 한 계층이 아니다 - Terraform·Packer·Helm이 각각 다루는 것, 그리고 RKE2 vs kubeadm28SLI·SLO·에러 버짓과 온콜·에스컬레이션 - 숫자로 문제를 정의하고 사람에게 연결하기

왜 이 주제를 파고들었나

"클러스터 규모에 따라 control-plane HA를 다르게 판단했다"는 경험을 동료에게 설명할 일이 종종 있는데, 정작 "왜 3노드인가", "kube-vip는 정확히 어떻게 장애를 감지하는가", "HA 없이 순차 업그레이드가 왜 무중단인가"를 수식과 메커니즘 레벨로 설명할 수 있어야 그 판단이 감이 아니라 근거였다는 게 드러난다. 이 글은 그 근거를 끝까지 파고든 기록이다.

1. Control-Plane은 정확히 어디가 SPOF인가

쿠버네티스 control-plane은 네 가지로 구성된다.

구성요소역할단일 장애 시 영향
kube-apiserver모든 요청의 진입점, 유일하게 etcd와 직접 통신kubectl·컨트롤러·kubelet 전부 멈춤
etcd클러스터 상태를 저장하는 분산 key-value store상태 조회·쓰기 자체가 불가능
kube-scheduler새 파드를 어느 노드에 배치할지 결정기존 파드는 계속 돌지만 신규 스케줄링 중단
kube-controller-managerDeployment·ReplicaSet 등 컨트롤 루프 실행장애 감지 후 자동 복구(재스케줄링)가 멈춤

중요한 건 이미 떠 있는 워크로드는 control-plane이 죽어도 당장 멈추지 않는다는 점이다. kubelet은 마지막으로 받은 파드 스펙을 로컬에 캐싱해두고 컨테이너 런타임에 직접 지시하기 때문에, API 서버가 잠깐 응답하지 않아도 이미 실행 중인 컨테이너는 계속 돈다. 진짜 문제는 그 상태에서 노드 장애나 파드 크래시가 발생했을 때 벌어진다 - scheduler와 controller-manager가 죽어 있으면 죽은 파드를 다른 곳에 재스케줄링할 주체가 없다. 즉 단일 control-plane의 위험은 "지금 당장 서비스가 멈춘다"가 아니라 **"이 창(window) 동안 발생하는 추가 장애에 대한 자동 복구 능력이 없다"**는 것이다.

2. etcd가 왜 하필 홀수 개(3, 5)인가 - Raft 쿼럼 수식

etcd는 Raft 합의 알고리즘으로 여러 노드 간 상태를 복제한다. 쓰기(write)가 커밋되려면 과반수(majority) 노드가 그 값을 복제했다고 응답해야 한다.

과반수 = ⌊n/2⌋ + 1
  • n=1: 과반수 1 → 장애 허용 노드 수 0 (그 노드가 죽으면 전체 중단)
  • n=3: 과반수 2 → 1개 노드 장애까지 허용 (나머지 2개가 과반수 유지)
  • n=5: 과반수 3 → 2개 노드 장애까지 허용

왜 2노드나 4노드는 잘 안 쓰나 - 짝수를 추가해도 장애 허용 노드 수는 늘지 않는다. n=2든 n=3이든 과반수는 각각 2, 2로 같다(⌊2/2⌋+1=2, ⌊3/2⌋+1=2) - 즉 n=2는 노드를 하나 더 쓰면서도 n=1과 똑같이 장애를 0개밖에 못 버틴다(과반수 2에 도달하려면 둘 다 살아있어야 함). n=4도 n=3과 허용 장애 수가 똑같이 1개다. 결국 짝수는 "쓸 노드만 늘고 허용치는 그대로"인 낭비 구성이라, 홀수(3, 5)를 쓴다.

3노드 control-plane HA가 "표준"으로 자리 잡은 이유가 여기 있다 - 노드 1개 장애까지 허용하면서 가장 적은 노드 수(3)로 그 조건을 만족하는 지점이기 때문이다. 5노드는 2개 장애까지 버티지만, etcd 쓰기 지연(모든 요청이 과반수 응답을 기다림)이 늘어나는 트레이드오프가 있어 아주 큰 클러스터가 아니면 잘 안 쓴다.

3. kube-vip은 정확히 무엇을 감지해서 넘기는가

3노드 control-plane을 만들어도, kubectl이나 kubelet이 바라보는 API 서버 주소가 고정 IP 하나가 아니면 의미가 없다 - 세 대의 API 서버 IP를 각 클라이언트가 알아서 failover 하도록 만들 순 없기 때문이다. kube-vip은 이 세 노드 앞에 가상 IP(VIP) 하나를 붙여, 그 VIP가 항상 살아있는 노드를 가리키도록 만드는 역할을 한다.

동작 방식은 두 모드로 나뉜다.

  • ARP 모드: 같은 L2 네트워크 안에서, 리더로 선출된 노드가 자신의 MAC 주소로 VIP에 대한 ARP 응답을 브로드캐스트한다. 리더가 죽으면 남은 노드들이 새 리더를 뽑고(kube-vip는 Kubernetes의 Lease 오브젝트를 이용한 리더 election을 그대로 사용), 새 리더가 즉시 자신의 MAC으로 다시 ARP를 브로드캐스트해 VIP를 가져온다. 스위치·라우터의 ARP 캐시가 갱신되는 시간(보통 수 초 이내)이 실질적인 페일오버 지연이다.
  • BGP 모드: L3 라우터에게 "이 VIP는 나에게 보내라"고 라우팅 광고를 하는 방식. L2 브로드캐스트가 안 되는(서로 다른 서브넷에 분산된) 환경에서 쓴다.

핵심은 kube-vip 자체는 etcd 쿼럼과 별개의 메커니즘이라는 점이다. etcd 쿼럼은 "쓰기가 커밋됐다고 인정할 수 있는가"를 결정하고, kube-vip은 "지금 클라이언트가 어느 IP로 요청을 보내야 하는가"를 결정한다. 3노드 HA를 구성한다는 건 이 두 메커니즘을 같이 켠다는 뜻이다.

4. cordon·drain은 정확히 무엇이고, 왜 이 방식을 쓰는가

문제 상황부터 - 왜 그냥 재부팅하거나 파드를 지우면 안 되는가

노드 하나를 유지보수(OS 패치, K8s 업그레이드, 하드웨어 점검)해야 하는데, 그 노드엔 이미 트래픽을 처리하는 파드가 여러 개 떠 있다. 두 가지 "쉬운 방법"을 먼저 생각해볼 수 있는데, 둘 다 문제가 있다.

  • 그냥 노드를 재부팅한다: 위의 파드들이 갑자기 다 죽고, 컨트롤러가 다른 노드에 대체 파드를 새로 띄우기까지 시간차가 생겨 그만큼 트래픽 처리 능력이 순간적으로 준다. 게다가 재부팅 도중에도 스케줄러는 "이 노드가 살아있다"고 계속 인식해서 새 파드를 그 노드에 배치하려 들 수 있다.
  • 파드를 하나씩 수동으로 지운다: 지운 파드는 다른 노드에 다시 뜨겠지만, 같은 노드에 남은 다른 파드는 여전히 트래픽을 받고 있어서 "이 노드를 통째로 비워야" 가능한 유지보수(예: 커널 패치 후 재부팅)를 진행할 수 없다. 노드 단위의 일괄 처리가 안 된다.

cordon과 drain은 정확히 이 두 문제(① 스케줄러가 계속 새 파드를 밀어넣으려 함, ② 노드의 파드 전체를 안전하게 한 번에 비우는 절차가 없음)를 각각 해결한다.

여기서 먼저 짚어야 할 건, 이게 애초에 "이미지 교체" 문제가 아니라는 점이다. 앱 컨테이너 이미지만 새 버전으로 바꾸는 거라면 cordon/drain 자체가 필요 없다 - Deployment의 롤링 업데이트가 파드 단위로 알아서 처리한다(새 이미지로 새 파드를 띄우고, 준비되면 구 파드를 하나씩 종료). 이 경우 노드는 처음부터 끝까지 살아있고 건드릴 일이 없다. cordon/drain이 필요해지는 건 노드 자체를 통째로 내렸다 올려야 할 때다 - OS 커널 패치, 노드 재부팅, kubelet·containerd 같은 노드 구성요소 업그레이드, 하드웨어 점검처럼 "파드가 아니라 노드"가 작업 대상인 경우. 이때는 컨트롤러가 대신 처리해줄 수 없으니, 그 노드 위의 파드 전체를 다른 노드로 먼저 대피시키는 절차를 사람이(또는 자동화 스크립트가) 명시적으로 밟아야 한다.

cordon: "이 노드에 더 이상 새로 배치하지 마라"

kubectl cordon <node>가 실제로 하는 일은 그 노드 오브젝트의 spec.unschedulable을 true로 바꾸는 것뿐이다. 이렇게 하면 스케줄러는 새 파드를 배치할 후보 목록에서 이 노드를 뺀다 - 이미 떠 있는 파드는 전혀 건드리지 않는다. 말 그대로 "신규 입주 금지" 표지판을 세우는 것에 가깝다.

왜 이게 먼저 필요한가: cordon 없이 곧바로 drain부터 시작하면, 파드가 빠져나가는 동안에도 스케줄러가 "이 노드에 자리가 났다"고 보고 새 파드를 계속 그 자리에 밀어넣을 수 있다 - 그러면 아무리 비워도 안 비워지는 상황이 생긴다. "여기 그만 채워라"를 먼저 선언해야 그다음 "있는 걸 빼는" 작업이 의미가 있다.

drain: "이미 있는 파드를 안전하게 다 내보내라"

kubectl drain <node>는 cordon을 자동으로 포함하면서, 추가로 이런 일을 한다.

  1. 그 노드의 파드들(DaemonSet 파드는 예외)에 정상 종료(terminationGracePeriodSeconds 대기 + preStop 훅)를 요청한다.
  2. 그 파드들이 Deployment·ReplicaSet 같은 컨트롤러가 관리하는 파드라면, 파드가 사라진 순간 컨트롤러가 "원하는 개수"를 맞추려고 다른 노드에 대체 파드를 자동으로 새로 띄운다.
  3. PodDisruptionBudget(PDB)이 설정돼 있으면 그 예산을 넘는 동시 종료는 막는다 - 예를 들어 "최소 2개는 항상 떠 있어야 한다"는 PDB가 있으면, 그 조건을 어길 것 같으면 drain이 대기한다.
  4. 이미지 교체·재기동은 파드가 이미 빠져나간 노드에서 일어나므로 서비스 트래픽에 영향이 없다.
  5. 정상 확인 후 uncordon으로 스케줄링 대상에 복귀시키고, 다음 노드로 넘어간다.

왜 파드를 직접 지우는 것과 다른가: kubectl delete pod로 하나씩 지우는 것과의 핵심 차이는, drain은 "이 노드를 통째로, PDB 같은 제약까지 지키면서, 안전하게 비운다"는 노드 단위의 일괄 작업이라는 점이다. 파드를 개별로 지우면 이 순서·제약을 사람이 매번 챙겨야 하고, 실수로 같은 서비스의 파드를 한 번에 너무 많이 지워서 가용 대수가 0이 되는 사고가 날 수 있다. drain은 이 위험을 절차 자체에 내장해서 없애준다.

정리 - 왜 에어갭 5대 클러스터가 이 방식을 표준으로 삼았나

에어갭 5대 클러스터처럼 control-plane HA 없이 단일 노드로 운영하는 경우, 진짜 질문은 "그럼 저 노드를 어떻게 안전하게 재기동하는가"다. 여기서 무중단을 보장하는 건 control-plane이 아니라 워커 노드 쪽 절차다 - cordon → drain → 이미지 교체·재기동 → 정상 확인 → uncordon → 다음 노드로.

이 절차가 무중단인 이유는 결국 **"control-plane이 살아있는 상태에서, 워커 노드 한 대씩만 순차적으로 비운다"**는 데 있다. control-plane(단일 노드)이 이 작업 도중에 함께 죽지 않는 한 문제가 없다 - 반대로 말하면, control-plane 노드 자체를 재기동해야 하는 경우엔 이 절차로 커버되지 않고, 그 순간 control-plane 부재 창이 생긴다. 5대 규모 에어갭 클러스터에서 3노드 HA를 안 쓴 판단은 정확히는 "control-plane 노드가 워커 노드 재기동과 같은 빈도로 재기동될 일이 거의 없고, 그 창이 짧으며, 그 리스크보다 3노드를 추가로 유지·관리하는 비용이 더 크다"는 계산이었다.

drain이 실제로 트래픽을 어떻게 끊어내는가

drain이 파드를 종료시키는 순서는 생각보다 정교하다.

  1. 먼저 그 파드를 Service의 Endpoints(또는 EndpointSlice)에서 제외한다 - kube-proxy가 이 변경을 감지해 iptables/IPVS 규칙을 갱신하기까지 수백 ms~수 초의 전파 지연이 있다.
  2. 그 다음 파드에 SIGTERM을 보내고, preStop 훅이 정의돼 있으면 먼저 실행한다.
  3. terminationGracePeriodSeconds(기본 30초) 동안 파드가 스스로 종료하길 기다리고, 지나도 살아있으면 SIGKILL로 강제 종료한다.

여기서 실무적으로 자주 놓치는 함정: 1번(엔드포인트에서 빠지는 것)과 2번(SIGTERM을 받는 것)이 동시에 일어나지 않는다는 점이다. 파드가 SIGTERM을 받자마자 즉시 죽어버리면, 아직 엔드포인트 갱신이 전파되기 전에 이미 그 파드로 연결을 맺은 요청이 실패할 수 있다. 그래서 실무에서는 preStop 훅에 sleep 5~10초 정도의 지연을 넣어, "이 파드가 빠졌다"는 소식이 클러스터 전체에 전파될 시간을 벌어준 뒤에 실제 종료 절차를 시작하는 패턴을 쓴다 - 이게 없으면 drain을 교과서대로 해도 전환 순간에 순간적인 5xx가 튈 수 있다.

control-plane 부재 창 동안 정확히 무엇이 멈추는가

control-plane 노드 자체가 재기동돼야 하는 상황(OS 커널 패치, 인증서 갱신 등)이 오면, 그 창 동안 정확히 이렇게 갈린다.

  • 계속 동작하는 것: 이미 떠 있는 파드의 서비스 트래픽 - kubelet이 마지막으로 받은 파드 스펙을 로컬에 들고 컨테이너 런타임에 직접 지시하기 때문이다.
  • 멈추는 것: kubectl 전체(API 서버 무응답), 신규 스케줄링, HPA의 스케일 판단, 그리고 무엇보다 컨트롤러의 재스케줄링 - 이 창 동안 파드가 죽으면 API 서버가 돌아올 때까지 대체 파드가 뜨지 않는다.

즉 이 창의 진짜 위험은 "지금 당장 서비스가 멈춘다"가 아니라, "이 창 동안 우연히 다른 장애(파드 크래시, 노드 이상)가 겹치면 자동 복구가 안 되는 이중 장애 시나리오" 다. 에어갭 5대 클러스터가 이 리스크를 감수한 이유는, 이 창 자체가 짧고(재기동은 보통 수 분 이내) 빈도도 낮아서 이중 장애가 겹칠 확률을 실질적으로 무시할 수 있는 수준으로 판단했기 때문이다.

왜 에어갭 환경은 이 재기동 빈도가 특히 낮은가

인터넷이 연결된 환경이라면 OS 보안 패치가 자동으로 들어오고 커널 업데이트로 재기동이 잦아질 수 있다. 하지만 에어갭 환경은 반입 자체가 통제된 절차(오프라인 매체 반입, 사전 검수)를 거쳐야 해서 패치 주기가 원래 훨씬 길고 계획적이다. Kubernetes 버전 업그레이드도 자동으로 트리거되지 않고 명시적으로 계획된 유지보수 창에서만 진행된다. 즉 "control-plane 재기동이 잦지 않다"는 전제 자체가 에어갭이라는 환경 특성에서 나온 것이다 - 인터넷이 연결된 클라우드 환경이었다면 이 비용-이득 계산 자체가 달라졌을 것이다.

HA(3노드)는 이 부재 창을 정확히 어떻게 지우는가

앞서 본 "control-plane 부재 창" 문제 - 단일 control-plane 노드를 재기동하면 그 순간 API 서버·스케줄러·컨트롤러가 전부 멈춘다는 문제 - 를 3노드 HA는 어떻게 없앨까. 원리 자체는 워커 노드의 cordon/drain과 똑같다: "하나가 내려가기 전에, 이미 다른 데 똑같은 역할을 하는 게 살아있어야 한다." 다만 워커 노드는 파드를 컨트롤러가 그때그때 새로 띄워 대체하는 방식이고, control-plane HA는 애초에 3개를 항상 동시에 띄워두고 있다가 하나가 죽으면 나머지가 즉시 이어받는 방식이라는 차이가 있다.

  • etcd: 재기동 대상 노드의 etcd가 내려가도, 남은 2개가 과반수(2/3)를 유지하므로 읽기·쓰기 커밋이 끊기지 않는다(2번 문단의 쿼럼 수식 그대로). 재기동이 끝나 다시 합류하면 그동안 밀린 로그를 따라잡는다.
  • kube-apiserver: 3대가 각자 독립적으로 떠 있고, kube-vip이 붙인 VIP는 항상 그중 살아있는 노드를 가리킨다. 재기동 대상 노드가 내려가는 순간 kube-vip이 새 리더를 뽑아 VIP를 살아있는 다른 노드로 즉시 넘긴다(3번 문단) - kubectl·kubelet은 같은 IP로 요청했을 뿐인데 어느새 다른 물리 노드가 응답한다.
  • kube-scheduler·kube-controller-manager: 3노드 각각에 다 떠 있지만 그중 하나만 Lease 오브젝트 기반으로 "리더"로 동작한다. 리더가 있던 노드가 내려가면 나머지 두 인스턴스 중 하나가 곧바로 리더를 넘겨받아 스케줄링·재스케줄링을 이어간다.

그래서 "control-plane 부재 창"이라는 개념 자체가 HA에서는 원칙적으로 성립하지 않는다 - 항상 최소 하나는 살아있도록 여분을 미리 띄워둔 것이 HA의 본질이고, 단일 control-plane은 그 여분이 없어서 재기동하는 순간 정말로 대신할 게 아무것도 없는 것이다. 정리하면: 단일 control-plane + cordon/drain은 "워커 노드"에서만 무중단을 보장하고, HA(3노드)는 같은 원리(여분을 미리 살려두고 하나씩 순환)를 control-plane 계층까지 넓혀 적용한 것이다.

5. 언제 HA가 정당한가 - 비용-이득 판단 매트릭스

판단 축HA(3노드) 쪽으로 기우는 조건단일 control-plane + 순차 업그레이드 쪽으로 기우는 조건
클러스터 규모서비스·네임스페이스 수가 많아 API 요청 자체가 잦음소수 서비스, API 요청 빈도 낮음
관측·알림 요구control-plane 다운타임 자체가 SLA 위반으로 이어짐내부용/저빈도 배치성 워크로드, 몇 분 창은 허용 가능
운영 인력·복잡도 여력3노드 etcd 백업·쿼럼 모니터링을 감당할 여력 있음노드 대수 자체를 늘리는 게 운영 부담(에어갭 반입·물리 설치 비용)
control-plane 재기동 빈도잦은 K8s 버전 업그레이드·인증서 갱신 등으로 재기동이 잦음재기동이 드묾(에어갭이라 업그레이드 주기도 김)

이 매트릭스에서 중요한 건 "규모가 크다 → 무조건 HA"가 아니라, 축마다 따로 판단해서 겹치는 조건이 몇 개인가로 결정한다는 점이다. 실제로 서비스 수·관측 요구가 큰 클러스터엔 kube-vip 3노드 HA를, 에어갭 5대 클러스터엔 cordon/drain 순차 업그레이드를 각각 적용한 것도 이 매트릭스를 축별로 따로 짚은 결과였다.

체크리스트

  • control-plane 4개 구성요소 중 정확히 무엇이 멈추고 무엇이 계속 도는지 설명할 수 있는가
  • etcd 쿼럼 공식(⌊n/2⌋+1)으로 왜 짝수 노드가 낭비인지 설명할 수 있는가
  • kube-vip의 ARP/BGP 모드 차이와, 그게 etcd 쿼럼과 별개 메커니즘이라는 것을 설명할 수 있는가
  • cordon→drain 절차가 무중단을 보장하는 정확한 이유(그리고 보장하지 못하는 경우)를 설명할 수 있는가
  • drain 시 엔드포인트 제외와 SIGTERM 사이에 시차가 있고, preStop sleep 패턴이 왜 필요한지 설명할 수 있는가
  • control-plane 부재 창 동안 정확히 무엇이 계속 동작하고 무엇이 멈추는지(그리고 진짜 위험이 무엇인지) 설명할 수 있는가
  • 에어갭 환경이 control-plane 재기동 빈도가 낮은 이유를 설명할 수 있는가
  • HA(3노드)가 etcd 쿼럼·kube-vip 페일오버·리더 election으로 control-plane 부재 창 자체를 없앤다는 것을 설명할 수 있는가
  • "규모가 크면 무조건 HA"가 아니라 축별 판단 매트릭스로 결정 근거를 말할 수 있는가