Control-Plane HA는 언제 정당한가 - etcd 쿼럼, kube-vip 페일오버, cordon/drain의 수학
3노드 control-plane HA가 항상 정답은 아니다. etcd Raft 쿼럼 수식부터 kube-vip의 VIP 페일오버 메커니즘, cordon→drain 순차 업그레이드가 무중단을 보장하는 정확한 이유, 그리고 클러스터 규모·요구사항에 따라 HA 투자를 판단하는 비용-이득 프레임워크까지 정리한다.
왜 이 주제를 파고들었나
"클러스터 규모에 따라 control-plane HA를 다르게 판단했다"는 경험을 동료에게 설명할 일이 종종 있는데, 정작 "왜 3노드인가", "kube-vip는 정확히 어떻게 장애를 감지하는가", "HA 없이 순차 업그레이드가 왜 무중단인가"를 수식과 메커니즘 레벨로 설명할 수 있어야 그 판단이 감이 아니라 근거였다는 게 드러난다. 이 글은 그 근거를 끝까지 파고든 기록이다.
1. Control-Plane은 정확히 어디가 SPOF인가
쿠버네티스 control-plane은 네 가지로 구성된다.
| 구성요소 | 역할 | 단일 장애 시 영향 |
|---|---|---|
| kube-apiserver | 모든 요청의 진입점, 유일하게 etcd와 직접 통신 | kubectl·컨트롤러·kubelet 전부 멈춤 |
| etcd | 클러스터 상태를 저장하는 분산 key-value store | 상태 조회·쓰기 자체가 불가능 |
| kube-scheduler | 새 파드를 어느 노드에 배치할지 결정 | 기존 파드는 계속 돌지만 신규 스케줄링 중단 |
| kube-controller-manager | Deployment·ReplicaSet 등 컨트롤 루프 실행 | 장애 감지 후 자동 복구(재스케줄링)가 멈춤 |
중요한 건 이미 떠 있는 워크로드는 control-plane이 죽어도 당장 멈추지 않는다는 점이다. kubelet은 마지막으로 받은 파드 스펙을 로컬에 캐싱해두고 컨테이너 런타임에 직접 지시하기 때문에, API 서버가 잠깐 응답하지 않아도 이미 실행 중인 컨테이너는 계속 돈다. 진짜 문제는 그 상태에서 노드 장애나 파드 크래시가 발생했을 때 벌어진다 - scheduler와 controller-manager가 죽어 있으면 죽은 파드를 다른 곳에 재스케줄링할 주체가 없다. 즉 단일 control-plane의 위험은 "지금 당장 서비스가 멈춘다"가 아니라 **"이 창(window) 동안 발생하는 추가 장애에 대한 자동 복구 능력이 없다"**는 것이다.
2. etcd가 왜 하필 홀수 개(3, 5)인가 - Raft 쿼럼 수식
etcd는 Raft 합의 알고리즘으로 여러 노드 간 상태를 복제한다. 쓰기(write)가 커밋되려면 과반수(majority) 노드가 그 값을 복제했다고 응답해야 한다.
과반수 = ⌊n/2⌋ + 1
- n=1: 과반수 1 → 장애 허용 노드 수 0 (그 노드가 죽으면 전체 중단)
- n=3: 과반수 2 → 1개 노드 장애까지 허용 (나머지 2개가 과반수 유지)
- n=5: 과반수 3 → 2개 노드 장애까지 허용
왜 2노드나 4노드는 잘 안 쓰나 - 짝수를 추가해도 장애 허용 노드 수는 늘지 않는다. n=2든 n=3이든 과반수는 각각 2, 2로 같다(⌊2/2⌋+1=2, ⌊3/2⌋+1=2) - 즉 n=2는 노드를 하나 더 쓰면서도 n=1과 똑같이 장애를 0개밖에 못 버틴다(과반수 2에 도달하려면 둘 다 살아있어야 함). n=4도 n=3과 허용 장애 수가 똑같이 1개다. 결국 짝수는 "쓸 노드만 늘고 허용치는 그대로"인 낭비 구성이라, 홀수(3, 5)를 쓴다.
3노드 control-plane HA가 "표준"으로 자리 잡은 이유가 여기 있다 - 노드 1개 장애까지 허용하면서 가장 적은 노드 수(3)로 그 조건을 만족하는 지점이기 때문이다. 5노드는 2개 장애까지 버티지만, etcd 쓰기 지연(모든 요청이 과반수 응답을 기다림)이 늘어나는 트레이드오프가 있어 아주 큰 클러스터가 아니면 잘 안 쓴다.
3. kube-vip은 정확히 무엇을 감지해서 넘기는가
3노드 control-plane을 만들어도, kubectl이나 kubelet이 바라보는 API 서버 주소가 고정 IP 하나가 아니면 의미가 없다 - 세 대의 API 서버 IP를 각 클라이언트가 알아서 failover 하도록 만들 순 없기 때문이다. kube-vip은 이 세 노드 앞에 가상 IP(VIP) 하나를 붙여, 그 VIP가 항상 살아있는 노드를 가리키도록 만드는 역할을 한다.
동작 방식은 두 모드로 나뉜다.
- ARP 모드: 같은 L2 네트워크 안에서, 리더로 선출된 노드가 자신의 MAC 주소로 VIP에 대한 ARP 응답을 브로드캐스트한다. 리더가 죽으면 남은 노드들이 새 리더를 뽑고(kube-vip는 Kubernetes의 Lease 오브젝트를 이용한 리더 election을 그대로 사용), 새 리더가 즉시 자신의 MAC으로 다시 ARP를 브로드캐스트해 VIP를 가져온다. 스위치·라우터의 ARP 캐시가 갱신되는 시간(보통 수 초 이내)이 실질적인 페일오버 지연이다.
- BGP 모드: L3 라우터에게 "이 VIP는 나에게 보내라"고 라우팅 광고를 하는 방식. L2 브로드캐스트가 안 되는(서로 다른 서브넷에 분산된) 환경에서 쓴다.
핵심은 kube-vip 자체는 etcd 쿼럼과 별개의 메커니즘이라는 점이다. etcd 쿼럼은 "쓰기가 커밋됐다고 인정할 수 있는가"를 결정하고, kube-vip은 "지금 클라이언트가 어느 IP로 요청을 보내야 하는가"를 결정한다. 3노드 HA를 구성한다는 건 이 두 메커니즘을 같이 켠다는 뜻이다.
4. cordon·drain은 정확히 무엇이고, 왜 이 방식을 쓰는가
문제 상황부터 - 왜 그냥 재부팅하거나 파드를 지우면 안 되는가
노드 하나를 유지보수(OS 패치, K8s 업그레이드, 하드웨어 점검)해야 하는데, 그 노드엔 이미 트래픽을 처리하는 파드가 여러 개 떠 있다. 두 가지 "쉬운 방법"을 먼저 생각해볼 수 있는데, 둘 다 문제가 있다.
- 그냥 노드를 재부팅한다: 위의 파드들이 갑자기 다 죽고, 컨트롤러가 다른 노드에 대체 파드를 새로 띄우기까지 시간차가 생겨 그만큼 트래픽 처리 능력이 순간적으로 준다. 게다가 재부팅 도중에도 스케줄러는 "이 노드가 살아있다"고 계속 인식해서 새 파드를 그 노드에 배치하려 들 수 있다.
- 파드를 하나씩 수동으로 지운다: 지운 파드는 다른 노드에 다시 뜨겠지만, 같은 노드에 남은 다른 파드는 여전히 트래픽을 받고 있어서 "이 노드를 통째로 비워야" 가능한 유지보수(예: 커널 패치 후 재부팅)를 진행할 수 없다. 노드 단위의 일괄 처리가 안 된다.
cordon과 drain은 정확히 이 두 문제(① 스케줄러가 계속 새 파드를 밀어넣으려 함, ② 노드의 파드 전체를 안전하게 한 번에 비우는 절차가 없음)를 각각 해결한다.
여기서 먼저 짚어야 할 건, 이게 애초에 "이미지 교체" 문제가 아니라는 점이다. 앱 컨테이너 이미지만 새 버전으로 바꾸는 거라면 cordon/drain 자체가 필요 없다 - Deployment의 롤링 업데이트가 파드 단위로 알아서 처리한다(새 이미지로 새 파드를 띄우고, 준비되면 구 파드를 하나씩 종료). 이 경우 노드는 처음부터 끝까지 살아있고 건드릴 일이 없다. cordon/drain이 필요해지는 건 노드 자체를 통째로 내렸다 올려야 할 때다 - OS 커널 패치, 노드 재부팅, kubelet·containerd 같은 노드 구성요소 업그레이드, 하드웨어 점검처럼 "파드가 아니라 노드"가 작업 대상인 경우. 이때는 컨트롤러가 대신 처리해줄 수 없으니, 그 노드 위의 파드 전체를 다른 노드로 먼저 대피시키는 절차를 사람이(또는 자동화 스크립트가) 명시적으로 밟아야 한다.
cordon: "이 노드에 더 이상 새로 배치하지 마라"
kubectl cordon <node>가 실제로 하는 일은 그 노드 오브젝트의 spec.unschedulable을 true로 바꾸는 것뿐이다. 이렇게 하면 스케줄러는 새 파드를 배치할 후보 목록에서 이 노드를 뺀다 - 이미 떠 있는 파드는 전혀 건드리지 않는다. 말 그대로 "신규 입주 금지" 표지판을 세우는 것에 가깝다.
왜 이게 먼저 필요한가: cordon 없이 곧바로 drain부터 시작하면, 파드가 빠져나가는 동안에도 스케줄러가 "이 노드에 자리가 났다"고 보고 새 파드를 계속 그 자리에 밀어넣을 수 있다 - 그러면 아무리 비워도 안 비워지는 상황이 생긴다. "여기 그만 채워라"를 먼저 선언해야 그다음 "있는 걸 빼는" 작업이 의미가 있다.
drain: "이미 있는 파드를 안전하게 다 내보내라"
kubectl drain <node>는 cordon을 자동으로 포함하면서, 추가로 이런 일을 한다.
- 그 노드의 파드들(DaemonSet 파드는 예외)에 정상 종료(
terminationGracePeriodSeconds대기 +preStop훅)를 요청한다. - 그 파드들이 Deployment·ReplicaSet 같은 컨트롤러가 관리하는 파드라면, 파드가 사라진 순간 컨트롤러가 "원하는 개수"를 맞추려고 다른 노드에 대체 파드를 자동으로 새로 띄운다.
- PodDisruptionBudget(PDB)이 설정돼 있으면 그 예산을 넘는 동시 종료는 막는다 - 예를 들어 "최소 2개는 항상 떠 있어야 한다"는 PDB가 있으면, 그 조건을 어길 것 같으면 drain이 대기한다.
- 이미지 교체·재기동은 파드가 이미 빠져나간 노드에서 일어나므로 서비스 트래픽에 영향이 없다.
- 정상 확인 후
uncordon으로 스케줄링 대상에 복귀시키고, 다음 노드로 넘어간다.
왜 파드를 직접 지우는 것과 다른가: kubectl delete pod로 하나씩 지우는 것과의 핵심 차이는, drain은 "이 노드를 통째로, PDB 같은 제약까지 지키면서, 안전하게 비운다"는 노드 단위의 일괄 작업이라는 점이다. 파드를 개별로 지우면 이 순서·제약을 사람이 매번 챙겨야 하고, 실수로 같은 서비스의 파드를 한 번에 너무 많이 지워서 가용 대수가 0이 되는 사고가 날 수 있다. drain은 이 위험을 절차 자체에 내장해서 없애준다.
정리 - 왜 에어갭 5대 클러스터가 이 방식을 표준으로 삼았나
에어갭 5대 클러스터처럼 control-plane HA 없이 단일 노드로 운영하는 경우, 진짜 질문은 "그럼 저 노드를 어떻게 안전하게 재기동하는가"다. 여기서 무중단을 보장하는 건 control-plane이 아니라 워커 노드 쪽 절차다 - cordon → drain → 이미지 교체·재기동 → 정상 확인 → uncordon → 다음 노드로.
이 절차가 무중단인 이유는 결국 **"control-plane이 살아있는 상태에서, 워커 노드 한 대씩만 순차적으로 비운다"**는 데 있다. control-plane(단일 노드)이 이 작업 도중에 함께 죽지 않는 한 문제가 없다 - 반대로 말하면, control-plane 노드 자체를 재기동해야 하는 경우엔 이 절차로 커버되지 않고, 그 순간 control-plane 부재 창이 생긴다. 5대 규모 에어갭 클러스터에서 3노드 HA를 안 쓴 판단은 정확히는 "control-plane 노드가 워커 노드 재기동과 같은 빈도로 재기동될 일이 거의 없고, 그 창이 짧으며, 그 리스크보다 3노드를 추가로 유지·관리하는 비용이 더 크다"는 계산이었다.
drain이 실제로 트래픽을 어떻게 끊어내는가
drain이 파드를 종료시키는 순서는 생각보다 정교하다.
- 먼저 그 파드를 Service의 Endpoints(또는 EndpointSlice)에서 제외한다 - kube-proxy가 이 변경을 감지해 iptables/IPVS 규칙을 갱신하기까지 수백 ms~수 초의 전파 지연이 있다.
- 그 다음 파드에 SIGTERM을 보내고,
preStop훅이 정의돼 있으면 먼저 실행한다. terminationGracePeriodSeconds(기본 30초) 동안 파드가 스스로 종료하길 기다리고, 지나도 살아있으면 SIGKILL로 강제 종료한다.
여기서 실무적으로 자주 놓치는 함정: 1번(엔드포인트에서 빠지는 것)과 2번(SIGTERM을 받는 것)이 동시에 일어나지 않는다는 점이다. 파드가 SIGTERM을 받자마자 즉시 죽어버리면, 아직 엔드포인트 갱신이 전파되기 전에 이미 그 파드로 연결을 맺은 요청이 실패할 수 있다. 그래서 실무에서는 preStop 훅에 sleep 5~10초 정도의 지연을 넣어, "이 파드가 빠졌다"는 소식이 클러스터 전체에 전파될 시간을 벌어준 뒤에 실제 종료 절차를 시작하는 패턴을 쓴다 - 이게 없으면 drain을 교과서대로 해도 전환 순간에 순간적인 5xx가 튈 수 있다.
control-plane 부재 창 동안 정확히 무엇이 멈추는가
control-plane 노드 자체가 재기동돼야 하는 상황(OS 커널 패치, 인증서 갱신 등)이 오면, 그 창 동안 정확히 이렇게 갈린다.
- 계속 동작하는 것: 이미 떠 있는 파드의 서비스 트래픽 - kubelet이 마지막으로 받은 파드 스펙을 로컬에 들고 컨테이너 런타임에 직접 지시하기 때문이다.
- 멈추는 것:
kubectl전체(API 서버 무응답), 신규 스케줄링, HPA의 스케일 판단, 그리고 무엇보다 컨트롤러의 재스케줄링 - 이 창 동안 파드가 죽으면 API 서버가 돌아올 때까지 대체 파드가 뜨지 않는다.
즉 이 창의 진짜 위험은 "지금 당장 서비스가 멈춘다"가 아니라, "이 창 동안 우연히 다른 장애(파드 크래시, 노드 이상)가 겹치면 자동 복구가 안 되는 이중 장애 시나리오" 다. 에어갭 5대 클러스터가 이 리스크를 감수한 이유는, 이 창 자체가 짧고(재기동은 보통 수 분 이내) 빈도도 낮아서 이중 장애가 겹칠 확률을 실질적으로 무시할 수 있는 수준으로 판단했기 때문이다.
왜 에어갭 환경은 이 재기동 빈도가 특히 낮은가
인터넷이 연결된 환경이라면 OS 보안 패치가 자동으로 들어오고 커널 업데이트로 재기동이 잦아질 수 있다. 하지만 에어갭 환경은 반입 자체가 통제된 절차(오프라인 매체 반입, 사전 검수)를 거쳐야 해서 패치 주기가 원래 훨씬 길고 계획적이다. Kubernetes 버전 업그레이드도 자동으로 트리거되지 않고 명시적으로 계획된 유지보수 창에서만 진행된다. 즉 "control-plane 재기동이 잦지 않다"는 전제 자체가 에어갭이라는 환경 특성에서 나온 것이다 - 인터넷이 연결된 클라우드 환경이었다면 이 비용-이득 계산 자체가 달라졌을 것이다.
HA(3노드)는 이 부재 창을 정확히 어떻게 지우는가
앞서 본 "control-plane 부재 창" 문제 - 단일 control-plane 노드를 재기동하면 그 순간 API 서버·스케줄러·컨트롤러가 전부 멈춘다는 문제 - 를 3노드 HA는 어떻게 없앨까. 원리 자체는 워커 노드의 cordon/drain과 똑같다: "하나가 내려가기 전에, 이미 다른 데 똑같은 역할을 하는 게 살아있어야 한다." 다만 워커 노드는 파드를 컨트롤러가 그때그때 새로 띄워 대체하는 방식이고, control-plane HA는 애초에 3개를 항상 동시에 띄워두고 있다가 하나가 죽으면 나머지가 즉시 이어받는 방식이라는 차이가 있다.
- etcd: 재기동 대상 노드의 etcd가 내려가도, 남은 2개가 과반수(2/3)를 유지하므로 읽기·쓰기 커밋이 끊기지 않는다(2번 문단의 쿼럼 수식 그대로). 재기동이 끝나 다시 합류하면 그동안 밀린 로그를 따라잡는다.
- kube-apiserver: 3대가 각자 독립적으로 떠 있고, kube-vip이 붙인 VIP는 항상 그중 살아있는 노드를 가리킨다. 재기동 대상 노드가 내려가는 순간 kube-vip이 새 리더를 뽑아 VIP를 살아있는 다른 노드로 즉시 넘긴다(3번 문단) - kubectl·kubelet은 같은 IP로 요청했을 뿐인데 어느새 다른 물리 노드가 응답한다.
- kube-scheduler·kube-controller-manager: 3노드 각각에 다 떠 있지만 그중 하나만 Lease 오브젝트 기반으로 "리더"로 동작한다. 리더가 있던 노드가 내려가면 나머지 두 인스턴스 중 하나가 곧바로 리더를 넘겨받아 스케줄링·재스케줄링을 이어간다.
그래서 "control-plane 부재 창"이라는 개념 자체가 HA에서는 원칙적으로 성립하지 않는다 - 항상 최소 하나는 살아있도록 여분을 미리 띄워둔 것이 HA의 본질이고, 단일 control-plane은 그 여분이 없어서 재기동하는 순간 정말로 대신할 게 아무것도 없는 것이다. 정리하면: 단일 control-plane + cordon/drain은 "워커 노드"에서만 무중단을 보장하고, HA(3노드)는 같은 원리(여분을 미리 살려두고 하나씩 순환)를 control-plane 계층까지 넓혀 적용한 것이다.
5. 언제 HA가 정당한가 - 비용-이득 판단 매트릭스
| 판단 축 | HA(3노드) 쪽으로 기우는 조건 | 단일 control-plane + 순차 업그레이드 쪽으로 기우는 조건 |
|---|---|---|
| 클러스터 규모 | 서비스·네임스페이스 수가 많아 API 요청 자체가 잦음 | 소수 서비스, API 요청 빈도 낮음 |
| 관측·알림 요구 | control-plane 다운타임 자체가 SLA 위반으로 이어짐 | 내부용/저빈도 배치성 워크로드, 몇 분 창은 허용 가능 |
| 운영 인력·복잡도 여력 | 3노드 etcd 백업·쿼럼 모니터링을 감당할 여력 있음 | 노드 대수 자체를 늘리는 게 운영 부담(에어갭 반입·물리 설치 비용) |
| control-plane 재기동 빈도 | 잦은 K8s 버전 업그레이드·인증서 갱신 등으로 재기동이 잦음 | 재기동이 드묾(에어갭이라 업그레이드 주기도 김) |
이 매트릭스에서 중요한 건 "규모가 크다 → 무조건 HA"가 아니라, 축마다 따로 판단해서 겹치는 조건이 몇 개인가로 결정한다는 점이다. 실제로 서비스 수·관측 요구가 큰 클러스터엔 kube-vip 3노드 HA를, 에어갭 5대 클러스터엔 cordon/drain 순차 업그레이드를 각각 적용한 것도 이 매트릭스를 축별로 따로 짚은 결과였다.
체크리스트
- control-plane 4개 구성요소 중 정확히 무엇이 멈추고 무엇이 계속 도는지 설명할 수 있는가
- etcd 쿼럼 공식(⌊n/2⌋+1)으로 왜 짝수 노드가 낭비인지 설명할 수 있는가
- kube-vip의 ARP/BGP 모드 차이와, 그게 etcd 쿼럼과 별개 메커니즘이라는 것을 설명할 수 있는가
- cordon→drain 절차가 무중단을 보장하는 정확한 이유(그리고 보장하지 못하는 경우)를 설명할 수 있는가
- drain 시 엔드포인트 제외와 SIGTERM 사이에 시차가 있고,
preStopsleep 패턴이 왜 필요한지 설명할 수 있는가 - control-plane 부재 창 동안 정확히 무엇이 계속 동작하고 무엇이 멈추는지(그리고 진짜 위험이 무엇인지) 설명할 수 있는가
- 에어갭 환경이 control-plane 재기동 빈도가 낮은 이유를 설명할 수 있는가
- HA(3노드)가 etcd 쿼럼·kube-vip 페일오버·리더 election으로 control-plane 부재 창 자체를 없앤다는 것을 설명할 수 있는가
- "규모가 크면 무조건 HA"가 아니라 축별 판단 매트릭스로 결정 근거를 말할 수 있는가