번외: 인터넷을 완전히 끊고도 클러스터가 돌아가는지 - 폐쇄망(에어갭) 시뮬레이션 절차
에어갭이 뭔지부터, Harbor 미러 캐시로 이미지·apt·pip·Helm을 전부 내부에 적재하고, 노드 egress를 차단한 뒤 미러만으로 조인·배포·설치가 되는지 검증하는 절차. ISMS-P 2.6 망분리 증적과 연결.
목표
지금까지 만든 클러스터는 인터넷에서 이미지·패키지를 자유롭게 내려받는다는 전제로 돌아간다. 이 시리즈는 그 전제를 강제로 없앤다 - 노드가 인터넷에 전혀 나가지 못하는 상태에서도 클러스터 조인, 서비스 배포, 패키지 설치가 되는지를 검증한다. 이 시리즈는 확장(선택)이지만, 통과하면 ISMS-P 2.6(접근통제·망분리) 항목의 실제 증적을 손에 쥐게 된다.
개념: 에어갭(폐쇄망)이란 무엇인가, 왜 필요한가
**에어갭(air-gap)**은 말 그대로 "공기로 끊어져 있다"는 뜻이다 - 네트워크가 물리적/논리적으로 외부 인터넷과 완전히 분리된 환경을 말한다. 보안·국방·금융처럼 데이터 유출 위험을 극단적으로 낮춰야 하는 조직은 서버가 외부와 통신할 수 있는 경로 자체를 없애버린다. 문제는 일반적인 DevOps 도구·관행(apt install, docker pull, helm install - 전부 인터넷에서 뭔가를 받아온다)이 전부 "인터넷이 있다"는 걸 전제로 만들어졌다는 것이다. 에어갭 환경에서 이 도구들을 쓰려면, 인터넷에서 받아올 것들을 미리 내부망 어딘가에 미러링해두고, 모든 도구가 그 내부 미러만 보도록 재설정해야 한다.
egress 차단이란: 노드가 외부로 나가는(egress) 트래픽 자체를 방화벽에서 막는 것이다. 여기서 중요한 구분이 하나 있다 - NetworkPolicy(시리즈 6)는 클러스터 안, 파드 사이의 트래픽을 통제하는 것이고, egress 차단(이 시리즈)은 노드 자체가 클러스터 바깥, 인터넷으로 나가는 걸 막는 것이다. 계층이 다르다 - NetworkPolicy를 아무리 촘촘히 짜도, 노드가 인터넷에 나갈 수 있으면 에어갭이 아니다.
한계: 이 시뮬레이션이 재현하지 못하는 것
먼저 정직하게 선을 그어야 한다. 이 시리즈가 하는 건 egress 차단 + 내부 미러로 폐쇄망을 흉내 내는 것이고, 실제 프로덕션 폐쇄망(금융권 전산실, 국방 시스템 등)은 이것보다 훨씬 무겁다.
- 네트워크 자체가 물리적으로 분리: 이 시뮬레이션은 같은 물리 네트워크에서 방화벽 규칙(iptables DROP)으로 아웃바운드를 막을 뿐이다. 실제 폐쇄망은 인터넷 연결 회선 자체가 존재하지 않거나, 내부망과 외부망을 완전히 별도의 회선·스위치·랙으로 분리해 둔다. 방화벽 규칙은 설정 실수나 임시 예외 하나로 뚫릴 수 있지만, 물리적 분리는 그런 식으로 뚫리지 않는다.
- 반입(망 연계) 절차 통제: 실제 폐쇄망에서 새 패키지나 패치를 들여오려면 "매체 반입 절차"를 거친다 - 외부에서 받은 파일을 담당자가 별도 검수 PC에서 바이러스 검사 → 승인자 결재 → 전용 반입 매체(1회용 USB, 광디스크 등, 봉인·로그 관리)로 물리적으로 옮기는 과정이다. 이 시리즈의 "Harbor에 미러링"은 이 절차 중 "이미 반입이 끝난 것을 내부에 배포"하는 마지막 단계만 재현한다. 반입 자체를 누가, 무엇을, 왜 승인받아 들여오는지의 흐름은 시뮬레이션 범위 밖이다.
- 매체 반입 통제: 실제 폐쇄망은 USB 포트를 물리적으로 봉인하거나 OS 레벨에서 비활성화하고, 반입 매체를 사용 전후 등록·폐기 로그로 관리한다. 이 시리즈는 노드에 SSH로 직접 접속해 패키지를 설치하지만, 실제 폐쇄망이면 그 접속 자체도 전용 배스천이나 망 연계 시스템을 거쳐야 한다.
그래서 이 시리즈의 결과물은 "egress 차단만으로 클러스터가 자립적으로 동작하는가"에 대한 증적이지, "물리적 폐쇄망 운영 요건을 완전히 충족한다"는 증적은 아니다. ISMS-P 심사에서도 이 구분은 명확히 해야 한다 - 2.6 항목의 "네트워크 분리" 증적으로는 유효하지만, 매체 반입 통제 같은 별도 항목까지 커버하진 못한다.
실제 구축 절차
1. Harbor를 프록시 캐시(미러)로 구성 - 이미지 미러링
시리즈 2에서 Harbor를 사설 레지스트리로 썼다면, 이번엔 그 앞단에 프록시 캐시 기능을 추가한다 - 외부 레지스트리(Docker Hub 등)에서 받은 이미지를 Harbor가 한 번 받아서 내부에 캐싱해두고, 이후 요청은 전부 내부 Harbor가 응답하게 만드는 것이다.
# Harbor 관리 콘솔 또는 API로 프록시 캐시 프로젝트 등록
curl -X POST "https://harbor.local/api/v2.0/registries" \
-u admin:<password> \
-d '{
"name": "docker-hub-proxy",
"type": "docker-hub",
"url": "https://hub.docker.com"
}'
curl -X POST "https://harbor.local/api/v2.0/projects" \
-u admin:<password> \
-d '{"project_name": "proxy-cache", "registry_id": 1, "metadata": {"proxy_speed": "0"}}'
이미지 pull 경로도 바꿔야 한다 - 클러스터의 모든 노드가 docker.io/library/postgres 대신 harbor.local/proxy-cache/library/postgres를 보게 containerd 설정을 바꾼다.
# /etc/containerd/config.toml - registry mirror 설정
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]
endpoint = ["https://harbor.local/proxy-cache"]
이미지 pull 경로를 제대로 이해하기: kubectl이 파드를 만들면, 그 요청을 받은 노드의 kubelet이 containerd에게 "이 이미지를 실행해라"고 지시하고, containerd가 실제로 레지스트리에서 이미지를 내려받는다. 위 설정은 이 마지막 단계(containerd → 레지스트리)의 목적지를 외부에서 내부 Harbor로 바꾸는 것이다 - kubectl이나 kubelet은 이 사실을 몰라도 된다.
프록시 캐시와 replication의 차이 - 신규 이미지를 언제, 어떻게 들일 것인가: 위에서 구성한 프록시 캐시는 "누군가 요청할 때 처음 한 번 받아와서 캐싱"하는 지연(lazy) 방식이다. 이것만으로는 두 가지가 남는다 - (1) 캐시에 없는 이미지를 처음 요청하는 순간엔 여전히 외부로 나가야 한다(egress 차단 전에 미리 캐시를 채워둬야 하는 이유), (2) 캐시된 이미지가 언제 갱신되는지 통제할 수 없다. 그래서 실제 운영에서는 Harbor의 replication 정책을 별도로 둬서, 정해진 이미지 목록을 정해진 주기에 능동적으로 동기화한다.
# replication 규칙 - "특정 이름 패턴의 이미지만, 정해진 스케줄로" 동기화
curl -X POST "https://harbor.local/api/v2.0/replication/policies" \
-u admin:<password> \
-d '{
"name": "approved-images-sync",
"src_registry": {"id": 1},
"dest_namespace": "sync-verified",
"filters": [
{"type": "name", "value": "library/postgres || bitnami/**"},
{"type": "tag", "value": "1[0-9].*"}
],
"trigger": {"type": "scheduled", "trigger_settings": {"cron": "0 3 * * *"}},
"override": false
}'
무분별한 전체 미러링을 하지 않는 이유: filter 없이 "외부 레지스트리 전체를 매일 동기화"하는 정책을 짜면, 검증되지 않았거나 취약점이 있는 이미지가 자동으로 폐쇄망 안에 들어온다. 폐쇄망을 두는 이유가 "외부에서 들어오는 걸 통제하는 것"인데, replication 필터 하나를 대충 짜면 그 통제를 스스로 뚫어버리는 셈이다. 그래서 실무에서는 다음 흐름을 둔다.
- 개발/운영 담당자가 "이 이미지가 필요하다"고 신청 (이미지 이름 + 태그 + 사용 목적)
- 보안 담당자가 취약점 스캔(Trivy 등) 결과를 확인하고 승인
- 승인된 이미지만 replication 정책의 filter 목록에 추가
- 이후 그 이미지의 신규 태그는 스케줄에 따라 자동 동기화되지만, 목록에 없는 새 이미지는 자동으로 들어오지 않는다
즉 "이미지 하나를 승인하는 것"과 "그 이미지의 이후 버전을 자동으로 받는 것"을 분리한다 - 매번 사람이 승인하면 운영이 안 되고, 전부 자동화하면 통제가 사라지기 때문이다.
2. apt/pip/Helm 미러 적재
컨테이너 이미지만 미러링하면 끝이 아니다 - 노드 자체에 apt install containerd를 하거나, 파이썬 앱이 pip install을 하거나, Helm이 차트 저장소에서 뭔가를 받아오는 경로도 전부 내부로 돌려야 한다.
# apt 미러 (예: aptly로 내부 미러 서버 구성)
aptly mirror create ubuntu-mirror https://archive.ubuntu.com/ubuntu jammy main restricted universe
aptly mirror update ubuntu-mirror
aptly publish mirror ubuntu-mirror
# 각 노드의 /etc/apt/sources.list를 내부 미러로 변경
echo "deb http://mirror.internal/ubuntu-mirror jammy main restricted universe" | sudo tee /etc/apt/sources.list
# pip 미러 (사내 PyPI 미러 - devpi 또는 단순 파일 서버 + pip download로 사전 수집)
pip download -r requirements.txt -d ./offline-packages
pip install --no-index --find-links=./offline-packages -r requirements.txt
# Helm 차트 미러 - 차트를 내부 저장소(예: ChartMuseum, 또는 Harbor의 Helm 지원)에 재배포
helm pull bitnami/rabbitmq --version 14.0.0
helm push rabbitmq-14.0.0.tgz oci://harbor.local/helm-mirror
apt/pip/Helm 미러의 공통 원리: 셋 다 "패키지 이름을 URL로 바꿔서 내려받는" 방식이라는 점은 같다. 미러링이란 그 URL이 가리키는 목적지를 외부 저장소에서 내부 저장소로 바꿔치기하는 작업이다 - 클라이언트(apt, pip, helm) 입장에서는 "어디서" 받는지만 바뀔 뿐, 사용 방법 자체는 그대로다.
3. 내부 NTP 서버 구성 - 시간 동기화가 먼저다
egress를 차단하기 전에 반드시 해결해야 하는 게 하나 더 있다 - 시간 동기화다. 대부분의 서버는 기본적으로 pool.ntp.org 같은 외부 NTP 서버를 보고 시간을 맞춘다. egress를 차단하면 이 경로도 끊기고, 시간은 그 시점부터 서서히 어긋나기(clock drift) 시작한다.
이게 왜 문제가 되는지는 며칠 뒤에야 드러난다.
- 인증서 만료 검증 오류: kubeadm이 발급하는 클러스터 인증서(kube-apiserver, etcd 등)는
NotBefore/NotAfter시각을 기준으로 유효성을 검증한다. 노드 시계가 실제 시각보다 뒤처지면 아직 유효한 인증서를 "아직 시작 안 됨"으로 잘못 판단해 컴포넌트가 기동을 거부하는 경우가 생긴다. - 로그 타임스탬프 신뢰성: 장애 조사나 ISMS-P 심사에서 "몇 시에 무슨 일이 있었는지"를 로그로 증명해야 하는데, 노드마다 시계가 다르게 틀어져 있으면 로그를 시간순으로 이어붙일 수 없다 - 증적 자체의 신뢰성이 무너진다.
- 클러스터 컴포넌트 간 시계 오차: etcd는 분산 합의(raft)를 위해 멤버 간 시계가 크게 벌어지지 않는다는 걸 암묵적으로 전제한다. 오차가 누적되면 리더 선출이나 하트비트 타임아웃 판단이 어긋나 클러스터가 불안정해질 수 있다.
해결책은 인터넷 NTP 서버 대신 내부에 NTP 서버를 하나 두고, 모든 노드가 그걸 보게 하는 것이다.
# 내부 NTP 서버(예: chrony) - 이 노드 자체를 기준 시각으로 세움
# /etc/chrony/chrony.conf (NTP 서버 역할을 할 노드)
local stratum 10
allow <내부망 IP 대역>
# 나머지 노드 - 외부 pool 대신 내부 NTP 서버만 참조
# /etc/chrony/chrony.conf
server ntp.internal iburst
egress를 막기 전에 이 설정을 먼저 끝내고, 노드들이 내부 NTP 서버에 정상 동기화되는 것(chronyc tracking)을 확인한 다음 방화벽 규칙을 적용하는 순서가 맞다 - 순서를 반대로 하면 시계가 이미 어긋난 상태에서 되돌릴 방법이 없어진다.
4. 노드 egress 방화벽 차단
미러와 시간 동기화가 준비됐으면, 이제 진짜로 인터넷 경로를 끊는다.
# 각 노드에서 - 미러 서버(내부 IP)만 허용하고 나머지 아웃바운드는 차단
sudo iptables -A OUTPUT -d <내부 미러 서버 IP 대역> -j ACCEPT
sudo iptables -A OUTPUT -d <클러스터 내부 IP 대역> -j ACCEPT
sudo iptables -A OUTPUT -o lo -j ACCEPT
sudo iptables -A OUTPUT -j DROP # 그 외 모든 아웃바운드 차단
# 확인
curl -m 5 https://google.com # 반드시 타임아웃/실패해야 정상
curl -m 5 https://harbor.local # 내부 미러는 정상 응답해야 함
5. 미러만으로 검증 - 조인 / 배포 / 설치
egress를 차단한 상태에서 시리즈 1~2의 절차를 다시 밟아본다.
# 신규 워커 노드 조인 (containerd가 내부 미러에서 pause 이미지 등을 받아오는지)
sudo kubeadm join <VIP>:6443 --token <토큰> --discovery-token-ca-cert-hash sha256:<해시>
# 새 서비스 배포 (이미지가 harbor.local/proxy-cache 경로에서 pull되는지)
kubectl apply -f api-server-deployment.yaml
kubectl describe pod <pod> | grep Image # 실제로 어느 레지스트리에서 받았는지 확인
# 노드에 패키지 설치 (내부 apt 미러로 받아지는지)
sudo apt-get install -y htop
6. 실패 지점 기록
이 검증 과정에서 여전히 외부망을 필요로 하는 부분이 반드시 나온다 - 예를 들어 Helm 차트의 values.yaml이 하드코딩된 외부 URL을 참조하거나, 어떤 컨테이너 이미지의 엔트리포인트 스크립트가 내부적으로 외부 API를 호출하는 경우다. 이런 지점을 발견할 때마다 표로 남긴다.
| 실패 지점 | 증상 | 원인 | 조치 |
|---|---|---|---|
| RabbitMQ Helm 차트 | 설치 중 timeout | values.yaml이 GitHub raw URL을 fetch | 내부 미러 URL로 오버라이드 |
| ... | ... | ... | ... |
7. (심화) egress 차단 상태에서 Day-0 재구축
시리즈 5의 Terraform/Ansible 재구축 실험을 이번엔 egress가 차단된 상태에서 그대로 실행한다. Ansible이 apt 모듈로 패키지를 설치하는 태스크, Terraform이 프로바이더 플러그인을 받는 과정까지 전부 내부 미러를 보도록 설정이 완결되어 있어야 이 실험이 통과한다 - 하나라도 빠지면 재구축이 그 지점에서 멈춘다.
검증이 놓치기 쉬운 것 - "된다"와 "운영 가능하다"는 다르다
여기까지의 검증은 "egress를 막아도 조인·배포·설치가 된다"까지만 확인한다. 그런데 실제 운영에서는 폐쇄망이라고 해서 모든 외부 통신을 영구히 막아두지 않는다 - 오히려 다음 두 가지를 완전히 막아버리면 운영이 불가능해진다.
- 장애 시 원격 지원: 벤더 장비나 상용 소프트웨어에 장애가 나면 벤더 엔지니어가 원격으로 접속해 진단해야 하는 경우가 있다. 폐쇄망 운영 조직은 이를 위해 "예외 통신 절차"를 둔다 - 평시에는 차단하고, 장애 티켓이 승인되면 특정 IP·포트만 한시적으로 열고, 접속 세션을 전부 녹화·기록한 뒤 작업이 끝나면 다시 차단한다. 이 시리즈의 iptables DROP 규칙은 "영구 차단"만 검증했지, 이런 "예외를 열고 다시 닫는" 절차까지는 검증하지 않았다.
- 모니터링 데이터 반출: 모니터링 스택이 외부 SaaS(중앙 관제 시스템, 알림 채널 등)로 메트릭이나 알람을 보내야 하는 경우, 그 경로도 "화이트리스트에 오른 특정 목적지로만" 열어야 한다. 폐쇄망이라고 모니터링 자체를 못 하게 만들면 장애를 감지할 방법이 없어지므로, 이건 막아야 할 대상이 아니라 통제된 채로 허용해야 할 대상이다.
실무에서는 이런 예외 통신을 iptables 규칙에 "출발지·목적지·포트가 고정된 허용 규칙"으로 명시적으로 추가하고, 그 허용 규칙 자체를 방화벽 정책 문서와 ISMS-P 증적에 같이 남긴다 - "왜 이 예외가 있는지, 누가 승인했는지, 언제까지 유효한지"가 문서화돼 있지 않으면 심사에서 오히려 감점 요인이 된다. 이 시리즈는 이 예외 처리 절차까지는 구현하지 않았지만, 실제 폐쇄망을 운영한다면 다음 단계로 반드시 필요하다.
검증 방법
- egress 차단 후 외부 도메인 접근이 100% 실패하는지 (
curl타임아웃) - 클러스터 조인·서비스 배포·패키지 설치가 전부 내부 미러만으로 성공하는지
- 내부 NTP 서버로 모든 노드의 시계가 오차 없이 동기화되는지 (
chronyc tracking) - Harbor replication 정책이 승인 목록에 있는 이미지만 동기화하고, 목록 밖 이미지는 자동으로 들어오지 않는지
- Day-0 재구축(심화)이 egress 차단 상태에서 사람 개입 없이 끝까지 도는지
- (한계 인지) 원격 지원·모니터링 반출 같은 예외 통신 절차는 이 시뮬레이션이 다루지 않았음을 문서에 명시했는지
ISMS-P 연계
이 시리즈에서 만든 egress 차단 정책 자체가 ISMS-P 2.6(접근통제) 항목의 "망 분리" 증적이 된다. 시리즈 11의 매핑표에 이 결과를 추가한다.
| 2.6 접근통제 | ..., (확장) egress 차단 정책 | ..., 폐쇄망 시뮬레이션 결과(방화벽 규칙 + 차단 테스트 로그) |
체크리스트
- Harbor를 프록시 캐시로 구성해 이미지 미러링
- Harbor replication 정책으로 승인된 이미지 목록만 자동 동기화되도록 구성
- apt/pip/Helm 미러 적재
- 내부 NTP 서버 구성 및 전 노드 시간 동기화 확인
- 노드 egress 방화벽 차단 적용
- 미러만으로 클러스터 조인/서비스 배포/패키지 설치 검증
- 여전히 외부망이 필요한 실패 지점 표로 기록
- (심화) egress 차단 상태에서 Day-0 재구축 성공
- 시뮬레이션과 실제 물리적 폐쇄망(반입 절차, 매체 통제, 예외 통신)의 차이를 문서에 명시