SecOpsDevOps 학습 로드맵 · 13/28편

SealedSecret이 못 남기는 것 - OpenBao + External Secrets Operator로 감사 로그 확보하기

Git에 커밋 가능한 SealedSecret과, 회전·감사가 필요한 값을 위한 중앙 시크릿 저장소 OpenBao + External Secrets Operator(ESO). 언제 어느 쪽을 쓸지 기준을 정리하고, 개인 랩 규모에서 실제로 내린 반대 방향 판단까지.

2026-07-2120 min read
#OpenBao#External Secrets Operator#SealedSecret#Kubernetes#시크릿 관리#Dynamic Secrets
DevOps 학습 로드맵시리즈 목차
1채용공고 요구사항 6개 중 자신 있게 답할 수 있는 게 절반도 안 됐다2kubeadm으로 온프레미스 Kubernetes 클러스터를 처음부터 세우는 절차3FastAPI 서비스 골격, RabbitMQ DLQ, Harbor+Trivy, Jenkins→ArgoCD 파이프라인 구축 절차4Argo Rollouts로 카나리 배포와 Prometheus 메트릭 기반 자동 롤백 붙이기5yaml 복붙 관리의 드리프트 문제를 Kustomize overlay로 구조화하기6Terraform과 Ansible로 클러스터를 코드에서 다시 세울 수 있게 만드는 절차7Prometheus·Loki·OpenTelemetry로 세운 관측 스택 - 메트릭·로그·트레이스를 하나로8관측 스택이 진짜로 장애를 잡는가 - 노드 다운·OOMKill·디스크풀 직접 주입해보기9SLI/SLO/에러 버짓을 실제로 계산해서 배포 판단 기준으로 써보기10임계값 없이 - 통계 기반 이상탐지로 Datadog Watchdog 흉내내기11Grafana OnCall로 PagerDuty 없이 온콜·에스컬레이션 구현하기12자체 JWT 구현부터 취약점 실험, Keycloak 마이그레이션까지의 실제 절차13ISMS-P 인프라 영역 심사를 가정하고 내 클러스터의 증적을 만드는 절차14SealedSecret이 못 남기는 것 - OpenBao + External Secrets Operator로 감사 로그 확보하기15번외: 더미 워커를 실제 ONNX 추론으로, GPU 스케줄링까지 교체하는 절차16번외: 인터넷을 완전히 끊고도 클러스터가 돌아가는지 - 폐쇄망(에어갭) 시뮬레이션 절차17번외: 부하테스트로 관측 스택을 실전 검증하기 - k6 + HPA + MSA 파이프라인18번외: DORA 4대 지표를 Four Keys로 자동 집계해보기19실무와 다른 4가지를 채우려고 로드맵을 이렇게 짰다20OpenSearch·Loki·Datadog, 로그 스택은 왜 하나로 안 끝나는가21Control-Plane HA는 언제 정당한가 - etcd 쿼럼, kube-vip 페일오버, cordon/drain의 수학22OpenTelemetry는 무엇을 표준화하는가 - Prometheus·Grafana·Loki·Tempo가 실제로 맞물리는 지점23Helm은 템플릿 도구가 아니라 릴리스 버전 관리자다24카나리 배포와 블루그린 배포, 뭐가 다르고 언제 뭘 써야 하는가25SRE는 정확히 무엇을 하는 직군인가 - '운영을 소프트웨어 문제로 본다'는 말의 실체26온콜은 왜 필요하고, 어떻게 지속 가능하게 운영하는가27IaC는 한 계층이 아니다 - Terraform·Packer·Helm이 각각 다루는 것, 그리고 RKE2 vs kubeadm28SLI·SLO·에러 버짓과 온콜·에스컬레이션 - 숫자로 문제를 정의하고 사람에게 연결하기

목표

시리즈 11(ISMS-P 매핑)에서 남겨둔 숙제 하나 - SealedSecret은 "평문이 Git에 올라가지 않는다"는 것까지는 보장하지만, 누가 언제 그 시크릿을 열람·변경했는지에 대한 감사 로그를 남기지 않는다. 이 갭을 메우는 표준적인 방법(OpenBao + External Secrets Operator)을 실제로 구성해보고, 이 랩 규모에서는 그 방법을 실제로 도입할 가치가 있는지까지 따져본다.

개념: 시크릿마다 "진실 공급원"이 다르다

시리즈 10에서 Keycloak 클라이언트 시크릿을 SealedSecret으로 풀었다 - kubeseal로 암호화해서 Git에 커밋하고, 클러스터 안의 컨트롤러만 복호화할 수 있는 방식이다. 값이 거의 안 바뀌고 Git으로 이력 관리가 되면 충분한 시크릿에는 이 방식이 잘 맞는다.

반면 DB 접속 정보, 외부 API 키, 서비스 간 통신 토큰처럼 회전(rotation)이 필요하거나, 여러 서비스가 같은 값을 공유해야 하거나, 값 자체를 감사(audit)해야 하는 시크릿은 성격이 다르다. SealedSecret은 "이미 암호화된 값을 Git에 안전하게 두는 것"에는 강하지만, 그 값 자체를 중앙에서 관리하고 회전 이력을 추적하는 용도로는 설계되어 있지 않다.

OpenBao(HashiCorp Vault 계열의 오픈소스 시크릿 관리 도구)는 시크릿을 중앙에 저장하고, 누가 언제 어떤 시크릿에 접근했는지 감사 로그를 남기며, 주기적인 자동 회전까지 지원하는 전용 시스템이다. 문제는 서비스가 이 저장소를 직접 호출하게 만들면 코드가 특정 도구에 종속된다는 것 - 그래서 **External Secrets Operator(ESO)**가 중간에서 OpenBao의 값을 읽어 평범한 Kubernetes Secret으로 동기화해준다. 서비스 입장에서는 여전히 일반 Secret을 쓰는 것과 다르지 않다.

[ OpenBao ]  ← 시크릿의 단일 진실 공급원, 회전·감사 이력 관리
     │  ExternalSecret 리소스가 참조
     ▼
[ External Secrets Operator ]
     │  주기적으로 동기화
     ▼
[ 네임스페이스별 Kubernetes Secret ]
     │  일반 Secret처럼 마운트/환경변수로 주입
     ▼
[ 서비스 파드 ]

개념: OpenBao는 "저장소"가 아니라 "발급기"에 가깝다

지금까지의 설명은 OpenBao를 "시크릿을 중앙에 두는 곳"으로만 그렸다. 그런데 이게 SealedSecret과 진짜로 갈라지는 지점은 저장 방식이 아니라 발급 방식이다.

SealedSecret이든 그냥 Kubernetes Secret이든, 결국 담고 있는 값은 정적인(static) 자격증명이다 - 누군가 DB 비밀번호를 한 번 만들어서 넣어두면, 회전시키지 않는 한 그 값은 영원히 유효하다. 유출되면 회전하기 전까지 그 값을 계속 쓸 수 있다는 뜻이다.

OpenBao는 DB, 클라우드 IAM 같은 백엔드에 대해 **동적 시크릿(dynamic secrets)**을 발급할 수 있다. ExternalSecret이 값을 요청하는 시점마다 OpenBao가 그 백엔드에 "지금 이 요청을 위한 자격증명을 새로 만들어달라"고 실제로 요청해서, 매번 다른 값이면서 정해진 TTL이 지나면 자동으로 무효화되는 값을 내려준다. 예를 들어 DB 동적 시크릿을 쓰면 OpenBao가 그 순간에 CREATE ROLE ... VALID UNTIL ... 같은 SQL을 실행해서 임시 계정을 만들고, TTL이 끝나면 그 계정을 DROP한다. 즉 OpenBao는 값을 "보관"하는 게 아니라 요청이 들어올 때마다 값을 "발급"한다.

이게 유출 시 피해 범위를 줄여주는 이유는 단순하다 - 자격증명 자체가 곧 만료되도록 설계돼 있어서, 로그나 환경변수 덤프로 값이 새어나가도 공격자가 그 값을 쓸 수 있는 시간이 TTL로 제한된다. 정적 시크릿이 새면 "다음 회전 때까지" 무한정 유효하지만, 동적 시크릿이 새면 "TTL이 끝날 때까지"만 유효하다.

Lease와 TTL - 갱신하지 않으면 자동으로 사라진다

발급된 동적 시크릿에는 lease가 붙는다. lease는 "이 자격증명을 이 시각까지 유효한 것으로 인정한다"는 계약이고, TTL은 그 유효 기간이다. TTL이 끝나기 전에 renew 요청을 보내면 lease가 연장되고, 아무도 갱신하지 않으면 OpenBao가 만료 시점에 자격증명을 자동으로 폐기(revoke)한다 - DB 동적 시크릿이라면 그 계정 자체가 삭제된다.

여기서 실패 시나리오가 하나 생긴다. 애플리케이션이 시작할 때 동적 DB 자격증명을 한 번 받아서 커넥션 풀에 넣어두고 그 뒤로는 lease 갱신을 신경 쓰지 않는 구조라면, TTL이 지나는 순간 그 계정이 사라지면서 이미 맺어져 있던 커넥션까지 갑자기 인증 실패로 끊긴다. "잘 돌아가던 서비스가 정확히 TTL만큼 지난 시점에 알 수 없는 DB 인증 오류로 죽는" 형태로 나타나서, 로그만 보면 원인을 바로 알아채기 어렵다.

방지 방법은 두 층위다. ESO 쪽에서는 refreshInterval을 lease TTL보다 짧게 잡아서 TTL이 끝나기 전에 새 자격증명을 받아와 K8s Secret을 갱신하게 한다. 애플리케이션이 OpenBao와 직접 통신하는 구조라면 Vault Agent나 SDK의 lease renewal 기능으로 TTL 만료 전에 자동 갱신하도록 붙여야 한다. 둘 다 없이 "한 번 받은 값을 계속 쓰는" 방식으로 동적 시크릿을 다루면, 회전이 필요 없던 정적 시크릿보다 오히려 더 예측하기 어려운 장애를 만드는 셈이다.

실제 구축 절차

1. OpenBao + ESO 설치

helm repo add openbao https://openbao.github.io/openbao-helm
helm install openbao openbao/openbao --namespace security --create-namespace

helm repo add external-secrets https://charts.external-secrets.io
helm install external-secrets external-secrets/external-secrets --namespace security

2. SecretStore / ExternalSecret 연결

apiVersion: external-secrets.io/v1beta1
kind: SecretStore
metadata:
  name: openbao-backend
  namespace: app
spec:
  provider:
    vault:
      server: "http://openbao.security:8200"
      path: "secret"
      version: "v2"
      auth:
        tokenSecretRef:
          name: openbao-token
          key: token
---
apiVersion: external-secrets.io/v1beta1
kind: ExternalSecret
metadata:
  name: api-server-db-secret
  namespace: app
spec:
  secretStoreRef: {name: openbao-backend, kind: SecretStore}
  target: {name: api-server-db-secret}
  refreshInterval: 1h
  data:
    - secretKey: DB_PASSWORD
      remoteRef: {key: app/db, property: password}

위 예시는 토큰 기반 인증이지만, 운영 환경에서는 정적 토큰을 또 하나의 시크릿으로 관리해야 하는 문제를 피하려고 쿠버네티스 ServiceAccount 인증 방식을 쓰는 경우가 많다 - ESO가 자신의 ServiceAccount 토큰을 제시하면 OpenBao가 역할(role)에 매핑해서 접근을 허용하는 방식이다. 정적 크리덴셜을 하나 더 만드는 대신, 이미 있는 쿠버네티스 신원 체계를 그대로 재사용하는 셈이다.

refreshInterval도 시크릿 성격에 따라 다르게 잡을 수 있다 - 자주 참조되고 회전 가능성이 있는 값은 짧은 주기(분 단위), 거의 안 바뀌는 값은 긴 주기(시간 단위)로 두면 된다. 전부 짧게 잡으면 OpenBao에 불필요한 폴링 부하가 쌓이고, 전부 길게 잡으면 회전이 반영되는 데 오래 걸린다.

OpenBao 자체를 어떻게 고가용성으로 두나

모든 시크릿이 한 곳으로 모이는 구조라, OpenBao 하나가 단일 장애점이 되면 "시크릿 중앙화"가 오히려 리스크를 키우는 셈이 된다. Raft 기반 스토리지로 여러 인스턴스(3노드 등)가 복제·리더 선출을 하도록 구성하면, 하나가 죽어도 나머지가 리더를 이어받아 서비스가 끊기지 않는다. 다만 이건 프로덕션 규모에서 감수할 만한 운영 부담이지, 개인 랩에서 굳이 처음부터 갖출 필요는 없다 - 아래 아코디언 참고.

3. 검증

# 1) OpenBao에서 값 변경
bao kv put secret/app/db password=<새 값>

# 2) ESO 다음 동기화 주기 후 K8s Secret이 자동 갱신됐는지 확인
kubectl get secret api-server-db-secret -n app -o jsonpath='{.data.DB_PASSWORD}' | base64 -d

# 3) OpenBao 감사 로그(audit log) 활성화 후, 방금 그 조회가 기록되는지 확인
bao audit enable file file_path=/vault/logs/audit.log

"누가 이 시크릿을 읽었는지"가 감사 로그에 실제로 남는다는 것 - 이게 SealedSecret으로는 만들 수 없었던 증적이다.

SealedSecret에서 이게 원천적으로 불가능한 이유는 구조 자체에 있다. SealedSecret 컨트롤러는 Git에 커밋된 암호문을 복호화해서 클러스터 안에 평범한 Secret으로 풀어놓는 것까지만 하고, 그 이후 누가 그 Secret을 kubectl get으로 읽었는지, 어떤 파드가 마운트해서 값을 읽었는지는 기록하지 않는다. Kubernetes 자체의 audit log를 켜면 "누가 이 Secret 리소스에 API 요청을 보냈는지"는 남지만 "그 안의 실제 값을 누가 봤는지"까지는 알 수 없다 - 애초에 시크릿 값의 열람 이력을 추적하는 건 SealedSecret이라는 도구의 책임 범위 밖이다.

이 차이가 실제로 중요해지는 순간은 "유출이 의심될 때"다. 예를 들어 DB 비밀번호가 로그에 실수로 찍힌 걸 발견했다고 하면, SealedSecret 체계에서는 "그 값을 담은 Secret을 누가, 언제 조회했는지"를 사후에 재구성할 방법이 없다 - 영향 범위를 특정하지 못하니 "일단 관련된 값을 전부 회전하고 연결된 시스템을 모두 재확인"하는 것 외에는 대응할 수 없다. OpenBao 감사 로그가 있으면 "그 시크릿을 조회한 주체와 시각 목록"이 바로 나오기 때문에, 영향 범위를 실제 접근 이력으로 좁혀서 대응할 수 있다. 사고 대응에서 "일단 전부 다시 본다"와 "이 목록만 확인하면 된다"의 차이는 대응 시간과 판단의 신뢰도 양쪽에서 크다.

그런데 이 랩에서는 실제로 반대 방향(SealedSecret 유지)을 택했다

위 구성은 "OpenBao+ESO가 SealedSecret보다 나은 지점"을 보여주기 위한 절차다. 그런데 이 랩의 GitHub 저장소를 public으로 전환할지 검토하는 과정에서 실제로 내린 판단은 정반대였다 - ESO 도입은 보류하고 SealedSecret 체계를 유지하기로 했다.

이유는 단순하다. ESO는 결국 OpenBao 같은 시크릿 저장소를 어딘가에 떠 있는 상태로 계속 운영해야 한다는 뜻이다(이 랩에서라면 클러스터 안의 OpenBao 자체도 별도로 운영·백업해야 하는 컴포넌트다). 개인 학습 랩 규모에서는 회전·감사가 필요한 시크릿 자체가 거의 없는데, 그 이점을 위해 컴포넌트 하나를 통째로 더 짊어지는 건 배보다 배꼽이 큰 선택이라고 판단했다. SealedSecret은 추가 인프라 없이 "암호화해서 Git에 커밋"만으로 끝나서, 이 랩이 실제로 겪고 있던 문제(ArgoCD/Harbor 비밀번호가 작업 기록에 평문으로 남은 것) - 즉 "평문이 저장소에 있으면 안 된다" - 를 해결하는 데는 이걸로 충분했다.

같은 도구를 두고 프로덕션과 학습 랩에서 정반대 결론이 나온 이유는 결국 규모와 시크릿의 성격이다. 서비스가 여러 개로 늘고 회전이 필요한 크리덴셜이 실제로 존재하는 프로덕션에서는 OpenBao+ESO의 운영 비용을 감수할 값어치가 있지만, 서비스 몇 개짜리 개인 랩에서는 그 비용을 감당할 이유가 없었다 - "더 좋은 도구"가 아니라 **"지금 이 규모에 맞는 도구"**가 기준이었다.

이 저울질을 좀 더 구체적으로 해보면 - 이 랩에서 실제로 다루는 시크릿은 Keycloak 클라이언트 시크릿, ArgoCD/Harbor 관리자 비밀번호, 서비스별 DB 접속 정보 정도로 열 개 안팎이다. 이 중 "정해진 주기로 자동 회전이 필요한" 값이나 "여러 서비스가 실시간으로 같은 값을 공유해야 하는" 값은 하나도 없다 - 전부 한 번 정해지면 바뀔 일이 거의 없고, 바뀌더라도 SealedSecret을 다시 만들어 커밋하는 수동 작업으로 충분하다. 반대로 OpenBao를 들이면 얻는 것(감사 로그, 자동 회전)에 비해 새로 짊어져야 하는 책임은 훨씬 크다 - OpenBao 자체의 가용성(죽으면 모든 서비스가 시크릿을 못 받아온다), 백업/복구 대상이 하나 더 생기는 것(OpenBao의 스토리지 백엔드까지 백업 전략에 포함해야 함), unseal 키 관리 같은 새로운 운영 부담까지 딸려온다. 감사 로그 하나를 얻으려고 가용성 책임과 백업 대상을 하나 더 늘리는 건, 회전·감사가 실제로 필요한 값이 거의 없는 이 규모에서는 교환 비율이 맞지 않는다고 판단했다.

SealedSecretOpenBao + ESO
진실 공급원Git (암호화된 형태로)OpenBao
적합한 경우값이 거의 안 바뀌는 서비스별 시크릿, 개인/소규모 랩회전이 필요하거나 여러 서비스가 공유하는 값, 감사가 요구되는 환경
추가 인프라없음 (컨트롤러 하나)OpenBao 자체를 별도로 운영·백업 필요
이력 추적Git 커밋 이력OpenBao 자체 감사 로그

검증 방법

  • OpenBao에서 값을 바꾼 뒤, ExternalSecret의 refreshInterval이 지나면 K8s Secret이 실제로 갱신되는지 확인
  • 감사 로그를 켠 상태에서 시크릿을 조회하고, 그 조회 기록이 감사 로그에 남는지 확인
  • 동적 시크릿을 쓴다면 lease TTL을 짧게(예: 몇 분) 잡아두고 일부러 갱신 없이 기다려서, TTL 만료 시 자격증명이 실제로 폐기되고 애플리케이션이 어떻게 실패하는지 직접 재현 - refreshInterval이 TTL보다 짧게 설정돼 있으면 이 실패가 발생하지 않아야 정상
  • (이 랩처럼 도입하지 않기로 했다면) 왜 안 했는지를 위 표처럼 트레이드오프로 설명할 수 있는지 - "안 했다"가 아니라 "왜 안 했는지"가 증적이자 판단 근거가 된다

체크리스트

  • OpenBao + External Secrets Operator 설치, SecretStore/ExternalSecret 연결 확인
  • 동적 시크릿(예: DB 자격증명) 발급 및 lease TTL 만료 시 자동 폐기 동작 확인
  • ExternalSecret refreshInterval을 lease TTL보다 짧게 설정해 갱신 실패로 인한 장애 방지
  • 감사 로그 활성화 + 시크릿 접근 기록 확인
  • SealedSecret과 OpenBao+ESO 중 무엇을 쓸지, 이 랩/프로젝트 규모에 맞는 기준으로 판단하고 근거 문서화