ObservabilityDevOps 학습 로드맵 · 19/28편

OpenSearch·Loki·Datadog, 로그 스택은 왜 하나로 안 끝나는가

실무에서 OpenSearch(EFK 계열)와 Loki를 함께 운영했는데 채용공고엔 Datadog이 있었다. 셋의 인덱싱 구조·배포 모델 차이를 정리하고, 에어갭 환경에서는 애초에 SaaS가 선택지가 될 수 없었던 이유까지 정리한다.

2026-09-137 min read
#OpenSearch#Elasticsearch#Loki#Datadog#EFK#로그#관측성
DevOps 학습 로드맵시리즈 목차
1채용공고 요구사항 6개 중 자신 있게 답할 수 있는 게 절반도 안 됐다2kubeadm으로 온프레미스 Kubernetes 클러스터를 처음부터 세우는 절차3FastAPI 서비스 골격, RabbitMQ DLQ, Harbor+Trivy, Jenkins→ArgoCD 파이프라인 구축 절차4Argo Rollouts로 카나리 배포와 Prometheus 메트릭 기반 자동 롤백 붙이기5yaml 복붙 관리의 드리프트 문제를 Kustomize overlay로 구조화하기6Terraform과 Ansible로 클러스터를 코드에서 다시 세울 수 있게 만드는 절차7Prometheus·Loki·OpenTelemetry로 세운 관측 스택 - 메트릭·로그·트레이스를 하나로8관측 스택이 진짜로 장애를 잡는가 - 노드 다운·OOMKill·디스크풀 직접 주입해보기9SLI/SLO/에러 버짓을 실제로 계산해서 배포 판단 기준으로 써보기10임계값 없이 - 통계 기반 이상탐지로 Datadog Watchdog 흉내내기11Grafana OnCall로 PagerDuty 없이 온콜·에스컬레이션 구현하기12자체 JWT 구현부터 취약점 실험, Keycloak 마이그레이션까지의 실제 절차13ISMS-P 인프라 영역 심사를 가정하고 내 클러스터의 증적을 만드는 절차14SealedSecret이 못 남기는 것 - OpenBao + External Secrets Operator로 감사 로그 확보하기15번외: 더미 워커를 실제 ONNX 추론으로, GPU 스케줄링까지 교체하는 절차16번외: 인터넷을 완전히 끊고도 클러스터가 돌아가는지 - 폐쇄망(에어갭) 시뮬레이션 절차17번외: 부하테스트로 관측 스택을 실전 검증하기 - k6 + HPA + MSA 파이프라인18번외: DORA 4대 지표를 Four Keys로 자동 집계해보기19실무와 다른 4가지를 채우려고 로드맵을 이렇게 짰다20OpenSearch·Loki·Datadog, 로그 스택은 왜 하나로 안 끝나는가21Control-Plane HA는 언제 정당한가 - etcd 쿼럼, kube-vip 페일오버, cordon/drain의 수학22OpenTelemetry는 무엇을 표준화하는가 - Prometheus·Grafana·Loki·Tempo가 실제로 맞물리는 지점23Helm은 템플릿 도구가 아니라 릴리스 버전 관리자다24카나리 배포와 블루그린 배포, 뭐가 다르고 언제 뭘 써야 하는가25SRE는 정확히 무엇을 하는 직군인가 - '운영을 소프트웨어 문제로 본다'는 말의 실체26온콜은 왜 필요하고, 어떻게 지속 가능하게 운영하는가27IaC는 한 계층이 아니다 - Terraform·Packer·Helm이 각각 다루는 것, 그리고 RKE2 vs kubeadm28SLI·SLO·에러 버짓과 온콜·에스컬레이션 - 숫자로 문제를 정의하고 사람에게 연결하기

왜 셋을 같이 놓고 보게 됐나

실무(NIPA 프로젝트)에서는 MSA 전환 이후 관측 환경을 새로 구축하면서 Elasticsearch 기반 OpenSearch와 Loki를 함께 운영했다. 개인 학습 프로젝트(시리즈 6)에서는 Loki 쪽을 더 깊게 파봤다. 그런데 어느 채용공고를 보니 로그·모니터링 도구로 Datadog을 요구하고 있었다 - 셋 다 "로그를 본다"는 같은 문제를 풀지만, 실제로는 서로 다른 층위의 도구다. 이 글은 그 차이를 정리한 기록이다.

OpenSearch는 무엇의 후신인가

ELK는 Elasticsearch(저장·검색) + Logstash(수집·가공) + Kibana(시각화) 세 개를 묶어 부르는 이름이다. 쿠버네티스 환경에서는 무거운 Logstash 대신 가벼운 Fluentd/Fluent Bit를 쓰는 게 표준이 되면서 EFK라는 이름이 더 흔해졌다.

OpenSearch는 이 Elasticsearch를 AWS가 포크한 오픈소스 프로젝트다. 2021년 Elastic이 라이선스를 SSPL로 바꾸며 완전한 오픈소스가 아니게 되자, AWS가 마지막 Apache 2.0 버전을 기반으로 갈라져 나온 게 OpenSearch다. API가 대부분 호환되고, Kibana 자리에는 OpenSearch Dashboards가 들어간다. 실무에서 "OpenSearch는 Elasticsearch 기반이라 EFK 스택의 E 역할과 같은 자리를 맡는다"고 설명한 게 바로 이 계보 때문이다.

핵심은 로그 본문 전체를 역인덱스(inverted index)로 색인한다는 점이다. 어떤 필드든 자유롭게 전문 검색·집계할 수 있는 대신, 인덱스 자체가 로그량에 비례해 커진다.

Loki는 왜 다르게 저장하는가

Loki는 정반대 선택을 한다. 로그 본문은 색인하지 않고 namespace/pod/app 같은 라벨만 인덱싱한다. 실제 검색은 라벨로 좁힌 스트림 안에서 grep하듯 순차적으로 훑는 방식이다. 인덱스가 훨씬 작아지는 대신, 라벨 종류를 신중하게 골라야 한다 - 요청 ID처럼 값이 무한히 다양한 걸 라벨로 쓰면 스트림 수가 폭발한다(자세한 구조와 실제 겪은 버그 두 건은 시리즈 6 참고).

즉 OpenSearch와 Loki의 차이는 "어느 회사 제품이냐"가 아니라 **"무엇을 색인 비용으로 지불하느냐"**의 차이다 - 강력한 전문 검색이 필요하면 OpenSearch, 저비용·라벨 기반 필터링으로 충분하면 Loki.

Datadog은 아예 다른 층위다

OpenSearch와 Loki는 둘 다 자체 호스팅하는 로그 저장소다. Datadog은 로그뿐 아니라 메트릭·트레이스·APM·보안·합성 모니터링까지 묶은 완전 관리형 SaaS다. 에이전트만 설치하면 나머지는 Datadog 클라우드가 전부 처리한다.

OpenSearch (EFK 계열)LokiDatadog
배포자체 호스팅자체 호스팅SaaS (외부)
인덱싱로그 본문 전체 색인라벨만 색인자체 관리형 인덱싱
강점강력한 전문 검색·집계저비용, K8s 라벨과 궁합메트릭·로그·트레이스 통합 UI, 운영 부담 0
트레이드오프인덱스 크기·클러스터 운영 부담라벨 카디널리티 설계 필요비용, 데이터가 외부로 나감
에어갭 적합성가능가능불가능

실무에서 SaaS 자체가 선택지가 아니었던 이유

여기서 실무 판단과 바로 연결되는 지점이 하나 있다. 실무 프로젝트들은 전부 망분리·에어갭 환경이었다 - 인터넷과 외부 통신 자체가 차단된 네트워크다. Datadog 같은 SaaS는 로그·메트릭 데이터가 에이전트를 거쳐 외부(Datadog 클라우드)로 나가야 동작하는 구조라, 이런 환경에서는 "안 써봐서 모른다"가 아니라 애초에 선택지 자체가 될 수 없었다. OpenSearch와 Loki가 둘 다 실무·개인 프로젝트에서 검토 대상이 될 수 있었던 것도 결국 같은 이유 - 둘 다 내 네트워크 안에서 완결되는 자체 호스팅 도구이기 때문이다.

정리하면: **어디에 저장하고 검색할 것인가(OpenSearch vs Loki)**는 인덱싱 비용과 검색 요구 수준의 트레이드오프 문제고, **누가 운영할 것인가(자체 호스팅 vs Datadog SaaS)**는 그보다 먼저 "데이터가 내 네트워크를 벗어나도 되는가"로 갈리는 문제다. 후자를 먼저 따지면 전자의 선택지가 자연히 좁혀진다.

체크리스트

  • OpenSearch가 Elasticsearch의 어느 계보에서 갈라져 나왔는지 설명할 수 있는가
  • Loki가 로그 본문 대신 라벨을 인덱싱한다는 것과 그 트레이드오프를 설명할 수 있는가
  • Datadog이 "로그 저장소"가 아니라 "통합 관측 SaaS"라는 층위 차이를 구분할 수 있는가
  • 에어갭·망분리 환경에서 SaaS형 도구가 왜 원천적으로 선택지가 될 수 없는지 설명할 수 있는가