OpenSearch·Loki·Datadog, 로그 스택은 왜 하나로 안 끝나는가
실무에서 OpenSearch(EFK 계열)와 Loki를 함께 운영했는데 채용공고엔 Datadog이 있었다. 셋의 인덱싱 구조·배포 모델 차이를 정리하고, 에어갭 환경에서는 애초에 SaaS가 선택지가 될 수 없었던 이유까지 정리한다.
왜 셋을 같이 놓고 보게 됐나
실무(NIPA 프로젝트)에서는 MSA 전환 이후 관측 환경을 새로 구축하면서 Elasticsearch 기반 OpenSearch와 Loki를 함께 운영했다. 개인 학습 프로젝트(시리즈 6)에서는 Loki 쪽을 더 깊게 파봤다. 그런데 어느 채용공고를 보니 로그·모니터링 도구로 Datadog을 요구하고 있었다 - 셋 다 "로그를 본다"는 같은 문제를 풀지만, 실제로는 서로 다른 층위의 도구다. 이 글은 그 차이를 정리한 기록이다.
OpenSearch는 무엇의 후신인가
ELK는 Elasticsearch(저장·검색) + Logstash(수집·가공) + Kibana(시각화) 세 개를 묶어 부르는 이름이다. 쿠버네티스 환경에서는 무거운 Logstash 대신 가벼운 Fluentd/Fluent Bit를 쓰는 게 표준이 되면서 EFK라는 이름이 더 흔해졌다.
OpenSearch는 이 Elasticsearch를 AWS가 포크한 오픈소스 프로젝트다. 2021년 Elastic이 라이선스를 SSPL로 바꾸며 완전한 오픈소스가 아니게 되자, AWS가 마지막 Apache 2.0 버전을 기반으로 갈라져 나온 게 OpenSearch다. API가 대부분 호환되고, Kibana 자리에는 OpenSearch Dashboards가 들어간다. 실무에서 "OpenSearch는 Elasticsearch 기반이라 EFK 스택의 E 역할과 같은 자리를 맡는다"고 설명한 게 바로 이 계보 때문이다.
핵심은 로그 본문 전체를 역인덱스(inverted index)로 색인한다는 점이다. 어떤 필드든 자유롭게 전문 검색·집계할 수 있는 대신, 인덱스 자체가 로그량에 비례해 커진다.
Loki는 왜 다르게 저장하는가
Loki는 정반대 선택을 한다. 로그 본문은 색인하지 않고 namespace/pod/app 같은 라벨만 인덱싱한다. 실제 검색은 라벨로 좁힌 스트림 안에서 grep하듯 순차적으로 훑는 방식이다. 인덱스가 훨씬 작아지는 대신, 라벨 종류를 신중하게 골라야 한다 - 요청 ID처럼 값이 무한히 다양한 걸 라벨로 쓰면 스트림 수가 폭발한다(자세한 구조와 실제 겪은 버그 두 건은 시리즈 6 참고).
즉 OpenSearch와 Loki의 차이는 "어느 회사 제품이냐"가 아니라 **"무엇을 색인 비용으로 지불하느냐"**의 차이다 - 강력한 전문 검색이 필요하면 OpenSearch, 저비용·라벨 기반 필터링으로 충분하면 Loki.
Datadog은 아예 다른 층위다
OpenSearch와 Loki는 둘 다 자체 호스팅하는 로그 저장소다. Datadog은 로그뿐 아니라 메트릭·트레이스·APM·보안·합성 모니터링까지 묶은 완전 관리형 SaaS다. 에이전트만 설치하면 나머지는 Datadog 클라우드가 전부 처리한다.
| OpenSearch (EFK 계열) | Loki | Datadog | |
|---|---|---|---|
| 배포 | 자체 호스팅 | 자체 호스팅 | SaaS (외부) |
| 인덱싱 | 로그 본문 전체 색인 | 라벨만 색인 | 자체 관리형 인덱싱 |
| 강점 | 강력한 전문 검색·집계 | 저비용, K8s 라벨과 궁합 | 메트릭·로그·트레이스 통합 UI, 운영 부담 0 |
| 트레이드오프 | 인덱스 크기·클러스터 운영 부담 | 라벨 카디널리티 설계 필요 | 비용, 데이터가 외부로 나감 |
| 에어갭 적합성 | 가능 | 가능 | 불가능 |
실무에서 SaaS 자체가 선택지가 아니었던 이유
여기서 실무 판단과 바로 연결되는 지점이 하나 있다. 실무 프로젝트들은 전부 망분리·에어갭 환경이었다 - 인터넷과 외부 통신 자체가 차단된 네트워크다. Datadog 같은 SaaS는 로그·메트릭 데이터가 에이전트를 거쳐 외부(Datadog 클라우드)로 나가야 동작하는 구조라, 이런 환경에서는 "안 써봐서 모른다"가 아니라 애초에 선택지 자체가 될 수 없었다. OpenSearch와 Loki가 둘 다 실무·개인 프로젝트에서 검토 대상이 될 수 있었던 것도 결국 같은 이유 - 둘 다 내 네트워크 안에서 완결되는 자체 호스팅 도구이기 때문이다.
정리하면: **어디에 저장하고 검색할 것인가(OpenSearch vs Loki)**는 인덱싱 비용과 검색 요구 수준의 트레이드오프 문제고, **누가 운영할 것인가(자체 호스팅 vs Datadog SaaS)**는 그보다 먼저 "데이터가 내 네트워크를 벗어나도 되는가"로 갈리는 문제다. 후자를 먼저 따지면 전자의 선택지가 자연히 좁혀진다.
체크리스트
- OpenSearch가 Elasticsearch의 어느 계보에서 갈라져 나왔는지 설명할 수 있는가
- Loki가 로그 본문 대신 라벨을 인덱싱한다는 것과 그 트레이드오프를 설명할 수 있는가
- Datadog이 "로그 저장소"가 아니라 "통합 관측 SaaS"라는 층위 차이를 구분할 수 있는가
- 에어갭·망분리 환경에서 SaaS형 도구가 왜 원천적으로 선택지가 될 수 없는지 설명할 수 있는가