OpenTelemetry는 무엇을 표준화하는가 - Prometheus·Grafana·Loki·Tempo가 실제로 맞물리는 지점
OpenTelemetry는 그 자체로 저장소가 아니라 계측 표준이다. 메트릭(Prometheus)·로그(Loki/OpenSearch)·트레이스(Tempo)가 왜 서로 다른 저장소로 나뉘어 있는지, OTel이 그 사이를 어떻게 표준 규격으로 이어주는지, Grafana가 왜 그 세 신호의 유일한 조회 지점이 되는지를 계측 코드 레벨까지 파고들어 정리한다.
왜 이 주제를 다시 파고들었나
"Prometheus·OpenSearch·Tempo를 OpenTelemetry 기반으로 통합했다"는 말을 자주 하게 되는데, 정작 "OpenTelemetry가 정확히 뭘 하는 물건인가"를 한 문장으로 답하기가 생각보다 어렵다. Prometheus인가, Grafana인가, 아니면 또 다른 저장소인가 - 헷갈리는 이유는 OTel이 저장소가 아니라 계측·전송 표준이기 때문이다. 이 글은 OTel이 정확히 어느 계층에 있는 물건이고, 왜 메트릭·로그·트레이스가 각자 다른 저장소(Prometheus, Loki/OpenSearch, Tempo)로 나뉘어 있는데도 Grafana 하나에서 다 보이는지를 계측 코드 레벨까지 따라가며 정리한다.
1. 세 신호(Signal)는 원래 다른 질문에 답한다
관측성(Observability)은 흔히 "세 기둥(three pillars)"으로 부르는 세 신호로 구성된다.
| 신호 | 답하는 질문 | 저장소(이 스택 기준) |
|---|---|---|
| 메트릭(Metrics) | "지금 수치가 얼마인가" - 에러율, 응답시간, CPU 사용률 같은 시계열 숫자 | Prometheus |
| 로그(Logs) | "그 시점에 정확히 무슨 일이 있었나" - 텍스트 기록 | Loki 또는 OpenSearch |
| 트레이스(Traces) | "이 요청 하나가 여러 서비스를 거치며 어디서 느려졌나" | Tempo |
세 신호를 하나로 합치지 않고 따로 두는 이유는 저장·조회 패턴이 완전히 다르기 때문이다. 메트릭은 "숫자를 시간순으로 압축 저장하고 집계 쿼리"가 핵심이라 시계열 DB(Prometheus)가 맞고, 로그는 "텍스트를 색인해서 검색"이 핵심이라 검색엔진(Loki/OpenSearch) 구조가 맞고, 트레이스는 "트리 구조로 얽힌 span을 ID로 재구성"이 핵심이라 별도 구조(Tempo)가 필요하다. 억지로 하나의 저장소에 다 넣으면 셋 다 어중간해진다.
문제는 이 세 저장소가 각자 다른 방식으로 데이터를 받는다는 점이다. Prometheus는 애플리케이션의 /metrics 엔드포인트를 주기적으로 긁어가고(pull), 로그는 애플리케이션이 stdout에 찍은 걸 에이전트가 밀어넣고(push), 트레이스는 애플리케이션 코드 안에서 명시적으로 span을 열고 닫아야 한다. 세 신호를 다 계측하려면 애플리케이션 코드에 세 가지 다른 방식의 계측 코드가 섞여 들어가야 했다 - OpenTelemetry가 표준화하는 지점이 정확히 여기다.
2. OpenTelemetry는 표준이다 - 저장소가 아니다
OpenTelemetry(OTel)는 CNCF 프로젝트로, 세 가지를 표준화한다.
- API/SDK: 애플리케이션 코드에서 "이 구간은 span이다", "이 값은 카운터 메트릭이다"라고 선언하는 언어별 공통 인터페이스. Go든 Python이든 Java든 같은 개념(span, counter, gauge)으로 계측한다.
- 데이터 포맷: 계측된 데이터를 표현하는 공통 스키마(OTLP - OpenTelemetry Protocol).
- Collector: 애플리케이션에서 OTLP로 받은 데이터를 받아서, 목적지별로 라우팅·가공해 내보내는 별도 프로세스.
핵심은 OTel 자체는 메트릭·로그·트레이스를 저장하지 않는다는 것이다. OTel Collector는 데이터를 받아서 Prometheus로, Tempo로, Loki(또는 OpenSearch)로 각각 export할 뿐이다. 비유하면 OTel은 "세 나라 말을 다 알아듣고 각자의 나라로 정확히 배달해주는 통역사 겸 우체국"이고, Prometheus·Loki·Tempo는 각자의 나라(창고)다.
[애플리케이션] --OTLP--> [OTel Collector] --각 저장소 프로토콜로 export--> [Prometheus] [Loki/OpenSearch] [Tempo]
(OTel SDK로 계측) (라우팅·가공) (조회는 전부 Grafana에서)
이렇게 보면 "Prometheus·OpenSearch·Tempo를 OpenTelemetry 기반으로 통합했다"는 말의 정확한 뜻이 드러난다 - 세 신호를 계측하는 방식을 OTel이라는 하나의 표준으로 통일해서, 애플리케이션 코드가 세 가지 계측 방식을 따로 알 필요 없게 만들었다는 것이다. 저장소 자체가 하나로 합쳐진 게 아니라, 그 앞단(계측·전송)이 하나로 합쳐졌다.
3. 트레이스가 여러 서비스를 어떻게 "하나"로 엮는가
메트릭·로그는 각 서비스가 독립적으로 찍어도 문제가 없지만, 트레이스는 "요청 하나가 서비스 A → 큐 → 서비스 B로 넘어갈 때도 같은 트레이스로 엮여야" 의미가 있다. 이걸 가능하게 하는 게 W3C Trace Context 표준의 traceparent 헤더다.
traceparent: 00-4bf92f3577b34da6a3ce929d0e0e4736-00f067aa0ba902b7-01
│ └─ trace-id(전체 요청 식별자, 32 hex) └─ span-id(현재 span, 16 hex) └─ flags
└─ version
동기 HTTP 호출이라면 이 헤더를 그대로 다음 서비스에 전달하면 되지만, RabbitMQ 같은 비동기 경계를 넘을 때는 헤더가 자동으로 따라가지 않는다. 그래서 메시지를 큐에 넣을 때 trace_id를 메시지 바디(또는 커스텀 헤더)에 직접 실어 보내고, 받는 쪽(워커)이 그 trace_id로 "새 트레이스를 시작하는 게 아니라 기존 트레이스에 이어붙인다"고 명시적으로 처리해야 한다. 큐를 매개로 한 비동기 파이프라인에서 분산 트레이싱을 붙일 때 가장 먼저 막히는 지점이 여기다 - 동기 호출 체인에서는 라이브러리가 대부분 알아서 해주지만, 비동기 경계는 항상 수동으로 이어줘야 한다.
4. Grafana가 유일한 조회 지점이 될 수 있는 이유
Grafana 자체는 데이터를 저장하지 않는다. Grafana는 데이터소스(Datasource) 플러그인을 통해 Prometheus·Loki·Tempo·OpenSearch에 각각의 쿼리 언어(PromQL, LogQL, TraceQL, Elasticsearch Query DSL)로 실시간 질의를 던지고, 그 결과를 한 화면에 나란히 그려주는 역할만 한다.
여기서 실무적으로 중요한 게 Explore 화면의 신호 간 이동(correlation) 이다. Tempo에서 트레이스를 보다가, 특정 span에 걸린 시점의 Loki 로그로 바로 넘어가거나, 그 시간대 Prometheus 메트릭 그래프로 넘어갈 수 있게 데이터소스 간 연결(exemplar, derived field)을 설정해두면, "메트릭에서 이상 감지 → 트레이스로 어느 구간인지 특정 → 로그로 정확한 원인 확인"이라는 흐름을 화면 하나에서 끝낼 수 있다. 신호를 세 저장소로 나눠 최적화하면서도, 조회 경험은 하나로 합치는 것 - 이게 이 스택 조합의 실질적인 목적이다.
5. 정리 - 세 저장소, 하나의 표준, 하나의 창
| 계층 | 담당 |
|---|---|
| 계측(코드에서 span·metric·log 생성) | OpenTelemetry SDK/API |
| 전송·라우팅 | OpenTelemetry Collector (OTLP) |
| 저장·질의 | Prometheus(메트릭) / Loki 또는 OpenSearch(로그) / Tempo(트레이스) - 각자 최적화된 구조 |
| 조회·시각화 | Grafana - 데이터소스별 쿼리 언어를 대신 던져주고 한 화면에 통합 |
"OpenTelemetry 기반으로 통합했다"는 표현은 결국 계측 표준을 하나로 통일해서, 저장소는 여전히 세 개로 나눠 각자 잘하는 일을 시키되, 조회 경험만 Grafana로 합쳤다는 뜻이다. 저장소를 하나로 합치려는 시도가 아니라는 점이 이 스택을 이해하는 핵심이다.
체크리스트
- 메트릭·로그·트레이스가 왜 각각 다른 저장소 구조를 필요로 하는지 설명할 수 있는가
- OpenTelemetry가 저장소가 아니라 계측·전송 표준이라는 것, Collector의 역할을 설명할 수 있는가
-
traceparent헤더로 트레이스가 어떻게 여러 서비스에 걸쳐 하나로 엮이는지, 비동기(큐) 경계에서 왜 수동으로 이어줘야 하는지 설명할 수 있는가 - Grafana가 데이터를 저장하지 않고 데이터소스별 쿼리를 대신 던져준다는 것, 신호 간 이동(correlation)이 실무적으로 왜 중요한지 설명할 수 있는가