ObservabilityDevOps 학습 로드맵 · 21/28편

OpenTelemetry는 무엇을 표준화하는가 - Prometheus·Grafana·Loki·Tempo가 실제로 맞물리는 지점

OpenTelemetry는 그 자체로 저장소가 아니라 계측 표준이다. 메트릭(Prometheus)·로그(Loki/OpenSearch)·트레이스(Tempo)가 왜 서로 다른 저장소로 나뉘어 있는지, OTel이 그 사이를 어떻게 표준 규격으로 이어주는지, Grafana가 왜 그 세 신호의 유일한 조회 지점이 되는지를 계측 코드 레벨까지 파고들어 정리한다.

2026-09-1411 min read
#OpenTelemetry#Prometheus#Grafana#Loki#Tempo#관측성
DevOps 학습 로드맵시리즈 목차
1채용공고 요구사항 6개 중 자신 있게 답할 수 있는 게 절반도 안 됐다2kubeadm으로 온프레미스 Kubernetes 클러스터를 처음부터 세우는 절차3FastAPI 서비스 골격, RabbitMQ DLQ, Harbor+Trivy, Jenkins→ArgoCD 파이프라인 구축 절차4Argo Rollouts로 카나리 배포와 Prometheus 메트릭 기반 자동 롤백 붙이기5yaml 복붙 관리의 드리프트 문제를 Kustomize overlay로 구조화하기6Terraform과 Ansible로 클러스터를 코드에서 다시 세울 수 있게 만드는 절차7Prometheus·Loki·OpenTelemetry로 세운 관측 스택 - 메트릭·로그·트레이스를 하나로8관측 스택이 진짜로 장애를 잡는가 - 노드 다운·OOMKill·디스크풀 직접 주입해보기9SLI/SLO/에러 버짓을 실제로 계산해서 배포 판단 기준으로 써보기10임계값 없이 - 통계 기반 이상탐지로 Datadog Watchdog 흉내내기11Grafana OnCall로 PagerDuty 없이 온콜·에스컬레이션 구현하기12자체 JWT 구현부터 취약점 실험, Keycloak 마이그레이션까지의 실제 절차13ISMS-P 인프라 영역 심사를 가정하고 내 클러스터의 증적을 만드는 절차14SealedSecret이 못 남기는 것 - OpenBao + External Secrets Operator로 감사 로그 확보하기15번외: 더미 워커를 실제 ONNX 추론으로, GPU 스케줄링까지 교체하는 절차16번외: 인터넷을 완전히 끊고도 클러스터가 돌아가는지 - 폐쇄망(에어갭) 시뮬레이션 절차17번외: 부하테스트로 관측 스택을 실전 검증하기 - k6 + HPA + MSA 파이프라인18번외: DORA 4대 지표를 Four Keys로 자동 집계해보기19실무와 다른 4가지를 채우려고 로드맵을 이렇게 짰다20OpenSearch·Loki·Datadog, 로그 스택은 왜 하나로 안 끝나는가21Control-Plane HA는 언제 정당한가 - etcd 쿼럼, kube-vip 페일오버, cordon/drain의 수학22OpenTelemetry는 무엇을 표준화하는가 - Prometheus·Grafana·Loki·Tempo가 실제로 맞물리는 지점23Helm은 템플릿 도구가 아니라 릴리스 버전 관리자다24카나리 배포와 블루그린 배포, 뭐가 다르고 언제 뭘 써야 하는가25SRE는 정확히 무엇을 하는 직군인가 - '운영을 소프트웨어 문제로 본다'는 말의 실체26온콜은 왜 필요하고, 어떻게 지속 가능하게 운영하는가27IaC는 한 계층이 아니다 - Terraform·Packer·Helm이 각각 다루는 것, 그리고 RKE2 vs kubeadm28SLI·SLO·에러 버짓과 온콜·에스컬레이션 - 숫자로 문제를 정의하고 사람에게 연결하기

왜 이 주제를 다시 파고들었나

"Prometheus·OpenSearch·Tempo를 OpenTelemetry 기반으로 통합했다"는 말을 자주 하게 되는데, 정작 "OpenTelemetry가 정확히 뭘 하는 물건인가"를 한 문장으로 답하기가 생각보다 어렵다. Prometheus인가, Grafana인가, 아니면 또 다른 저장소인가 - 헷갈리는 이유는 OTel이 저장소가 아니라 계측·전송 표준이기 때문이다. 이 글은 OTel이 정확히 어느 계층에 있는 물건이고, 왜 메트릭·로그·트레이스가 각자 다른 저장소(Prometheus, Loki/OpenSearch, Tempo)로 나뉘어 있는데도 Grafana 하나에서 다 보이는지를 계측 코드 레벨까지 따라가며 정리한다.

1. 세 신호(Signal)는 원래 다른 질문에 답한다

관측성(Observability)은 흔히 "세 기둥(three pillars)"으로 부르는 세 신호로 구성된다.

신호답하는 질문저장소(이 스택 기준)
메트릭(Metrics)"지금 수치가 얼마인가" - 에러율, 응답시간, CPU 사용률 같은 시계열 숫자Prometheus
로그(Logs)"그 시점에 정확히 무슨 일이 있었나" - 텍스트 기록Loki 또는 OpenSearch
트레이스(Traces)"이 요청 하나가 여러 서비스를 거치며 어디서 느려졌나"Tempo

세 신호를 하나로 합치지 않고 따로 두는 이유는 저장·조회 패턴이 완전히 다르기 때문이다. 메트릭은 "숫자를 시간순으로 압축 저장하고 집계 쿼리"가 핵심이라 시계열 DB(Prometheus)가 맞고, 로그는 "텍스트를 색인해서 검색"이 핵심이라 검색엔진(Loki/OpenSearch) 구조가 맞고, 트레이스는 "트리 구조로 얽힌 span을 ID로 재구성"이 핵심이라 별도 구조(Tempo)가 필요하다. 억지로 하나의 저장소에 다 넣으면 셋 다 어중간해진다.

문제는 이 세 저장소가 각자 다른 방식으로 데이터를 받는다는 점이다. Prometheus는 애플리케이션의 /metrics 엔드포인트를 주기적으로 긁어가고(pull), 로그는 애플리케이션이 stdout에 찍은 걸 에이전트가 밀어넣고(push), 트레이스는 애플리케이션 코드 안에서 명시적으로 span을 열고 닫아야 한다. 세 신호를 다 계측하려면 애플리케이션 코드에 세 가지 다른 방식의 계측 코드가 섞여 들어가야 했다 - OpenTelemetry가 표준화하는 지점이 정확히 여기다.

2. OpenTelemetry는 표준이다 - 저장소가 아니다

OpenTelemetry(OTel)는 CNCF 프로젝트로, 세 가지를 표준화한다.

  1. API/SDK: 애플리케이션 코드에서 "이 구간은 span이다", "이 값은 카운터 메트릭이다"라고 선언하는 언어별 공통 인터페이스. Go든 Python이든 Java든 같은 개념(span, counter, gauge)으로 계측한다.
  2. 데이터 포맷: 계측된 데이터를 표현하는 공통 스키마(OTLP - OpenTelemetry Protocol).
  3. Collector: 애플리케이션에서 OTLP로 받은 데이터를 받아서, 목적지별로 라우팅·가공해 내보내는 별도 프로세스.

핵심은 OTel 자체는 메트릭·로그·트레이스를 저장하지 않는다는 것이다. OTel Collector는 데이터를 받아서 Prometheus로, Tempo로, Loki(또는 OpenSearch)로 각각 export할 뿐이다. 비유하면 OTel은 "세 나라 말을 다 알아듣고 각자의 나라로 정확히 배달해주는 통역사 겸 우체국"이고, Prometheus·Loki·Tempo는 각자의 나라(창고)다.

[애플리케이션]  --OTLP-->  [OTel Collector]  --각 저장소 프로토콜로 export-->  [Prometheus] [Loki/OpenSearch] [Tempo]
     (OTel SDK로 계측)          (라우팅·가공)                                        (조회는 전부 Grafana에서)

이렇게 보면 "Prometheus·OpenSearch·Tempo를 OpenTelemetry 기반으로 통합했다"는 말의 정확한 뜻이 드러난다 - 세 신호를 계측하는 방식을 OTel이라는 하나의 표준으로 통일해서, 애플리케이션 코드가 세 가지 계측 방식을 따로 알 필요 없게 만들었다는 것이다. 저장소 자체가 하나로 합쳐진 게 아니라, 그 앞단(계측·전송)이 하나로 합쳐졌다.

3. 트레이스가 여러 서비스를 어떻게 "하나"로 엮는가

메트릭·로그는 각 서비스가 독립적으로 찍어도 문제가 없지만, 트레이스는 "요청 하나가 서비스 A → 큐 → 서비스 B로 넘어갈 때도 같은 트레이스로 엮여야" 의미가 있다. 이걸 가능하게 하는 게 W3C Trace Context 표준의 traceparent 헤더다.

traceparent: 00-4bf92f3577b34da6a3ce929d0e0e4736-00f067aa0ba902b7-01
             │  └─ trace-id(전체 요청 식별자, 32 hex)  └─ span-id(현재 span, 16 hex)  └─ flags
             └─ version

동기 HTTP 호출이라면 이 헤더를 그대로 다음 서비스에 전달하면 되지만, RabbitMQ 같은 비동기 경계를 넘을 때는 헤더가 자동으로 따라가지 않는다. 그래서 메시지를 큐에 넣을 때 trace_id를 메시지 바디(또는 커스텀 헤더)에 직접 실어 보내고, 받는 쪽(워커)이 그 trace_id로 "새 트레이스를 시작하는 게 아니라 기존 트레이스에 이어붙인다"고 명시적으로 처리해야 한다. 큐를 매개로 한 비동기 파이프라인에서 분산 트레이싱을 붙일 때 가장 먼저 막히는 지점이 여기다 - 동기 호출 체인에서는 라이브러리가 대부분 알아서 해주지만, 비동기 경계는 항상 수동으로 이어줘야 한다.

4. Grafana가 유일한 조회 지점이 될 수 있는 이유

Grafana 자체는 데이터를 저장하지 않는다. Grafana는 데이터소스(Datasource) 플러그인을 통해 Prometheus·Loki·Tempo·OpenSearch에 각각의 쿼리 언어(PromQL, LogQL, TraceQL, Elasticsearch Query DSL)로 실시간 질의를 던지고, 그 결과를 한 화면에 나란히 그려주는 역할만 한다.

여기서 실무적으로 중요한 게 Explore 화면의 신호 간 이동(correlation) 이다. Tempo에서 트레이스를 보다가, 특정 span에 걸린 시점의 Loki 로그로 바로 넘어가거나, 그 시간대 Prometheus 메트릭 그래프로 넘어갈 수 있게 데이터소스 간 연결(exemplar, derived field)을 설정해두면, "메트릭에서 이상 감지 → 트레이스로 어느 구간인지 특정 → 로그로 정확한 원인 확인"이라는 흐름을 화면 하나에서 끝낼 수 있다. 신호를 세 저장소로 나눠 최적화하면서도, 조회 경험은 하나로 합치는 것 - 이게 이 스택 조합의 실질적인 목적이다.

5. 정리 - 세 저장소, 하나의 표준, 하나의 창

계층담당
계측(코드에서 span·metric·log 생성)OpenTelemetry SDK/API
전송·라우팅OpenTelemetry Collector (OTLP)
저장·질의Prometheus(메트릭) / Loki 또는 OpenSearch(로그) / Tempo(트레이스) - 각자 최적화된 구조
조회·시각화Grafana - 데이터소스별 쿼리 언어를 대신 던져주고 한 화면에 통합

"OpenTelemetry 기반으로 통합했다"는 표현은 결국 계측 표준을 하나로 통일해서, 저장소는 여전히 세 개로 나눠 각자 잘하는 일을 시키되, 조회 경험만 Grafana로 합쳤다는 뜻이다. 저장소를 하나로 합치려는 시도가 아니라는 점이 이 스택을 이해하는 핵심이다.

체크리스트

  • 메트릭·로그·트레이스가 왜 각각 다른 저장소 구조를 필요로 하는지 설명할 수 있는가
  • OpenTelemetry가 저장소가 아니라 계측·전송 표준이라는 것, Collector의 역할을 설명할 수 있는가
  • traceparent 헤더로 트레이스가 어떻게 여러 서비스에 걸쳐 하나로 엮이는지, 비동기(큐) 경계에서 왜 수동으로 이어줘야 하는지 설명할 수 있는가
  • Grafana가 데이터를 저장하지 않고 데이터소스별 쿼리를 대신 던져준다는 것, 신호 간 이동(correlation)이 실무적으로 왜 중요한지 설명할 수 있는가