ObservabilityDevOps 학습 로드맵 · 24/28편

SRE는 정확히 무엇을 하는 직군인가 - '운영을 소프트웨어 문제로 본다'는 말의 실체

SRE(Site Reliability Engineering)를 SLO·에러 버짓 계산과 동일시하면 반쪽짜리다. Google이 정의한 SRE의 출발점, 위험을 받아들인다는 원칙, 에러 버짓이 실제로는 Dev와 Ops 사이의 협상 도구라는 것, toil 제거, 그리고 SRE와 DevOps가 어떻게 다른 개념인지까지 정리한다.

2026-09-1610 min read
#SRE#DevOps#에러 버짓#Toil#신뢰성 엔지니어링
DevOps 학습 로드맵시리즈 목차
1채용공고 요구사항 6개 중 자신 있게 답할 수 있는 게 절반도 안 됐다2kubeadm으로 온프레미스 Kubernetes 클러스터를 처음부터 세우는 절차3FastAPI 서비스 골격, RabbitMQ DLQ, Harbor+Trivy, Jenkins→ArgoCD 파이프라인 구축 절차4Argo Rollouts로 카나리 배포와 Prometheus 메트릭 기반 자동 롤백 붙이기5yaml 복붙 관리의 드리프트 문제를 Kustomize overlay로 구조화하기6Terraform과 Ansible로 클러스터를 코드에서 다시 세울 수 있게 만드는 절차7Prometheus·Loki·OpenTelemetry로 세운 관측 스택 - 메트릭·로그·트레이스를 하나로8관측 스택이 진짜로 장애를 잡는가 - 노드 다운·OOMKill·디스크풀 직접 주입해보기9SLI/SLO/에러 버짓을 실제로 계산해서 배포 판단 기준으로 써보기10임계값 없이 - 통계 기반 이상탐지로 Datadog Watchdog 흉내내기11Grafana OnCall로 PagerDuty 없이 온콜·에스컬레이션 구현하기12자체 JWT 구현부터 취약점 실험, Keycloak 마이그레이션까지의 실제 절차13ISMS-P 인프라 영역 심사를 가정하고 내 클러스터의 증적을 만드는 절차14SealedSecret이 못 남기는 것 - OpenBao + External Secrets Operator로 감사 로그 확보하기15번외: 더미 워커를 실제 ONNX 추론으로, GPU 스케줄링까지 교체하는 절차16번외: 인터넷을 완전히 끊고도 클러스터가 돌아가는지 - 폐쇄망(에어갭) 시뮬레이션 절차17번외: 부하테스트로 관측 스택을 실전 검증하기 - k6 + HPA + MSA 파이프라인18번외: DORA 4대 지표를 Four Keys로 자동 집계해보기19실무와 다른 4가지를 채우려고 로드맵을 이렇게 짰다20OpenSearch·Loki·Datadog, 로그 스택은 왜 하나로 안 끝나는가21Control-Plane HA는 언제 정당한가 - etcd 쿼럼, kube-vip 페일오버, cordon/drain의 수학22OpenTelemetry는 무엇을 표준화하는가 - Prometheus·Grafana·Loki·Tempo가 실제로 맞물리는 지점23Helm은 템플릿 도구가 아니라 릴리스 버전 관리자다24카나리 배포와 블루그린 배포, 뭐가 다르고 언제 뭘 써야 하는가25SRE는 정확히 무엇을 하는 직군인가 - '운영을 소프트웨어 문제로 본다'는 말의 실체26온콜은 왜 필요하고, 어떻게 지속 가능하게 운영하는가27IaC는 한 계층이 아니다 - Terraform·Packer·Helm이 각각 다루는 것, 그리고 RKE2 vs kubeadm28SLI·SLO·에러 버짓과 온콜·에스컬레이션 - 숫자로 문제를 정의하고 사람에게 연결하기

왜 "SLO 계산법"과 "SRE"를 분리해서 봐야 하는가

SRE를 설명할 때 SLI·SLO·에러 버짓 계산부터 시작하는 경우가 많은데, 그건 SRE가 쓰는 도구 중 하나일 뿐 SRE 자체의 정의는 아니다. SLI/SLO/에러 버짓을 실제로 계산하는 절차는 시리즈 8에 이미 정리해뒀으니, 이 글은 "SRE라는 직군·방법론이 정확히 무엇을 하는가"라는 더 근본적인 질문에 집중한다.

SRE는 어디서 나온 개념인가

SRE(Site Reliability Engineering)는 2003년 Google에서 Ben Treynor Sloss가 만든 팀·직군 이름에서 출발했다. 그가 남긴 정의가 이 개념 전체를 압축한다.

"SRE is what happens when you ask a software engineer to design an operations function." (소프트웨어 엔지니어에게 운영 기능을 설계하라고 시키면 나오는 결과물이 SRE다.)

전통적인 Ops 팀은 장애가 나면 사람이 콘솔에 붙어서 수동으로 대응하는 방식이 기본이었다. SRE는 이 접근 자체를 뒤집는다 - "사람이 매번 수동으로 대응해야 하는 운영 문제"를 발견하면, 그걸 해결하는 대신 그 문제 자체를 없애는 소프트웨어를 만든다. 장애 대응이 아니라 장애 대응이 필요 없어지는 자동화가 SRE의 기본 동작 방식이다.

SRE의 핵심 원칙들

1. 위험을 받아들인다 - 100%는 목표가 아니다

직관과 반대로, SRE는 "100% 안정성"을 추구하지 않는다. 100%에 가까워질수록 비용은 기하급수적으로 늘어나는데, 사용자는 99.99%와 99.999%의 차이를 체감하지 못하는 경우가 대부분이다. 그래서 SRE는 "이 서비스에 필요한 신뢰성 수준이 정확히 얼마인가"를 먼저 정의하고, 그 이상의 안정성 투자는 낭비로 본다. 이 "적당한 수준"을 숫자로 정의한 게 SLO고, 그 반대편이 에러 버짓이다.

2. 에러 버짓은 계산 도구가 아니라 협상 도구다

에러 버짓의 진짜 역할은 Prometheus 쿼리로 계산하는 숫자 자체가 아니라, 기능 개발 속도(Dev)와 안정성(Ops/SRE) 사이의 갈등을 숫자로 협상하는 메커니즘이라는 데 있다. 전통적으로 이 둘은 조직 내에서 충돌하는 목표였다 - Dev는 빨리 배포하고 싶고, Ops는 최대한 안 건드리고 싶어 한다. 에러 버짓은 이 싸움을 "누구 말이 맞냐"가 아니라 **"버짓이 남았으면 Dev가 더 공격적으로 배포해도 되고, 버짓이 바닥나면 신규 배포보다 안정화가 우선"**이라는 합의된 규칙으로 바꾼다. 숫자가 결정을 대신하기 때문에 매번 사람 간 힘겨루기를 할 필요가 없어진다.

3. Toil을 없애는 게 핵심 업무다

Toil은 "손으로 반복하고, 자동화할 수 있고, 장기적 가치가 없는 수작업"을 가리키는 SRE 용어다(재시작, 수동 배포, 반복되는 티켓 처리 등). Google SRE는 팀 업무 시간의 toil 비중을 50% 이하로 유지하는 걸 원칙으로 삼는다 - 그 이상을 넘으면 팀이 "장애 대응만 하다가 끝나는" 상태가 되어, 정작 안정성을 근본적으로 개선할 엔지니어링에 쓸 시간이 없어지기 때문이다. 반복 작업을 도구로 없애는 습관 자체가 SRE의 핵심 산출물이다.

4. 모니터링·용량 계획·변경 관리·장애 대응도 전부 엔지니어링 문제로 본다

전통적 Ops가 "사람이 지켜보다 이상하면 대응"하는 방식이라면, SRE는 이 각각을 소프트웨어로 재설계한다 - 사람이 모니터링 화면을 지켜보는 대신 시스템이 SLO 위반을 스스로 감지해 알림을 내고(모니터링), 용량이 부족해질 시점을 데이터로 예측하고(용량 계획), 변경 사항을 점진적으로 검증하며 배포하고(카나리·블루그린), 장애 발생 시 근본 원인을 찾아 재발을 막는 절차를 표준화한다(장애 대응). 이 넷 모두 "사람의 판단력에 의존하는 수작업"을 "재현 가능한 엔지니어링 절차"로 바꾸는 작업이라는 공통점이 있다.

5. Blameless Postmortem - 장애 회고는 사람이 아니라 시스템을 고친다

장애가 나면 "누가 실수했는가"를 찾는 대신 "왜 그 실수가 시스템 안에서 장애로까지 이어질 수 있었는가" 를 찾는다. 사람을 탓하는 문화에서는 다음번엔 실수를 숨기려는 유인이 생기지만, 시스템의 허점을 찾는 문화에서는 같은 실수가 다시 나도 장애로 이어지지 않도록 안전장치(자동 롤백, 승인 절차, 알림 임계치 등)를 하나씩 추가하게 된다.

SRE와 DevOps는 어떻게 다른가

DevOps는 "개발과 운영 사이의 벽을 허문다"는 철학·문화적 방향성이다. 구체적으로 무엇을 어떻게 하라는 규정은 없다. SRE는 이 철학을 Google이 실제로 구현한 하나의 구체적인 방법론이다 - Google SRE 책의 표현을 빌리면, "SRE는 DevOps라는 추상적인 인터페이스의, 구체적인 구현체(class) 중 하나" 다. 그래서 "DevOps 엔지니어"와 "SRE"가 실무에서 하는 일이 상당 부분 겹치는 것도 우연이 아니다 - 같은 철학을 실현하는 두 이름인 경우가 많다.

정리 - "SRE 업무"란 결국 무엇인가

정리하면 SRE는 SLO·에러 버짓이라는 도구를 쓰는 팀이 아니라, "운영에서 반복되는 수작업과 판단을 전부 소프트웨어로 대체하려는 태도" 그 자체다. 관측 환경을 처음부터 구축해 장애 원인 분석 시간을 줄이는 것, 반복되는 프로비저닝을 자동화 도구로 없애는 것, 배포에 자동 검증·롤백 안전장치를 다는 것 - 이 모두가 이미 SRE적 실천이다. "SRE 경험이 있나요"라는 질문에 SLO를 계산해봤는지로만 답하면 절반만 답하는 셈이고, 이런 태도로 실제로 뭘 자동화하고 없앴는지까지 말해야 SRE를 제대로 이해하고 있다는 게 드러난다.

체크리스트

  • SRE가 "운영을 소프트웨어 엔지니어링 문제로 다룬다"는 Google의 정의를 자기 말로 설명할 수 있는가
  • "100% 안정성이 목표가 아니다"라는 원칙과 그 이유를 설명할 수 있는가
  • 에러 버짓이 계산 도구가 아니라 Dev-Ops 간 협상 메커니즘이라는 것을 설명할 수 있는가
  • Toil의 정의와, 그것을 50% 이하로 유지해야 하는 이유를 설명할 수 있는가
  • Blameless Postmortem이 "사람을 탓하지 않는" 데서 그치지 않고 왜 실질적으로 더 안전한 시스템을 만드는지 설명할 수 있는가
  • SRE와 DevOps가 각각 "구현체"와 "철학"이라는 관계로 어떻게 다른지 설명할 수 있는가