한컴인스페이스
영상 전처리 파이프라인 자동화
2022.03 ~ 2022.12
전처리 파이프라인 설계 및 개발
RabbitMQPythonSaga PatternDocker
위성 영상 수집부터 보정까지의 전처리 과정을 자동화하는 파이프라인을 구축했습니다. 영상별로 전처리가 달라 수동 처리가 필요했고, Salt 기반 폴링 구조에서 격리성이 보장되지 않아 정상 데이터도 실패하는 문제가 있었으며, 실행 중 장애 발생 시 복구 시스템이 미비했습니다.
역할별 수행 내용
이벤트 드리븐 파이프라인 구축
- 폴더 감시 방식을 이벤트 드리븐 파이프라인으로 전환 — 완료 즉시 다음 큐 실행, 대기 시간 제거
- ack/nack 기반 메시지 유실 방지 (RabbitMQ)
- Saga(Choreography) 패턴 적용 — 실패 시 자동 재처리 및 작업 상태 추적으로 장애 시점 명확화
주요 성과
- 장애 없는 데이터 실패율 0건 달성 — 실제 문제가 있는 데이터만 쌓이도록 개선
- 장애 파악 시간 하루 → 한두 시간 이내로 감소
- 메시지 큐 기반으로 처리량에 탄력적으로 확장 가능한 구조 설계