한컴인스페이스
영상 전처리 파이프라인 자동화
2022.03 ~ 2022.12
전처리 파이프라인 설계 및 개발
RabbitMQPythonSaga PatternDocker
이벤트 드리븐 파이프라인 구축
- 폴더 감시 방식을 이벤트 드리븐 파이프라인으로 전환 — 완료 즉시 다음 큐 실행, 대기 시간 제거
- ack/nack 기반 메시지 유실 방지 (RabbitMQ)
- Saga(Choreography) 패턴 적용 — 실패 시 보상 트랜잭션 자동 실행 및 작업 상태 추적으로 장애 시점 명확화, 보상 재시도 초과 시 DLQ로 격리하여 무한 루프 방지 및 수동 처리 가능하도록 구성
- Salt 폴링 구조의 격리성 미비로 정상 데이터가 실패 데이터에 영향받던 문제를 RabbitMQ 이벤트 드리븐으로 전환하여 해결 — 실제 문제가 있는 데이터만 격리, 정상 데이터 실패율 0건 달성
- 파이프라인 중간 장애 발생 시 원인 파악에 하루가 소요되던 문제를 Saga 패턴 보상 트랜잭션 + DLQ 격리로 해결 — 장애 시점 명확화, 파악 시간 하루→2시간 이내
- 수동 처리가 필요하던 위성 영상 전처리를 이벤트 드리븐 파이프라인으로 전환 — 처리량에 탄력적으로 확장 가능한 구조 구축