KAFKA
-
이코에코(Eco²) Message Queue #3: Scan 비동기 파이프라인 로드맵이코에코(Eco²)/Message Queue 2025. 12. 22. 13:24
1. 개요 (Overview)본 문서는 Scan Pipeline의 단계적 발전 방향을 정의합니다. 현재 단일 Task로 처리되는 파이프라인을 4단계 Celery Chain으로 분리하고, 궁극적으로 Event-Driven Architecture로 전환하는 로드맵입니다.1.1 발전 단계 요약Phase아키텍처Task/Event 처리인프라상태Phase 1Monolithic Task단일 Celery TaskRabbitMQ✅ 완료Phase 2Celery Chain4단계 Task 분리RabbitMQ🔄 진행 중Phase 3HybridTask + Event 발행RabbitMQ + Kafka📋 계획Phase 4Full Event-DrivenKafka Consumer 기반Kafka Cluster📋 계획2. Phase ..