Async Queueing
-
이코에코(Eco²) Agent #3: Taskiq 기반 비동기 큐잉 시스템이코에코(Eco²)/Agent 2026. 1. 13. 19:08
Chat API → Chat Worker 간 메시지 큐잉 설계와 Taskiq 선택 이유 Chat 서비스는 LLM 기반 대화형 AI입니다. 응답 생성에 수 초~수십 초가 소요되므로 동시성 확보를 위한 비동기 처리가 필수적입니다. 이 문서에서는 Chat API와 Chat Worker 간의 non-blocking 및 태스크 단위 큐잉을 풀어낸 과정을 설명합니다.전체 아키텍처┌─────────────────────────────────────────────────────────────────────────┐│ Client (Mobile/Web) │└───────────────────────────────┬────────..