queueing
-
ADR: Async Job Queue Decision for Chat이코에코(Eco²)/Plans 2026. 1. 13. 01:27
작성일: 2026-01-13참고: Taskiq GitHub, FastStream GitHub 1. 왜 Job 기반 큐잉이 필요한가?1.1 Chat 서비스 요구사항Chat 서비스는 LangGraph 파이프라인을 실행하는 장시간 작업입니다.사용자 요청 → LangGraph 파이프라인 (5~30초) → 응답파이프라인 단계:1. Intent Classification (0.5초)2. RAG/Tool Calling (1~5초)3. LLM Generation (3~20초)4. Subagent 실행 (선택적, 5~15초)1.2 동기 처리의 문제# ❌ 문제: HTTP 타임아웃, 커넥션 점유@router.post("/chat")async def chat(request: ChatRequest): result = aw..