mango_fr 개발기 mango_fr 개발기

Token Streaming

• 이코에코(Eco²) Agent: Token Streaming E2E 검증 완료

  이코에코(Eco²)/Agent 2026. 1. 19. 14:51

  PR: #440브랜치: fix/token-streaming-langchain작성일: 2026-01-19상태: 완료 (검증 완료)Executive Summarystream_mode="messages" 기반 토큰 스트리밍이 동작하지 않던 문제를 해결했습니다.근본 원인은 LangGraph가 중첩된 async generator를 통한 LLM 호출을 캡처하지 못하는 것이었으며,answer_node에서 LangChain LLM을 직접 호출하도록 수정하여 해결했습니다.핵심 지표항목BeforeAfterToken Events0개223개실시간 스트리밍XOseq 연속성N/A1001, 1002, 1003...1. 문제 상황1.1 증상SSE 이벤트 스트림에서 event: token 이벤트가 수신되지 않음stage 이벤트(que..

  Read More
• 이코에코(Eco²) Agent: Token Streaming 트러블슈팅

  이코에코(Eco²)/Agent 2026. 1. 19. 12:35

  검증 일시: 2026-01-19 12:30 UTC검증 환경: k8s-master (13.209.44.249)검증 결과: ❌ 토큰 스트리밍 미작동1. 문제 요약1.1 증상SSE 엔드포인트에서 토큰 이벤트(stage: "token")가 수신되지 않음.답변이 done 이벤트의 result.answer에 전체 텍스트로 한 번에 전달됨.1.2 테스트 세션항목값Session IDf8d57c29-b802-4cc4-aad1-fb4bf9b946e5Job ID444f81d5-8826-4a5d-978c-ebbb5e125f05Message"페트병 어떻게 버려?"1.3 수신된 SSE 이벤트queued (started) → intent (waste) → waste_rag → weather → aggregator → answer ..

  Read More
• 이코에코(Eco²) Agent #22: LangGraph 네이티브 스트리밍 구현

  카테고리 없음 2026. 1. 17. 01:47

  ainvoke → astream_events 전환으로 실시간 토큰 스트리밍과 복구 가능한 Token Stream 구현항목값작성일2026-01-16버전v1.0시리즈Eco² Agent 시리즈이전 포스팅#17 동적 컨텍스트 압축ADRLangGraph Native Streaming ADR , Token Streaming Improvement ADR커밋e6fd91e8 (feat: implement LangGraph native streaming with observability)1. 배경: 수동 토큰 스트리밍의 한계1.1 기존 구현 방식기존 Chat Worker는 ainvoke로 파이프라인을 실행하고, 각 노드에서 이벤트를 수동으로 발행했습니다.# 기존 방식 (answer_node.py)async def answ..

  Read More