Eval System
-
이코에코(Eco²) Agent #15: Eval Agent 고도화이코에코(Eco²)/Agent 2026. 1. 15. 09:29
Anthropic RAG 평가 패턴 적용 - Citation, Nugget, Groundedness, Just-in-Time Context 항목값작성일2026-01-15시리즈Eco² Agent 시리즈이전 포스팅#14 Feedback Loop & Fallback Chain참조docs/foundations/27-rag-evaluation-strategy.md1. 배경: 기존 평가의 한계1.1 기존 프롬프트 문제점// 기존 feedback_evaluation.txt 출력{ "relevance": 0.8, "completeness": 0.7, "accuracy": 0.9, "overall_score": 0.8, "suggestions": ["추가 검색 필요", "..."], "e..
-
이코에코(Eco²) Agent #14: Feedback Loop & Fallback Chain이코에코(Eco²)/Agent 2026. 1. 15. 09:25
RAG 품질 평가와 다단계 Fallback 체인으로 답변 신뢰성 확보항목값작성일2026-01-15버전v2.0시리즈Eco² Agent 시리즈1. 도입 배경: 왜 Feedback Loop가 필요한가?1.1 RAG 시스템의 한계분리수거 챗봇은 RAG(Retrieval-Augmented Generation) 기반으로 동작합니다.사용자 질문에 맞는 규정을 검색하고, 이를 바탕으로 답변을 생성합니다. 하지만 RAG에는 근본적인 한계가 있습니다:┌─────────────────────────────────────────────────────────────────────────┐│ RAG 실패 시나리오 │├────────..