Knowledge Base/Foundations
-
Gradient Boosting Machine: 약한 학습기를 순차적으로 쌓아 강한 학습기를 만드는 원리Knowledge Base/Foundations 2026. 2. 23. 00:54
Author: Claude Opus 4.6, mangowhoiscloudPurpose: Gradient Boosting Machine의 수학적 원리, 트리 구축 메커니즘, LambdaMART로의 확장까지Date: 2026-02-22Related: Sigmoid 함수 Technical Report (26.02.22), Logistic Regression Foundations (26.02.08)Executive SummaryGradient Boosting Machine(GBM)은 함수 공간에서의 gradient descent입니다. 파라미터가 아닌 함수 자체를 최적화한다는 점에서 Neural Network의 역전파와 근본적으로 다릅니다. 각 iteration에서 이전 모델의 잔차(residual)에 새 De..
-
Sigmoid: 실수를 확률로 변환하는 가장 자연스러운 함수Knowledge Base/Foundations 2026. 2. 23. 00:42
Author: Claude Opus 4.6, mangowhoiscloudPurpose: Sigmoid 함수의 수학적 기초, 변형, 적용Date: 2026-02-22Related: Logistic Regression Foundations (26.02.08), Logprobs Knowledge Base (26.02.08)Executive SummarySigmoid 함수 σ(z) = 1/(1+e^(-z))는 임의의 실수를 (0, 1) 확률로 매핑하는 가장 자연스러운 함수입니다. 이 함수가 자연스러운 이유는 단순히 "범위가 맞아서"가 아니라, logit(Bernoulli 분포의 canonical link function)의 역함수이기 때문입니다.본 문서는 (1) sigmoid의 유도와 5가지 핵심 성질, (2)..
-
Seeing the Goal, Missing the Truth: Human Accountability for AI BiasKnowledge Base/Foundations 2026. 2. 20. 22:03
Author: Sean Cao (University of Maryland), Wei Jiang (Emory University), Hui Xu (Lancaster University)Paper: arXiv:2602.09504v1 (2025)Reviewer: Claude Code Opus 4.6, mangowhoiscloud1. 문제 정의 및 연구 동기1.1 목적 조건부 인지(Purpose-Conditioned Cognition)본 논문은 LLM 기반 측정(measurement)에서 발생하는 특정 실패 모드를 식별합니다. 저자들은 이를 목적 조건부 인지(Purpose-Conditioned Cognition) 라 명명하며, 다음과 같이 정의합니다: "중간 과제(intermediate task)가 최종 적용 ..
-
LLM-as-Judge 루브릭 설계: 정보이론 관점의 해상도 분석과 가이드Knowledge Base/Foundations 2026. 2. 9. 16:55
Author: Claude Opus 4.6, mangowhoiscloudPurpose: LLM-as-Judge 루브릭 설계 방법론 (Knowledge Base)Date: 2026-02-09Executive SummaryMulti-Axis Rubric이 최종 등급으로 변환되는 과정에서 의도하지 않은 정보 손실이 발생합니다. 14축 × 5점(32.51 bits) 입력이 4개 등급(2.00 bits)으로 압축되면 이론적 잔존율은 6.15%에 불과합니다. 이 글은 Model-based 루브릭 평가 시스템을 구축할 때 어느 지점에서 해상도가 사라지는지를 정보이론으로 추적하고, 심리측정학과 최신 LLM 평가 연구를 교차하여 설계 원칙을 정리합니다.핵심 공식: Resolution_Loss = H(Input) - H(..
-
Swiss Cheese Model for LLM Evaluation: 단일 Grader는 반드시 실패한다Knowledge Base/Foundations 2026. 2. 9. 12:10
Executive SummaryJames Reason(1990)의 Swiss Cheese Model은 복잡 시스템에서 사고가 단일 실패가 아닌 다중 방어층의 구멍이 동시에 정렬될 때 발생한다는 프레임워크입니다. 본 문서는 이 모델을 LLM Agent 평가에 적용합니다.Anthropic의 "Demystifying Evals for AI Agents"(2026.01)는 Agent 평가의 3가지 Grader 유형(code-based, model-based, human)과 평가 하네스 설계를 체계적으로 정리합니다. 각 Grader 유형을 치즈 슬라이스로, 각 Grader의 한계를 구멍으로 모델링하며, 구멍이 정렬되는 순간, 즉 결함이 모든 평가층을 통과하는 시나리오를 서술합니다.1. Swiss Cheese Mo..
-
Logistic Regression: 확률을 모델링하는 해석 가능한 방법Knowledge Base/Foundations 2026. 2. 8. 19:42
Author: Claude Opus 4.6, mangowhoiscloudPurpose: 로지스틱 회귀의 수학적 기초부터 인과 추론 응용까지 Knowledge BaseDate: 2026-02-08Executive SummaryLogistic Regression은 이진 결과(binary outcome)에 대한 확률을 직접 모델링하는 판별 모델(discriminative model)입니다. 선형 회귀가 연속값을 예측하는 데 반해, 로지스틱 회귀는 로그 오즈(log-odds)의 선형성을 가정하여 확률을 [0, 1] 범위로 제한합니다.핵심 위치: 로지스틱 회귀는 분류(classification)와 인과 추론(causal inference) 두 영역의 교차점에 있습니다. 분류에서는 "이 관측치가 어느 클래스에 속하..
-
In-Context Learning: Transformer는 어떻게 "학습 없이 학습"하는지, 메커니즘, 한계, Agent Memory로의 확Knowledge Base/Foundations 2026. 2. 8. 13:23
Author: Claude Opus 4.6, mangowhoiscloudPurpose: In-Context Learning 메커니즘·한계·Agent Memory 연결 분석 Knowledge BaseDate: 2026-02-08Executive SummaryIn-Context Learning(ICL)은 LLM이 프롬프트에 포함된 소수의 예시만으로 새로운 태스크에 적응하는 능력입니다. 파라미터 업데이트 없이 발생하는 이 현상은 GPT-3(Brown et al., 2020) 이후 LLM 활용의 핵심 패러다임이 되었으나, 왜 작동하는지에 대한 이해는 여전히 발전 중입니다. 본 문서는 ICL의 3가지 주요 메커니즘 가설(Induction Heads, Implicit Gradient Descent, Bayesian..
-
Agent Memory Architecture: Retrieval System과 Knowledge Container 선택 가이드Knowledge Base/Foundations 2026. 2. 7. 14:43
Author: Claude Opus 4.6, mangowhoiscloudPurpose: Agent Memory Architecture 비교 분석 Knowledge BaseDate: 2026-02-07Executive SummaryAgent 시스템의 메모리 구현 방식은 기술 선택을 넘어 아키텍처 철학의 문제입니다. Vector DB + RAG와 파일/MD 기반 메모리는 흔히 비교 대상으로 거론되지만, 본질적으로 retrieval system과 knowledge container로서 역할이 구분됩니다. 본 문서는 4가지 핵심 축(Retrieval Complexity, Latency & Cost, Knowledge Freshness, Cognitive Load)으로 두 접근 방식을 비교하고, Layered M..