sharding
-
Streams & Scaling 트러블슈팅: SSE Gateway Sharding이코에코(Eco²) 제작 문서 및 리포트/Troubleshooting 2025. 12. 27. 15:37
SSE(Server-Sent Events) 기반 실시간 스트리밍 아키텍처를 구축하는 과정에서 발생했던 이슈를 기록합니다. 주요 SSE Gateway 노드 배포 및 초기화샤딩 아키텍처 설계 문제 (할당 vs 라우팅 불일치)Race Condition (SSE 연결 전 이벤트 발행)Redis 클라이언트 분리 (Streams vs Cache)SSE 샤딩 아키텍처┌─────────────────────────────────────────────────────────────────────────┐│ SSE 샤딩 아키텍처 (B안) │├─────────────────────────────────────────────────────..
-
이코에코(Eco²) Streams & Scaling for SSE #5: SSE Gateway, 단일 Consumer에서 분산 Fan-out까지이코에코(Eco²)/Event Streams & Scaling 2025. 12. 27. 15:28
50+ VU(Virtual Users) 부하 테스트에서 발생한 SSE 연결 병목을 해결하기 위한 단계별 개발 과정을 기록합니다.요약연결당 XREAD → 50 VU에서 CPU 85% 병목단일 SSE-Gateway → 깔끔한 이벤트 수신, 수평확장 불가StatefulSet + Consistent Hash → 해싱 정합성 불일치Fan-out 계층 필요성 ← 현재 단계2. 단일 SSE-Gateway로 전환2.1. 이전 아키텍처 문제점연결당 XREAD 모델 (N:N):┌─────────────────────────────────────────────────────────────┐│ 연결당 XREAD (AS-IS) │├─────────────..
-
Sharding & Routing: 분산 데이터 파티셔닝과 라우팅이코에코(Eco²) 제작 문서 및 리포트/Foundations 2025. 12. 27. 14:27
분산 시스템에서 데이터를 여러 노드에 분산(Sharding)하고 요청을 올바른 노드로 라우팅(Routing)하는 기술.Eco²에서는 Redis Streams 샤딩과 Istio Consistent Hash로 분산 라우팅을 시도했습니다. (현재는 Pub/Sub로 전환)1차 지식생산자핵심 논문논문저자발표핵심 내용Consistent Hashing and Random TreesKarger et al. (MIT)STOC 1997Consistent Hashing 원본 논문Dynamo: Amazon's Highly Available Key-value StoreDeCandia et al.SOSP 2007Virtual Nodes, Quorum, 실제 적용Jump Consistent HashLamping, Veach (Go..