Redis Streams
-
이코에코(Eco²) Streams & Scaling for SSE #3: Application, Integration Layer 업데이트 (Scan API, MQ Workers)이코에코(Eco²)/Event Streams & Scaling 2025. 12. 26. 16:09
Redis 인프라 배포 후 애플리케이션 레이어를 업데이트합니다.Celery Events (RabbitMQ) 대신 Redis Streams를 사용하여 SSE 이벤트를 발행/구독합니다.변경 범위domains/├── _shared/events/ # NEW: 공유 모듈│ ├── __init__.py│ ├── redis_client.py # Redis 클라이언트 팩토리 (동기/비동기)│ └── redis_streams.py # Streams 발행/구독│├── scan/│ ├── tasks/│ │ ├── vision.py # 이벤트 발행 추가│ │ ├── rule.py # 이벤트 발행 추가│ │ ├── answer..
-
이코에코(Eco²) Streams & Scaling for SSE #0: 3-Node Redis Cluster 아키텍처 및 마이그레이션안이코에코(Eco²)/Event Streams & Scaling 2025. 12. 26. 13:22
작성일: 2025-12-26시리즈: Redis Streams for SSE배경: SSE 50 VU 병목 발견Scan API의 SSE(Server-Sent Events) 스트리밍 기능에서 50 VU 부하 테스트 중 성능 저하가 관측됐다.테스트 환경항목값테스트 도구k6가상 사용자50 VU엔드포인트POST /api/v1/scan/classify/completion테스트 시간10분관측된 문제지표값문제SSE : RabbitMQ 연결1 : 21연결 폭발RabbitMQ 연결 (max)341개8.7배 급증scan-api 메모리676Mi512Mi limit 초과503 에러발생Readiness 실패문제 분석: 연쇄 실패 흐름50 VU 부하 ↓SSE 연결 16개 (동시 처리 중) ↓ × 21 연결/SSERabbi..
-
Redis Streams이코에코(Eco²)/Foundations 2025. 12. 25. 22:30
Redis Streams는 로그 기반 데이터 구조로, Apache Kafka의 핵심 아이디어를Redis의 단순성과 결합한 메시지 브로커/이벤트 소싱 도구입니다.공식 자료Redis 공식 문서문서URL핵심 내용Introduction to Redis Streamsredis.io/docs/data-types/streamsStream 개념, 명령어 기초XADDredis.io/commands/xadd이벤트 발행, MAXLENXREADredis.io/commands/xread블로킹 읽기, 폴링XREADGROUPredis.io/commands/xreadgroupConsumer GroupXRANGEredis.io/commands/xrange범위 조회, 리플레이설계 원문자료저자URLStreams: A New General..