EFK
-
이코에코(Eco²) Observability #1: EFK 파이프라인 구축이코에코(Eco²)/Observability 2025. 12. 19. 01:57
개요이번 글에서는 ECK(Elastic Cloud on Kubernetes) Operator를 사용하여 EFK 스택을 구축하는 전체 과정을 다룹니다.구축 순서인프라 프로비저닝 (Terraform/Ansible)ECK Operator 설치Elasticsearch CR 배포Kibana CR 배포Fluent Bit DaemonSet 배포External Secrets 연동Observability 아키텍처 구조전체 구조도컴포넌트 구성 및 역할컴포넌트배포 방식역할리소스Fluent BitDaemonSet (16 노드)로그 수집, 파싱, ECS 변환, 전송~64MB/노드ElasticsearchStatefulSet (ECK CR)로그 저장, 인덱싱, 검색4GB heap, 50GB diskKibanaDeployment (..
-
이코에코(Eco²) Observability #0: 로깅 파이프라인 아키텍처 설계이코에코(Eco²)/Observability 2025. 12. 18. 12:12
개요마이크로서비스 아키텍처에서 로깅은 단순한 디버깅 도구를 넘어 시스템 투명성을 확보하는 핵심 인프라입니다.이 글에서는 15개 노드, 7개 API 서비스로 구성된 Eco² 백엔드의 로깅 파이프라인 아키텍처 설계 과정을 공유합니다.배경도입 전 상태: 각 Pod의 stdout/stderr 로그가 노드에 분산 저장, 구조화된 로깅 정책 부재문제점: 장애 발생 시 여러 노드를 직접 접속해 로그 확인 필요목표: 중앙 집중화된 로그 수집, 저장, 검색, 시각화 환경 구축기능 요구사항중앙 집중화모든 노드의 로그를 한 곳에서 조회P0실시간 수집로그 발생 후 5초 이내 검색 가능P0구조화된 로깅JSON 포맷으로 필드별 검색P1트레이스 연동trace_id로 분산 트레이싱과 연결P1대시보드에러율, 응답시간 등 시각화P2비기..