Logging 시스템 개선, Grafana labs LGTM 스택 도입기

[ecsimsw]

• Logging 시스템 개선, 비용 계산
• ECS의 Log 파일을 어떻게 관리하면 좋을까
• Persistent storage for container logging using Fluent Bit and Amazon EFS

[ecsimsw]

LGTM

LGTM 환경 테스트

- LGTM : Loki, Grafana + Prometheus를 포함한 Grafana Labs의 로그/메트릭 모니터링 스택
- 오픈 소스이기에 클라우드 사용 비용없이 자체적인 로그 저장, 쿼리 가능
- 환경 구성이 쉽고, 기존 프로젝트에 변경점이 없음

테스트를 위한 로컬 환경 구성

- Prometheus : 대시보드, 모니터링 화면단
- Promtail : 로그 전달
- Loki : 로그 인덱싱, 기록하는 중앙 DB
- Loki를 위한 DB Storage 구성 필요 / In memory or S3를 주로 사용

#### 로그 검색
1. 특정 시간 범위로 로그 검색

2. 파일 단위로 로그 검색

3. 키워드 검색

• 여러 필터링 조건을 조합하여 검색
  - 로그 라인에 키워드 포함 여부, 불포함 여부, 정규식 매칭 여부과 각 조건 AND, OR 처리로 검색 가능

4. 로그 검색 결과 예시