Athena로 CloudWatch Logs query 하기

(engineering.ab180.co)

9P by toughrogrammer 2022-01-04 | favorite | 댓글 4개

- CloudWatch Logs의 아쉬운 점
- Logs Insights를 활용해도 해결이 어려운 부분이 있음
- Athena Federated Query로 CloudWatch Logs query 시도
- query가 너무 오래 걸리고
- 불친절한 error log 및 문서 때문에 troubleshooting이 어려움
- 결국 클래식한 방법인 Firehose로 S3에 unloading 하고 Athena로 query
- 이 방법에서 고려했던 사항들
- Firehose dynamic partitioning
- Athena partition projection
- Firehose buffer size & interval
- 주의 사항
- CloudWatch Logs subscription filter 개수 제한
- Log format
- 비용
- IaC
- Athena table DDL을 terraforming