내 스타트업에서 Splunk를 대체하는데 사용한 파이썬 스크립트 파일 1개
(github.com/Dicklesworthstone)- 자동으로 AWS 와 다른 클라우드 서비스에서 Log 파일을 수집하고 분석하는 어플리케이션
- 기능 동작 방식
- boto3(AWS) 와 Ansible 인벤토리 파일(그외 클라우드)를 이용하여 원격 기기에 SSH 연결을 수행
- 지정된 로그파일을 다운로드 하고 파싱해서 데이터베이스 입력을 위해 큐잉
- SQLAlchemy로 파싱된 큐에서 파싱된 로그 Entry를 SQLite에 삽입
- DB에 저장된 로그 Entry 처리 및 분석. 오류 항목을 찾고, 지정된 기준에 따라 집계된 데이터 뷰를 생성하는 함수 제공
- 각 원격 머신에서 네트워크 활동 데이터를 가져와서 처리
- Datasette를 이용해서 DB를 웹앱으로 공유
이런 글들이 항상 그렇지만, 조금 과대 포장 되었다는 것을 염두에 두고 봐야 합니다.
뭐 어쨋거나 완벽하진 않겠지만 사용 용도에 따라서 간단한 스크립트만으로도 값비싼 시스템을 대체 가능하긴 합니다.
비싼 도구를 들인다고 모든게 알아서 되진 않으니까요.