내 스타트업에서 Splunk를 대체하는데 사용한 파이썬 스크립트 파일 1개
(github.com/Dicklesworthstone)- 자동으로 AWS 와 다른 클라우드 서비스에서 Log 파일을 수집하고 분석하는 어플리케이션
- 기능 동작 방식
- boto3(AWS) 와 Ansible 인벤토리 파일(그외 클라우드)를 이용하여 원격 기기에 SSH 연결을 수행
- 지정된 로그파일을 다운로드 하고 파싱해서 데이터베이스 입력을 위해 큐잉
- SQLAlchemy로 파싱된 큐에서 파싱된 로그 Entry를 SQLite에 삽입
- DB에 저장된 로그 Entry 처리 및 분석. 오류 항목을 찾고, 지정된 기준에 따라 집계된 데이터 뷰를 생성하는 함수 제공
- 각 원격 머신에서 네트워크 활동 데이터를 가져와서 처리
- Datasette를 이용해서 DB를 웹앱으로 공유