# 내 스타트업에서 Splunk를 대체하는데 사용한 파이썬 스크립트 파일 1개

> Clean Markdown view of GeekNews topic #11077. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=11077](https://news.hada.io/topic?id=11077)
- GeekNews Markdown: [https://news.hada.io/topic/11077.md](https://news.hada.io/topic/11077.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-09-27T10:49:02+09:00
- Updated: 2023-09-27T10:49:02+09:00
- Original source: [github.com/Dicklesworthstone](https://github.com/Dicklesworthstone/automatic_log_collector_and_analyzer)
- Points: 8
- Comments: 1

## Topic Body

- 자동으로 AWS 와 다른 클라우드 서비스에서 Log 파일을 수집하고 분석하는 어플리케이션   
- 기능 동작 방식   
  - boto3(AWS) 와 Ansible 인벤토리 파일(그외 클라우드)를 이용하여 원격 기기에 SSH 연결을 수행   
  - 지정된 로그파일을 다운로드 하고 파싱해서 데이터베이스 입력을 위해 큐잉   
  - SQLAlchemy로 파싱된 큐에서 파싱된 로그 Entry를 SQLite에 삽입   
  - DB에 저장된 로그 Entry 처리 및 분석. 오류 항목을 찾고, 지정된 기준에 따라 집계된 데이터 뷰를 생성하는 함수 제공   
  - 각 원격 머신에서 네트워크 활동 데이터를 가져와서 처리   
  - Datasette를 이용해서 DB를 웹앱으로 공유

## Comments



### Comment 19537

- Author: xguru
- Created: 2023-09-27T10:50:01+09:00
- Points: 1

이런 글들이 항상 그렇지만, 조금 과대 포장 되었다는 것을 염두에 두고 봐야 합니다.   
뭐 어쨋거나 완벽하진 않겠지만 사용 용도에 따라서 간단한 스크립트만으로도 값비싼 시스템을 대체 가능하긴 합니다.  
비싼 도구를 들인다고 모든게 알아서 되진 않으니까요.   
  
[Datasette - 개인용 데이터 웨어하우스 오픈소스](https://news.hada.io/topic?id=6455)