Benchi - 벤치마크 자동화 도구

• 최소한의 설정으로도 성능 벤치마크를 실행할 수 있도록 설계된 경량 벤치마킹 프레임워크로, 어플리케이션 및 인프라 성능 측정을 단순화하기 위해 개발
• 벤치마크 환경은 Docker Compose 구성 파일을 통해 정의되며, 컨테이너 상태 모니터링 및 결과 수집이 자동화되어 있음
• 주요 기능
  • Docker 통합: Compose 파일을 통해 테스트 환경을 정의하고 실행함
  • CSV 메트릭 수집: 수집된 성능 지표는 CSV로 저장되어 후처리에 용이하며, trimmed mean 방식으로 상하위 5%를 제거한 평균값이 계산
  • 사용자 정의 hook: 각 단계별로 커스텀 명령어를 실행하는 hook을 설정하여 커맨드 실행 가능 (ex. pre-infra, post-test 등)
  • 실시간 상태 모니터링: 벤치마크 중 컨테이너 상태 및 수집 지표 확인 가능
• 측정된 메트릭은 CSV 형식으로 저장되며,됨
• Prometheus, Docker, Kafka, Conduit 등 다양한 메트릭 수집기(collector) 를 지원함