Vector - 고성능 Observability 데이터 파이프라인 오픈소스

• 사용자가 관측 가능한 데이터를 통제할 수 있는 고성능의 end-to-end(에이전트 및 집계기) Observability 데이터 파이프라인 플랫폼
• 로그와 메트릭을 수집, 변환, 라우팅하여 현재 원하는 모든 벤더에게 보낼 수 있으며, 미래에 원할 수 있는 다른 벤더에게도 보낼 수 있음
• 비용을 절감하며, 새로운 데이터 강화(Enrichment), 데이터 보안을 제공하며, 오픈 소스이고 다른 대안보다 최대 10배 빠른 속도를 자랑함

원칙

• 신뢰성 - Rust로 구축되어 신뢰성이 주요 설계 목표
• End-to-end - Agent 또는 Aggregator로 배포됨. Vector는 완전한 플랫폼임
• 통합성 - 로그, 메트릭(베타), 추적(곧 출시 예정). 모든 데이터를 위한 하나의 도구임

사용 사례

• 전체 Observability 비용 감소
• 워크플로우를 방해하지 않고 공급업체 전환
• 데이터 품질 향상 및 인사이트 개선
• 에이전트 통합 및 에이전트 피로도 제거
• 전반적인 관찰 가능성 성능 및 신뢰성 향상

커뮤니티

• Atlassian, T-Mobile, Comcast, Zendesk, Discord, Fastly, CVS, Trivago, Tuple, Douban, Visa, Mambu, Blockfi, Claranet, Instacart, 등과 같은 스타트업 및 대기업이 Vector에 의존함
• Vector는 하루에 100,000번 이상 다운로드됨
• Vector의 가장 큰 사용자는 매일 30TB 이상의 데이터를 처리함
• Vector는 100명 이상의 기여자를 보유하고 있으며 계속 성장 중임

[softer]

로그 파이프라인 와드

[xguru]

Hacker News 의견

• Vector 소프트웨어에 대한 긍정적인 평가

  • Vector는 멀티-GB/s 로그 파이프라인을 운영하는 데 훌륭한 소프트웨어임.
  • Vector 에이전트는 DaemonSets로서 pod와 journald 로그를 수집하고, Vector의 protobuf 프로토콜을 사용하여 중앙 Vector 집계기(Deployment)로 전송함.
  • 다양한 저장소(s3, gcs/bigquery, loki, prom)를 지원함.
  • 문서화는 잘 되어 있으나 일반적인 패턴의 예시를 찾기 어려울 수 있으나, 시간이 지나고 사용자가 늘어나면서 개선되고 있음.
  • Google에서 "vector dev "로 검색하는 것이 좋은 결과를 얻는 팁임.
  • 최근에는 Prometheus pushgateway의 대안으로 카운터를 더 잘 처리하는 기여가 추가됨.

• 로그 저장 시스템에 대한 비전과 기대

  • 로그 처리 및 저장 시스템이 거의 준비되어 있으며, 중장기적으로 쿼리 가능한 로그 저장 시스템으로 발전할 것으로 기대함.
  • 로그는 Vector와 같은 도구로 처리되어 객체 저장소에 널리 이해되는 파일 형식으로 저장됨.
  • 로그 객체는 메타데이터 저장소에 등록되어 검색 가능함.
  • Delta Lake나 Iceberg와 같은 도구들이 크고 작은 규모에서 모두 작동할 수 있음.
  • 여러 로그 처리 파이프라인이 동일한 저장소에 커밋할 수 있음.
  • Clickhouse, DuckDB, Spark 등의 고성능 도구들이 이를 읽을 수 있음.
  • 표준 형식을 사용하므로 도구를 전환하거나 동시에 여러 도구를 사용하는 것이 가능함.

• Vector의 신뢰성과 유용성

  • Vector는 beats나 벤더 특정 포워더(chronicle forwarder, fdr)보다 훨씬 더 신뢰할 수 있음.
  • Vrl은 aws cloudtrail과 imperva abp와 같은 대규모 로그를 "사전 파싱"하는 데 유용함.

• Vector 사용 경험과 추천

  • Vector를 사용해본 경험이 있으며, 설정이 간단하고 vrl 언어가 충분히 강력함.
  • CLI의 "check" 기능은 구성 문제를 잡아내는 데 도움을 줌.
  • 성능 면에서 문제가 없으며 자원 효율적임을 강조하며 추천함.

• Vector의 다재다능함

  • Vector는 단순한 "고성능"을 넘어서 로그와 메트릭스를 위한 스위스 군용 칼과 같음.
  • 로그를 메트릭스로 변환하거나, 메트릭스를 다른 형식으로 변환하고, 다른 데이터 저장소로 푸시하고, 필터링하는 등 다양한 작업에 사용됨.
  • 관측 가능한 데이터를 수집, 집계, 필터링, 사전 처리하는 데 있어 첫 번째 선택임.

• Vector에 대한 관심과 기대

  • 새로운 fluent-bit 파이프라인을 설정한 후에 Vector에 대해 알게 됨.
  • Vector에는 흥미로운 기능들이 많으며, 시간이 나면 더 빨리 사용해보고 싶은 마음임.
  • 새 프로젝트에서 시도해볼 수 있을 것 같아 재미있을 것으로 기대됨.

• Vector의 적용 범위와 가능성

  • Vector에 대해 알게 된 것은 대부분 데이터베이스나 복잡한 멀티 테넌트 애플리케이션을 대상으로 한 예시와 토론임.
  • 자율 주행 차량과 같은 분산 시스템에서 Vector를 사용하여 운영 로그, 시스템 상태, 각 애플리케이션의 입력 및 출력을 집계하는 목적으로 사용해본 사람이 있는지 궁금함.

• Vector의 실제 사용 사례와 추가적인 활용 가능성

  • 로그 전송을 위해 Vector를 사용하고 있으며, 필요한 작업을 수행하지 못했던 logstash 설정을 대체함.
  • Vector의 가능성을 겨우 파악하기 시작했으며, 더 많이 사용하고 싶은 욕구가 있음.
  • 로그 전송 외에 Vector를 사용한 사례에 대한 정보를 원함.

• Datadog에 대한 신뢰 문제

  • Datadog이 OTEL 경쟁자로 보이는 Vector를 관리하는 것에 대해 신뢰가 가지 않음.

• Vector의 기능과 추후 관찰 계획

  • Vector는 흥미롭지만, 추적 기능이 없어 현재 사용할 수 없음.
  • 앞으로 몇 달 동안 Vector를 관찰할 계획이며, 사용할 수 있는 좋은 기능이 있을 것으로 기대됨.