▲

Vector - 고성능 Observability 데이터 파이프라인 오픈소스

 (github.com/vectordotdev)
13P by xguru 9달전 | favorite | 댓글 1개
  • 사용자가 관측 가능한 데이터를 통제할 수 있는 고성능의 end-to-end(에이전트 및 집계기) Observability 데이터 파이프라인 플랫폼
  • 로그와 메트릭을 수집, 변환, 라우팅하여 현재 원하는 모든 벤더에게 보낼 수 있으며, 미래에 원할 수 있는 다른 벤더에게도 보낼 수 있음
  • 비용을 절감하며, 새로운 데이터 강화(Enrichment), 데이터 보안을 제공하며, 오픈 소스이고 다른 대안보다 최대 10배 빠른 속도를 자랑함

원칙

  • 신뢰성 - Rust로 구축되어 신뢰성이 주요 설계 목표
  • End-to-end - Agent 또는 Aggregator로 배포됨. Vector는 완전한 플랫폼임
  • 통합성 - 로그, 메트릭(베타), 추적(곧 출시 예정). 모든 데이터를 위한 하나의 도구임

사용 사례

  • 전체 Observability 비용 감소
  • 워크플로우를 방해하지 않고 공급업체 전환
  • 데이터 품질 향상 및 인사이트 개선
  • 에이전트 통합 및 에이전트 피로도 제거
  • 전반적인 관찰 가능성 성능 및 신뢰성 향상

커뮤니티

  • Atlassian, T-Mobile, Comcast, Zendesk, Discord, Fastly, CVS, Trivago, Tuple, Douban, Visa, Mambu, Blockfi, Claranet, Instacart, 등과 같은 스타트업 및 대기업이 Vector에 의존함
  • Vector는 하루에 100,000번 이상 다운로드됨
  • Vector의 가장 큰 사용자는 매일 30TB 이상의 데이터를 처리함
  • Vector는 100명 이상의 기여자를 보유하고 있으며 계속 성장 중임
▲
xguru 9달전  [-]

Hacker News 의견

  • Vector 소프트웨어에 대한 긍정적인 평가

    • Vector는 멀티-GB/s 로그 파이프라인을 운영하는 데 훌륭한 소프트웨어임.
    • Vector 에이전트는 DaemonSets로서 pod와 journald 로그를 수집하고, Vector의 protobuf 프로토콜을 사용하여 중앙 Vector 집계기(Deployment)로 전송함.
    • 다양한 저장소(s3, gcs/bigquery, loki, prom)를 지원함.
    • 문서화는 잘 되어 있으나 일반적인 패턴의 예시를 찾기 어려울 수 있으나, 시간이 지나고 사용자가 늘어나면서 개선되고 있음.
    • Google에서 "vector dev "로 검색하는 것이 좋은 결과를 얻는 팁임.
    • 최근에는 Prometheus pushgateway의 대안으로 카운터를 더 잘 처리하는 기여가 추가됨.

  • 로그 저장 시스템에 대한 비전과 기대

    • 로그 처리 및 저장 시스템이 거의 준비되어 있으며, 중장기적으로 쿼리 가능한 로그 저장 시스템으로 발전할 것으로 기대함.
    • 로그는 Vector와 같은 도구로 처리되어 객체 저장소에 널리 이해되는 파일 형식으로 저장됨.
    • 로그 객체는 메타데이터 저장소에 등록되어 검색 가능함.
    • Delta Lake나 Iceberg와 같은 도구들이 크고 작은 규모에서 모두 작동할 수 있음.
    • 여러 로그 처리 파이프라인이 동일한 저장소에 커밋할 수 있음.
    • Clickhouse, DuckDB, Spark 등의 고성능 도구들이 이를 읽을 수 있음.
    • 표준 형식을 사용하므로 도구를 전환하거나 동시에 여러 도구를 사용하는 것이 가능함.

  • Vector의 신뢰성과 유용성

    • Vector는 beats나 벤더 특정 포워더(chronicle forwarder, fdr)보다 훨씬 더 신뢰할 수 있음.
    • Vrl은 aws cloudtrail과 imperva abp와 같은 대규모 로그를 "사전 파싱"하는 데 유용함.

  • Vector 사용 경험과 추천

    • Vector를 사용해본 경험이 있으며, 설정이 간단하고 vrl 언어가 충분히 강력함.
    • CLI의 "check" 기능은 구성 문제를 잡아내는 데 도움을 줌.
    • 성능 면에서 문제가 없으며 자원 효율적임을 강조하며 추천함.

  • Vector의 다재다능함

    • Vector는 단순한 "고성능"을 넘어서 로그와 메트릭스를 위한 스위스 군용 칼과 같음.
    • 로그를 메트릭스로 변환하거나, 메트릭스를 다른 형식으로 변환하고, 다른 데이터 저장소로 푸시하고, 필터링하는 등 다양한 작업에 사용됨.
    • 관측 가능한 데이터를 수집, 집계, 필터링, 사전 처리하는 데 있어 첫 번째 선택임.

  • Vector에 대한 관심과 기대

    • 새로운 fluent-bit 파이프라인을 설정한 후에 Vector에 대해 알게 됨.
    • Vector에는 흥미로운 기능들이 많으며, 시간이 나면 더 빨리 사용해보고 싶은 마음임.
    • 새 프로젝트에서 시도해볼 수 있을 것 같아 재미있을 것으로 기대됨.

  • Vector의 적용 범위와 가능성

    • Vector에 대해 알게 된 것은 대부분 데이터베이스나 복잡한 멀티 테넌트 애플리케이션을 대상으로 한 예시와 토론임.
    • 자율 주행 차량과 같은 분산 시스템에서 Vector를 사용하여 운영 로그, 시스템 상태, 각 애플리케이션의 입력 및 출력을 집계하는 목적으로 사용해본 사람이 있는지 궁금함.

  • Vector의 실제 사용 사례와 추가적인 활용 가능성

    • 로그 전송을 위해 Vector를 사용하고 있으며, 필요한 작업을 수행하지 못했던 logstash 설정을 대체함.
    • Vector의 가능성을 겨우 파악하기 시작했으며, 더 많이 사용하고 싶은 욕구가 있음.
    • 로그 전송 외에 Vector를 사용한 사례에 대한 정보를 원함.

  • Datadog에 대한 신뢰 문제

    • Datadog이 OTEL 경쟁자로 보이는 Vector를 관리하는 것에 대해 신뢰가 가지 않음.

  • Vector의 기능과 추후 관찰 계획

    • Vector는 흥미롭지만, 추적 기능이 없어 현재 사용할 수 없음.
    • 앞으로 몇 달 동안 Vector를 관찰할 계획이며, 사용할 수 있는 좋은 기능이 있을 것으로 기대됨.
답변달기