13P by xguru 2023-06-19 | favorite | 댓글 3개
  • Sequoia가 투자한 모든 거의 모든 회사가 제품에 ChatGPT와 같은 LLM을 도입중
  • 자신들 네트워크내의 회사들을 조사한 내용을 통해 2개의 AI 스택을 정리

LLM API Stack

  • LLM APIs : OpenAI, Anthropic, Cohere
  • Vector DB: AWS, pgvector, Pinecone, Qdrant, Weaviate, Chroma
  • Frameworks: LangChain, LlamaIndex, Anarchy
  • Text-To-Speech: Resemble.AI, ElevenLabs, Wellsaid
  • Monitoring: DISTYL, Guardrails, Helicone, HoveHive, Autoblocks

Custom Model Training / Tuning Stack

  • Compute: AWS, Azure, Google Cloud, Foundary, Lamba, MosaicML, Modal, Fireworks.ai
  • Model Hub: Hugging Face, Replicate
  • Frameworks: PyTorch, TensorFlow
  • Experimentation: Weights & Biases
  • Monitoring/Observability: Robust Intelligence, Gantry, Arthur, arise, Whylabs
  • Hosting: Replicate, HuggingFace

키포인트

  • 대부분의 회사가 LLM을 제품에 구축중
  • 언어 모델 API, 검색 및 오케스트레이션에 중점. 오픈소스 사용이 증가
  • 회사들은 언어 모델을 자신의 컨텍스트에 맞고 커스터마이징 하고 싶어함
  • 현재는 LLM API 스택과 모델 트레이닝 스택이 분리된 것처럼 보이지만 점점 합쳐질 것
  • 스택은 점점 더 개발자 친화적이 되어감
  • 언어 모델이 완전히 채택되려면 언어 모델의 신뢰성(품질, 데이터 프라이버시, 보안)을 높여야 함
  • 언어 모델 어플리케이션은 점 점 더 멀티 모달이 되어갈 것
  • 아직 극 초반임

개발 환경에 대한 현재 상황이 잘 이해되네요.
그런데 국내의 경우 어떤 수준일까요?

Vector DB 목록의 Seaviate는 Weaviate라는 벡터 데이터베이스의 오타인 것 같네요!

후다닥 고쳤습니다 ㅎ