# AI 어플리케이션을 위한 새로운 Language Model Stack

> Clean Markdown view of GeekNews topic #9429. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=9429](https://news.hada.io/topic?id=9429)
- GeekNews Markdown: [https://news.hada.io/topic/9429.md](https://news.hada.io/topic/9429.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-06-19T10:41:01+09:00
- Updated: 2023-06-19T10:41:01+09:00
- Original source: [sequoiacap.com](https://www.sequoiacap.com/article/llm-stack-perspective/)
- Points: 13
- Comments: 3

## Topic Body

- Sequoia가 투자한 모든 거의 모든 회사가 제품에 ChatGPT와 같은 LLM을 도입중   
- 자신들 네트워크내의 회사들을 조사한 내용을 통해 2개의 AI 스택을 정리   
### LLM API Stack   
- LLM APIs : OpenAI, Anthropic, Cohere   
- Vector DB: AWS, pgvector, Pinecone, Qdrant, Weaviate, Chroma   
- Frameworks: LangChain, LlamaIndex, Anarchy  
- Text-To-Speech: Resemble.AI, ElevenLabs, Wellsaid   
- Monitoring: DISTYL, Guardrails, Helicone, HoveHive, Autoblocks   
### Custom Model Training / Tuning Stack   
- Compute: AWS, Azure, Google Cloud, Foundary, Lamba, MosaicML, Modal, Fireworks.ai   
- Model Hub: Hugging Face, Replicate   
- Frameworks: PyTorch, TensorFlow   
- Experimentation: Weights & Biases   
- Monitoring/Observability: Robust Intelligence, Gantry, Arthur, arise, Whylabs  
- Hosting: Replicate, HuggingFace   
### 키포인트   
- 대부분의 회사가 LLM을 제품에 구축중   
- 언어 모델 API, 검색 및 오케스트레이션에 중점. 오픈소스 사용이 증가   
- 회사들은 언어 모델을 자신의 컨텍스트에 맞고 커스터마이징 하고 싶어함   
- 현재는 LLM API 스택과 모델 트레이닝 스택이 분리된 것처럼 보이지만 점점 합쳐질 것   
- 스택은 점점 더 개발자 친화적이 되어감   
- 언어 모델이 완전히 채택되려면 언어 모델의 신뢰성(품질, 데이터 프라이버시, 보안)을 높여야 함   
- 언어 모델 어플리케이션은 점 점 더 멀티 모달이 되어갈 것   
- 아직 극 초반임

## Comments



### Comment 16620

- Author: gcback
- Created: 2023-06-19T18:58:18+09:00
- Points: 1

개발 환경에 대한 현재 상황이 잘 이해되네요.  
그런데 국내의 경우 어떤 수준일까요?

### Comment 16599

- Author: bigbreadguy
- Created: 2023-06-19T10:51:13+09:00
- Points: 1

Vector DB 목록의 Seaviate는 Weaviate라는 벡터 데이터베이스의 오타인 것 같네요!

### Comment 16600

- Author: xguru
- Created: 2023-06-19T10:53:47+09:00
- Points: 1
- Parent comment: 16599
- Depth: 1

후다닥 고쳤습니다 ㅎ