# GPTCache - LLM 질의에 대한 답변을 캐싱하는 라이브러리

> Clean Markdown view of GeekNews topic #9025. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=9025](https://news.hada.io/topic?id=9025)
- GeekNews Markdown: [https://news.hada.io/topic/9025.md](https://news.hada.io/topic/9025.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-04-24T10:03:05+09:00
- Updated: 2023-04-24T10:03:05+09:00
- Original source: [github.com/zilliztech](https://github.com/zilliztech/GPTCache)
- Points: 13
- Comments: 0

## Topic Body

- LLM의 답변을 캐시하여 조직의 LLM 비용을 줄이고 답변 속도를 빠르게   
- 시맨틱 캐싱 전략을 통해서 비슷하거나 관련된 질의를 찾아서 캐시 히트율을 높임   
  - 임베딩 알고리듬을 통해 질의를 임베딩으로 변환하고 벡터 스토어를 통하여 이 임베팅에 대한 연관 검색을 수행   
- LLM Adapter : OpenAI ChatGPT 및 LangChain 지원 (Bard/Anthropic/LLaMA 등도 지원 예정)  
- MultiModal Adapter : OpenAI Image Create, OpenAI Audio Transribe, HuggingFace Stable Diffusion   
- Embedding Generator : OpenAI, ONNX, HuggingFace, Cohere, fastText, SentenceTransformers   
- Cache Storage : SQLite, PostgreSQL, MySQL, SQLServer,..  
- Vector Store : Mulvus, Zilliz Cloud, FAISS, Hnswlib   
- Cache Manager : LRU, FIFO

## Comments



_No public comments on this page._