# Basaran - OpenAI Text Completion API의 오픈소스 대체제

> Clean Markdown view of GeekNews topic #10178. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=10178](https://news.hada.io/topic?id=10178)
- GeekNews Markdown: [https://news.hada.io/topic/10178.md](https://news.hada.io/topic/10178.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-08-04T11:04:02+09:00
- Updated: 2023-08-04T11:04:02+09:00
- Original source: [github.com/hyperonym](https://github.com/hyperonym/basaran)
- Points: 9
- Comments: 0

## Topic Body

- Hugging Face Transformer 기반의 텍스트 생성 모델에 대해서 OpenAI와 호환되는 스트리밍 API를 제공   
  - 다른 LLM을 이용해서 OpenAI 서비스처럼 이용 가능   
- 다양한 디코딩 전략을 이용한 스트리밍 생성 가능   
- 디코더-온리 또는 인코더-디코더 모델 모두 지원   
- surrogates 및 whitespace 를 지원하는 Detokenizer   
- Quantization 옵션 가능. 멀티 GPU 지원   
- SSE(Server-Sent Events)를 이용한 실시간 진행률 표시

## Comments



_No public comments on this page._