Basaran - OpenAI Text Completion API의 오픈소스 대체제
(github.com/hyperonym)- Hugging Face Transformer 기반의 텍스트 생성 모델에 대해서 OpenAI와 호환되는 스트리밍 API를 제공
- 다른 LLM을 이용해서 OpenAI 서비스처럼 이용 가능
- 다양한 디코딩 전략을 이용한 스트리밍 생성 가능
- 디코더-온리 또는 인코더-디코더 모델 모두 지원
- surrogates 및 whitespace 를 지원하는 Detokenizer
- Quantization 옵션 가능. 멀티 GPU 지원
- SSE(Server-Sent Events)를 이용한 실시간 진행률 표시