Basaran - OpenAI Text Completion API의 오픈소스 대체제

• Hugging Face Transformer 기반의 텍스트 생성 모델에 대해서 OpenAI와 호환되는 스트리밍 API를 제공
  • 다른 LLM을 이용해서 OpenAI 서비스처럼 이용 가능
• 다양한 디코딩 전략을 이용한 스트리밍 생성 가능
• 디코더-온리 또는 인코더-디코더 모델 모두 지원
• surrogates 및 whitespace 를 지원하는 Detokenizer
• Quantization 옵션 가능. 멀티 GPU 지원
• SSE(Server-Sent Events)를 이용한 실시간 진행률 표시