Mistral AI의 새로운 플랫폼 서비스 베타 출시
- Mistral AI가 개발자들을 위해 강력한 오픈 생성 모델과 이를 효율적으로 배포하고 맞춤화할 수 있는 방법을 제공함.
- 텍스트 지시에 따라 텍스트를 생성하는 세 가지 챗봇 엔드포인트와 임베딩 엔드포인트를 제공하는 첫 플랫폼 서비스의 베타 접근을 오늘 시작함.
- 각 엔드포인트는 다른 성능/가격 트레이드오프를 가짐.
생성 엔드포인트
- 'mistral-tiny'와 'mistral-small'은 현재 공개된 두 모델을 사용하며, 'mistral-medium'은 배포 환경에서 테스트 중인 프로토타입 모델을 사용함.
- 모델들은 사용자가 쉽게 제어하고 사용하기 즐거운 모델을 만들기 위해 효율적인 미세 조정과 직접적인 선호도 최적화 같은 가장 효과적인 정렬 기술을 통합함.
- 'Mistral-tiny'는 영어만 지원하며, 'Mistral-small'은 여러 언어와 코드를 지원하고, 'Mistral-medium'은 최상위 서비스 모델 중 하나로 평가됨.
임베딩 엔드포인트
- 'Mistral-embed'는 검색 기능을 염두에 둔 임베딩 모델을 제공하며, 1024의 임베딩 차원을 가짐.
- 이 임베딩 모델은 MTEB에서 55.26의 검색 점수를 달성함.
API 사양
- API는 경쟁사가 처음 제안한 인기 있는 챗봇 인터페이스의 사양을 따름.
- Python과 Javascript 클라이언트 라이브러리를 제공하여 엔드포인트를 쿼리할 수 있음.
- 엔드포인트는 사용자가 모델 출력에 대한 더 높은 수준의 모더레이션을 설정할 수 있도록 시스템 프롬프트를 제공할 수 있음.
베타 접근에서 일반 사용 가능성으로의 확장
- 오늘부터 누구나 API를 등록하여 사용할 수 있으며, 용량을 점진적으로 늘려갈 예정임.
- 비즈니스 팀이 요구 사항을 파악하고 접근을 가속화하는 데 도움을 줄 수 있음.
- 플랫폼을 완전히 자체 서비스 가능한 상태로 안정화하는 과정에서 불안정한 부분이 있을 수 있음.
감사의 말
- NVIDIA가 TensorRT-LLM과 Triton 통합을 지원하고, TRT-LLM과 호환되는 희소 전문가 혼합을 만드는 데 함께 작업해준 것에 대해 감사함.
GN⁺의 의견
- 이 기사에서 가장 중요한 것은 Mistral AI가 새로운 생성 모델과 임베딩 모델을 개발자들에게 제공하며, 이를 통해 더 나은 텍스트 생성과 임베딩 기능을 사용할 수 있게 되었다는 점임.
- 이러한 기술은 인공지능의 발전을 촉진하고, 다양한 언어와 코드를 지원하는 능력은 글로벌 시장에서의 응용 가능성을 크게 확장시킬 것임.
- 개발자들에게는 새로운 도구와 API를 통해 창의적인 프로젝트와 솔루션을 개발할 수 있는 흥미로운 기회를 제공하고, 이는 기술의 미래에 대한 기대를 높이는 소식임.