미스트랄: 첫 AI 엔드포인트, 조기 접근 가능

Mistral AI의 새로운 플랫폼 서비스 베타 출시

• Mistral AI가 개발자들을 위해 강력한 오픈 생성 모델과 이를 효율적으로 배포하고 맞춤화할 수 있는 방법을 제공함.
• 텍스트 지시에 따라 텍스트를 생성하는 세 가지 챗봇 엔드포인트와 임베딩 엔드포인트를 제공하는 첫 플랫폼 서비스의 베타 접근을 오늘 시작함.
• 각 엔드포인트는 다른 성능/가격 트레이드오프를 가짐.

생성 엔드포인트

• 'mistral-tiny'와 'mistral-small'은 현재 공개된 두 모델을 사용하며, 'mistral-medium'은 배포 환경에서 테스트 중인 프로토타입 모델을 사용함.
• 모델들은 사용자가 쉽게 제어하고 사용하기 즐거운 모델을 만들기 위해 효율적인 미세 조정과 직접적인 선호도 최적화 같은 가장 효과적인 정렬 기술을 통합함.
• 'Mistral-tiny'는 영어만 지원하며, 'Mistral-small'은 여러 언어와 코드를 지원하고, 'Mistral-medium'은 최상위 서비스 모델 중 하나로 평가됨.

임베딩 엔드포인트

• 'Mistral-embed'는 검색 기능을 염두에 둔 임베딩 모델을 제공하며, 1024의 임베딩 차원을 가짐.
• 이 임베딩 모델은 MTEB에서 55.26의 검색 점수를 달성함.

API 사양

• API는 경쟁사가 처음 제안한 인기 있는 챗봇 인터페이스의 사양을 따름.
• Python과 Javascript 클라이언트 라이브러리를 제공하여 엔드포인트를 쿼리할 수 있음.
• 엔드포인트는 사용자가 모델 출력에 대한 더 높은 수준의 모더레이션을 설정할 수 있도록 시스템 프롬프트를 제공할 수 있음.

베타 접근에서 일반 사용 가능성으로의 확장

• 오늘부터 누구나 API를 등록하여 사용할 수 있으며, 용량을 점진적으로 늘려갈 예정임.
• 비즈니스 팀이 요구 사항을 파악하고 접근을 가속화하는 데 도움을 줄 수 있음.
• 플랫폼을 완전히 자체 서비스 가능한 상태로 안정화하는 과정에서 불안정한 부분이 있을 수 있음.

감사의 말

• NVIDIA가 TensorRT-LLM과 Triton 통합을 지원하고, TRT-LLM과 호환되는 희소 전문가 혼합을 만드는 데 함께 작업해준 것에 대해 감사함.

GN⁺의 의견

• 이 기사에서 가장 중요한 것은 Mistral AI가 새로운 생성 모델과 임베딩 모델을 개발자들에게 제공하며, 이를 통해 더 나은 텍스트 생성과 임베딩 기능을 사용할 수 있게 되었다는 점임.
• 이러한 기술은 인공지능의 발전을 촉진하고, 다양한 언어와 코드를 지원하는 능력은 글로벌 시장에서의 응용 가능성을 크게 확장시킬 것임.
• 개발자들에게는 새로운 도구와 API를 통해 창의적인 프로젝트와 솔루션을 개발할 수 있는 흥미로운 기회를 제공하고, 이는 기술의 미래에 대한 기대를 높이는 소식임.

[GN⁺]

Hacker News 의견

• 작은 회사(약 30명 규모)가 20억 달러의 평가를 받고, 가장 성능이 좋은 70억 모델과 70억*8 MOE 모델을 만들어냄. 이 모델들은 700억 모델의 성능을 내면서 140억 모델의 추론 파워만 필요함. 이는 OpenAI보다 더 큰 위협이 될 수 있으며, 최근의 투자로 인해 곧 트래픽 부하를 감당할 수 있게 확장하고, 업계의 다양한 문제에 실망한 최고의 연구원들을 끌어들일 수 있을 것임.
• Mistral-medium 모델이 벤치마크에서 GPT-3.5와 Google의 Gemini Pro 모델을 큰 차이로 이김. 실제 성능도 벤치마크만큼 인상적일 것으로 기대되며, 안전 필터가 선택적으로 제공되는 것은 안전한 애플리케이션에도 큰 이점임.
• Mistral의 가격이 공개됨. Mistral-medium은 100만 출력 토큰당 8달러, Mistral-small은 1.94달러로, GPT-3.5와 GPT-4의 가격과 비교했을 때 경쟁력이 있음을 시사함.
• Fabrice Bellard의 TextSynth 서버가 Mistral 7B 모델을 지원하기 시작함. CUDA 지원, BNF 문법 및 JSON 스키마 샘플링 등의 기능이 추가됨.
• 경쟁은 세계를 발전시키는 방법임. 작고 큰 플레이어들이 경쟁적인 모델을 가지고 있어 기쁨. 벤치마크를 발표할 때 자신들에게 유리하게 조정된 테스트 방식이 아쉬움. 오픈 벤치마크를 통해 주요 모델들을 공정하게 비교하는 작업이 필요함.
• 이러한 모델들의 컨텍스트 크기 제한에 대한 논의가 부족함. 슬라이딩 윈도우 기술은 실제로 기억력을 약 8k 토큰으로 제한하여 많은 작업에 부족함. Llama2 파생 모델들은 파라미터 수 때문만이 아니라 제공되는 작은 컨텍스트 때문에 미세 조정이 필요함.
• "조기 접근 가능한 엔드포인트"는 실제로는 "엔드포인트에 대한 조기 접근을 위한 대기 목록"을 의미함. API 접근은 현재 초대 전용이며, 최고의 모델에 대한 접근을 구독할 수 있을 때 알려줄 것임.
• ChatGPT-3.5를 이긴 것은 정말 대단한 성과임. GPT-3.5는 일상적인 것들에 충분하지 않아 GPT-4에 대한 기대가 큼.
• Mistral API가 경쟁사가 제안한 인기 있는 채팅 인터페이스의 사양을 따름. 이는 재미있고 마음에 듦.
• Mistral-embed는 1024 차원의 임베딩 모델을 제공하며, 검색 능력을 염두에 두고 설계됨. MTEB에서 55.26의 검색 점수를 달성함. 이 임베딩 모델이 오픈 소스로 제공될지에 대한 정보는 아직 없음.