OpenAI, ChatGPT 와 Whisper API 공개
(openai.com)- 이제 ChatGPT 및 Speech-To-Text 기능을 자신의 앱 내에서 활용 가능
- 12월 ChatGPT 발표이후 최적화를 통해서 90% 비용 절감을 달성했고, 이걸 API 사용자에게 제공
ChatGPT API
- gpt-3.5-turbo 모델을 사용하며, 현재 ChatGPT 제품에서 사용하는 것과 같음
- 1k 토큰당 $0.002 로 기존 GPT-3.5 보다 10배 저렴
- 채팅외의 목적으로도 가장 좋은 모델로, 기존 text-davinci-003 을 gpt-3.5-turbo 로 쉽게 전환 가능(전환을 권장)
- API는 토큰으로 이뤄진 구조화되지 않은 텍스트를 입력 받음
- 내부적으로는 ChatML 이라 불리는 토큰의 시퀀스로 렌더링 됨
- gpt-3.5-turbo 는 최신버전으로 계속 업그레이드 할 예정. 현재는 gpt-3.5-turbo-0301 로 6/1까지 지원 예정
- 4월에 새로운 안정버전을 출시 예정
- Dedicated Instance 도 별도 제공 (더 긴 컨텍스트 지원 및 하루에 4.5억개 이상의 토큰을 실행하는 사용자에게 적합)
Whisper API
- 2022년 9월에 오픈소스로 공개한 Speech-To-Text 모델
- 개발자 커뮤니티에서 좋은 평가를 받았지만, 운영하기는 힘들었음
- large-v2 모델을 API로 사용가능하며, $0.006/분
- transcriptions / translations 엔드포인트에서 이용 가능
- m4a, mp3, mp4, mpeg, mpga, wav, webm 포맷 지원
초기 사용 회사들
- Snap : My AI for Snapchat+ 라는 ChatGPT 기반 챗봇을 제공. 추천 및 친구들을 위한 시(하이쿠)를 작성
- Quizlet : 공부한 내역에 맞는 질문을 해주는 적응형 AI 튜터인 Q-Chat에 ChatGPT 적용
- Instacart : 음식에 대해서 질문하고 답변 받을수 있는 Ask 기능에 도입
- Shopify : Shop 앱에 쇼핑 도우미 기능을 도입
- Speak (한국) : Whisper API를 이용한 언어 교육 앱.
원문에는 1k 토큰당 $0.002로 나와있네요.
It is priced at $0.002 per 1k tokens
그리고 토큰의 정의가 궁금해서 조금 더 찾아보니 in/output 글자 수에 따라 정해지나봐요.
The number of tokens processed in a given API request depends on the length of both your inputs and outputs. As a rough rule of thumb, 1 token is approximately 4 characters or 0.75 words for English text.
매주 새로운 ai뉴스들이 쏟아지네요.. 기대도 되고, 무섭기도 하지만.. 트렌드를 놓치지 않으려 하니 피로감도 상당한 것 같습니다.