OpenAI, DevDay에서 새로운 모델 및 개발자 제품 공개

• 128K 문맥 창을 지원하는 GPT-4 Turbo 모델, Vision이 포함된 GPT-4 API, Assistant API, DALL-E 3 API, 새로운 GPT-3.5 Turbo 등 공개.
• GPT-4 Turbo
  • 128K 문맥 창(Context Window)을 지원하며, 2023년 4월 기준 데이터로 훈련됨.
  • GPT-4 대비 입력 토큰은 3배, 출력 토큰은 2배 저렴함.
  • 특정 형식으로 응답하는 지침을 더 잘 따르며, JSON 응답이 보장되는 JSON 모드도 있음.
  • seed 기반으로 재현할 수 있는 출력을 지원하며 출력에 대한 로그 확률을 반환하는 기능을 추가할 예정.
  • GPT-3.5 Turbo도 같이 업데이트됨.
• Assistants API
  • 코드 인터프리터, 검색, 함수 호출 기능을 가진 특수 목적 AI.
  • 스레드 기반으로 상태를 관리하여 무한히 긴 내용도 처리 가능.
  • 코드 인터프리터 - 샌드박스 환경에서 Python 코드를 작성하고 실행할 수 있음.
  • 검색 - 사용자가 제공한 문서 등 모델 외부의 지식으로 내용을 검색하고 응답.
  • 함수 호출 - 사용자가 정의한 함수를 적절하게 호출하고, 응답을 결과에 포함할 수 있음.
• 그 외 신규 API
  • GPT-4 Turbo에 이미지를 인식하는 기능이 추가됨,
  • DALL-E 3가 API로 출시되었으며, 이미지 생성당 0.04 달러.
  • TTS API가 추가됨.
• 모델 커스터마이징
  • GPT-4 미세 조정 모델이 실험적 액세스로 출시될 예정.
  • 거대 조직을 위해 사용자 정의 모델을 제작하기 위한 맞춤형 모델 서비스 제공.
    • 수십억 토큰 이상의 독점 데이터 세트를 통한 훈련 등.
• 가격 인하
  • GPT-4 Turbo 128K는 입력 토큰당 0.01 달러, 출력 토큰당 0.03 달러.
    • 기존에 비해 입력 토큰은 3배, 출력 토큰은 2배 저렴해짐.
  • GPT-3.5 Turbo 16K는 입력 토큰당 0.001 달러, 출력 토큰당 0.002 달러에 제공.
    • 기존에 비해 입력 토큰은 3배, 출력 토큰은 2배 저렴해졌으며, 4K 모델에 비해서도 입력 토큰인 33% 저렴해짐.
  • GPT-3.5 Turbo의 미세 조정 모델은 입력 토큰당 0.003 달러, 출력 토큰당 0.006 달러에 제공.
    • 기존에 비해 입력 토큰은 4배, 출력 토큰은 2.7배 저렴해짐.

[xguru]

어제부터 GN⁺ 에도 GPT-4 Turbo 를 적용했는데요.
확실히 답변이 빨라지고, 명령을 더 잘 알아 듣습니다.
지시한 대로 잘 요약하고 결과물도 깔끔하게 뽑아주네요.
원래는 영어 프롬프트를 섞어서 썼는데, 이제는 한국어 프롬프트만으로도 훌륭하게 답변이 잘 나오고요.

[botplaysdice]

AI 를 잘은 모르지만, 가격 하락의 속도는 점점 더 빨라지겠죠? 진짜 1, 2년 후의 세상이 예상이 안되네요.

[tkwlsrl]

위 토큰당 가격은 1000토큰당 가격입니다. 참고하세요.

[shw00]

와 128K토큰... 이제 제가 쓰는 용도들에선 보통 컨텍스트 문제는 사라지겠네요.

[xguru]

아 이 내용 올릴려고 정리중이었는데 늦었네요 ㅠㅠ

[kuroneko]

• HN 스레드

Anthropic에서 100K 모델 공개했을 때도 신기했는데, 다시 GPT-4가 128K 토큰을 공개하면서 앞서가는 것 같네요.
가격도 전반적으로 몇 배씩 낮췄는데, OpenAI 기술력은 대체 어디까지인지...

아무튼 대환영입니다.
GPT-4 은근히 비쌌는데(특히 16K 사용하면), 토큰 크기도 대폭 늘렸는데 진짜 확 싸졌네요. +_+

그리고 Assistants API도 궁금하긴 한데, 한번 써봐야겠어요.
검색에 임베딩을 사용하지 않아도 된다고 하니 더 이득 같기도 하고...?

[kuroneko]

HN 스레드의 AI 요약.

• OpenAI는 GPT-4 Turbo와 128,000 토큰 컨텍스트 길이, 어시스턴트 API 및 낮은 가격을 포함한 새로운 모델과 개발자 제품을 발표했습니다.
• 이 발표들은 경쟁이 심화되는 상황에서 OpenAI API 플랫폼에 대한 락인을 증가시키기 위한 것입니다.
• GPT 에이전트와 어시스턴트는 다른 곳으로 이식할 수 없는 "블랙 박스 내의 블랙 박스"로 작동합니다.
• DALL-E 3의 가격은 이미지 당 0.04달러로, 경쟁사들보다 10배 높습니다.
• 세밀 조정된 ChatGPT 3.5의 가격은 이제 3배가 되어, 세밀 조정이 더욱 매력적으로 만들어졌습니다.
• GPT-4 Turbo의 128K 컨텍스트 길이는 매력적이지만, 오픈 소스 모델은 여전히 정확성과 능력에서 뒤쳐져 있습니다.
• 고객들은 이제 2-3백만 달러를 지불하여 독점 데이터로 사용자 정의 GPT-N 모델을 사전 훈련할 수 있습니다.
• vectorDB 및 파일 처리와 같은 스타트업 카테고리는 OpenAI가 유사한 기능을 제공함에 따라 영향을 받을 수 있습니다.
• OpenAI는 장기적인 위험을 고려하지 않고 개발자들이 자사 플랫폼에 의존하도록 유도하려고 합니다.
• 경쟁이 줄어들면서 개발자들은 현재의 필요와 단기적인 이익을 기반으로 락인과 같은 위험을 받아들일 것입니다.

[brainer]

환각이 있네요.

가격은 다 써졌습니다.