- OpenAI o3-mini는 비용 효율적인 추론 모델 시리즈 중 가장 최신 모델임
- 2024년 12월 미리보기 이후 공식 출시되었으며, ChatGPT와 API에서 사용 가능함
- 과학, 수학, 코딩 등 STEM 분야에서 뛰어난 성능을 보이며, OpenAI o1-mini보다 낮은 비용과 지연 시간 유지
주요 기능 및 개선 사항
- OpenAI o3-mini는 처음으로 함수 호출, 구조화 출력, 개발자 메시지를 지원하는 작은 추론 모델임
- 스트리밍 기능을 지원하며, 낮음, 중간, 높음의 세 가지 추론 노력 옵션을 제공하여 상황에 맞게 최적화 가능
- 비전(이미지) 기능은 지원하지 않으며, 시각적 추론이 필요한 경우 OpenAI o1 사용 권장
- Chat Completions API, Assistants API, Batch API에서 사용 가능하며, API 사용 티어 3~5 개발자에게 제공됨
- ChatGPT Plus, Team, Pro 사용자들은 오늘부터 사용 가능하며, Enterprise 사용자는 2월부터 지원 예정
- OpenAI o1-mini를 대체하며, 더 높은 속도와 향상된 추론 능력을 제공
- Plus 및 Team 사용자의 메시지 제한이 기존 o1-mini의 50개에서 150개로 증가
- 검색 기능이 추가되어, 최신 정보를 웹 링크와 함께 제공하는 기능 실험 중
무료 사용자 접근성 확대
- 무료 사용자도 메시지 작성 창에서 ‘Reason’ 선택 또는 응답 재생성을 통해 o3-mini를 사용 가능
- ChatGPT에서 reasoning 모델이 무료 사용자에게 제공되는 것은 이번이 처음임
STEM 최적화 및 성능 향상
- STEM 분야에 최적화된 성능을 제공하며, o1-mini 대비 더 빠르고 정확한 응답 생성
- 전문 테스터 평가 결과, o3-mini는 56%의 경우 o1-mini보다 선호되었으며, 어려운 문제에서 39%의 주요 오류 감소 확인됨
- AIME, GPQA 등 난이도 높은 추론 및 지능 평가에서 o1과 유사한 성능을 보이며, 더 빠른 응답 속도 제공
주요 성능 비교
- 수학(AIME 2024):
- 낮은 추론 노력에서는 o1-mini와 비슷한 성능, 중간 추론 노력에서는 o1과 유사한 성능
- 높은 추론 노력에서는 o1 및 o1-mini보다 뛰어난 성능을 보임
- 박사 수준 과학 질문(GPQA Diamond):
- 생물학, 화학, 물리학 문제에서 낮은 추론 노력으로도 o1-mini보다 뛰어난 성능
- 높은 추론 노력에서는 o1과 유사한 성능
- 고급 수학(FrontierMath):
- Python 도구를 활용하면 첫 시도에서 32% 이상의 문제를 해결하며, 난이도 높은 문제(T3)도 28% 이상 해결
- 경쟁 프로그래밍(Codeforces):
- 추론 노력이 증가할수록 더 높은 Elo 점수를 기록하며, o1-mini보다 우수한 성능
- 중간 추론 노력에서 o1과 비슷한 성능
- 소프트웨어 엔지니어링(SWE-bench Verified):
- SWEbench-verified에서 지금까지 출시된 모델 중 최고의 성능을 기록
- 실제 코딩 테스트(LiveBench Coding):
- o1-high보다 뛰어난 성능을 보이며, 높은 추론 노력에서는 더욱 압도적인 성능을 발휘
- 일반 지식 평가:
- 전반적인 지식 평가에서 o1-mini보다 뛰어난 결과를 보임
- 사용자 선호도 평가:
- 전문가 테스트 결과, o3-mini가 o1-mini보다 56% 더 선호되었으며, 어려운 문제에서 39%의 오류 감소 확인
속도 및 성능 개선
- o1과 유사한 지능을 유지하면서도, 더 빠른 성능과 향상된 효율성 제공
- 수학 및 사실성 평가에서 중간 추론 노력으로도 향상된 결과 도출
- A/B 테스트 결과, o3-mini는 o1-mini보다 응답 속도가 24% 더 빠름
- 평균 응답 시간: o3-mini(7.7초) vs o1-mini(10.16초)
- 첫 번째 토큰 출력 속도: o3-mini가 o1-mini보다 평균 2500ms 더 빠름
안전성 및 대응 조치
- OpenAI o3-mini는 ‘숙고적 정렬(deliberative alignment)’ 기법을 활용해 보다 안전한 응답을 생성하도록 학습됨
- OpenAI o1과 비교했을 때, GPT-4o보다도 높은 수준의 안전성과 탈옥(jailbreak) 방어 능력을 보여줌
- 출시 전, 준비 평가, 외부 레드팀 테스트, 안전성 평가를 통해 철저하게 검증됨
- o3-mini의 허용되지 않은 콘텐츠 응답 평가 및 탈옥 평가 결과는 시스템 카드에서 제공됨
향후 계획 및 전망
- OpenAI o3-mini는 비용 효율적인 AI 지능 발전의 새로운 단계를 의미함
- STEM 최적화 및 저비용 모델 개발을 통해 고품질 AI를 더 많은 사용자에게 제공하는 목표 지속
- GPT-4 출시 이후 토큰당 가격을 95% 절감하면서도, 최상급 추론 능력을 유지하는 방향으로 발전
- AI의 대중적 채택이 확대되는 가운데, 지능, 효율성, 안전성의 균형을 맞춘 모델 개발에 집중할 계획