Claude 3.5 Sonnet 출시: GPT4o를 뛰어넘는 성능
(anthropic.com)Anthropic은 오늘 Claude 3.5 Sonnet을 출시했습니다. 이는 곧 출시될 Claude 3.5 모델 가족 중 첫 번째 버전으로, 기존 Claude 3 Opus와 경쟁 모델들보다 뛰어난 성능을 자랑합니다. Claude 3.5 Sonnet은 중급 모델인 Claude 3 Sonnet과 동일한 속도와 비용으로 제공됩니다.
제공 방식
Claude 3.5 Sonnet은 무료로 Claude.ai와 Claude iOS 앱에서 사용할 수 있으며, Claude Pro 및 Team 플랜 구독자는 높은 요청 한도와 함께 액세스할 수 있습니다. 또한, Anthropic API, Amazon Bedrock, Google Cloud의 Vertex AI를 통해서도 사용할 수 있습니다. 비용은 백만 입력 토큰당 $3, 백만 출력 토큰당 $15이며, 200K 토큰의 컨텍스트 윈도우를 제공합니다.
성능 향상
Claude 3.5 Sonnet은 대학원 수준의 추론(GPQA), 학부 수준의 지식(MMLU), 코딩 능력(HumanEval)에서 새로운 기준을 세웠습니다. 유머와 복잡한 지시 사항을 이해하는 능력이 크게 향상되었으며, 자연스럽고 공감가는 톤으로 고품질의 콘텐츠를 작성할 수 있습니다.
내부 평가 결과
내부 코딩 평가에서 Claude 3.5 Sonnet은 문제의 64%를 해결해 Claude 3 Opus의 38%를 능가했습니다. 이 평가는 자연어 설명을 바탕으로 오픈 소스 코드베이스의 버그를 수정하거나 기능을 추가하는 능력을 테스트했습니다. Claude 3.5 Sonnet은 코드 번역을 쉽게 처리하여 레거시 애플리케이션 업데이트와 코드베이스 마이그레이션에 특히 효과적입니다.
시각적 능력
Claude 3.5 Sonnet은 표준 시각적 벤치마크에서 Claude 3 Opus를 능가하며, 시각적 추론을 필요로 하는 작업에서 두드러진 성능을 보입니다. 불완전한 이미지에서 텍스트를 정확하게 전사하는 능력은 소매, 물류, 금융 서비스 분야에서 매우 유용합니다.
Artifacts 기능 도입
오늘 Claude.ai에 도입된 Artifacts는 사용자가 생성한 코드 스니펫, 텍스트 문서, 웹사이트 디자인 등의 콘텐츠를 실시간으로 편집하고 프로젝트와 워크플로에 통합할 수 있는 동적 작업 공간을 제공합니다.
안전 및 프라이버시
Claude 3.5 Sonnet은 ASL-2 수준에서 엄격한 테스트를 거쳤으며, 영국 인공지능 안전 연구소(UK AISI)와 협력하여 사전 배포 안전 평가를 완료했습니다. 사용자 데이터는 명시적인 허가 없이는 학습에 사용되지 않습니다.
향후 계획
Claude 3.5 모델 가족의 완성을 위해 올해 말 Claude 3.5 Haiku와 Claude 3.5 Opus를 출시할 예정입니다. 새로운 기능과 모달리티를 개발하여 기업 애플리케이션 통합을 지원하고, 사용자의 선호도와 상호작용 기록을 기억하는 'Memory' 기능을 탐구하고 있습니다.
우리는 항상 Claude를 개선하고 사용자 피드백을 반영하여 더 나은 경험을 제공하기 위해 노력하고 있습니다. Claude 3.5 Sonnet에 대한 피드백을 제품 내에서 직접 제출하여 개발 로드맵에 반영할 수 있습니다.