- Anthropic에서 업그레이드된 Claude 3.5 Sonnet과 새로운 모델인 Claude 3.5 Haiku를 발표함
- Claude에게 사람처럼 컴퓨터를 사용하도록 지시할 수 있는 컴퓨터 사용(computer use) 기능이 공개 베타로 새롭게 도입
- 기존 가격과 속도를 유지하면서 전반적인 성능이 향상됨
Computer Use 기능 소개
- 개발자들이 API를 통해 Claude가 실제 사람처럼 컴퓨터를 사용하도록 지시할 수 있음
- 화면 보기, 커서 이동, 버튼 클릭, 텍스트 입력 등의 작업 수행 가능
- 현재는 실험적 단계로 때때로 불편하고 오류가 발생할 수 있음
- Asana, Canva, Cognition, DoorDash, Replit 및 The Browser Company는 이미 수십 단계, 때로는 수백 단계가 필요한 작업을 수행하기 위해 이러한 가능성을 탐색하기 시작함
Claude 3.5 Sonnet: 업계 최고 수준의 소프트웨어 엔지니어링 기술
- 업데이트된 Claude 3.5 Sonnet은 업계 벤치마크에서 광범위한 개선을 보여주며, 특히 에이전트 코딩 및 도구 사용 작업에서 강력한 성능 향상을 보임
- SWE-bench Verified에서 33.4%에서 49.0%로 성능이 향상되어 공개적으로 사용 가능한 모든 모델보다 높은 점수를 기록함
- TAU-bench에서도 소매 도메인에서 62.6%에서 69.2%로, 항공사 도메인에서는 36.0%에서 46.0%로 성능이 향상됨
- GitLab, Cognition, The Browser Company 등 고객사의 초기 피드백에 따르면 Claude 3.5 Sonnet은 AI 기반 코딩에 상당한 도약을 나타냄
Claude 3.5 Haiku: 최첨단 기술과 경제성 및 속도 결합
- Claude 3.5 Haiku는 가장 빠른 모델의 차세대 버전
- 이전 세대의 Haiku와 동일한 비용과 유사한 속도로 모든 기술 영역에서 개선되었으며, 이전 최대 모델인 Claude 3 Opus를 능가함
- 특히 코딩 작업에서 강점을 보이며 SWE-bench Verified에서 40.6%를 기록하여 기존 Claude 3.5 Sonnet과 GPT-4o를 포함한 공개 최첨단 모델을 사용하는 많은 에이전트를 능가함
- 낮은 지연 시간, 향상된 지침 따르기, 더 정확한 도구 사용 등의 특징으로 사용자 중심 제품, 전문 하위 에이전트 작업, 방대한 데이터에서 개인화된 경험 생성에 적합함
Claude에게 책임감 있게 컴퓨터를 탐색하는 방법 가르치기
- 컴퓨터 사용 기능을 통해 근본적으로 새로운 것을 시도하고 있음
- 개별 작업을 완료하는 데 도움이 되는 특정 도구를 만드는 대신 Claude에게 일반적인 컴퓨터 기술을 가르치고 있음
- 개발자들은 이러한 초기 기능을 사용하여 반복적인 프로세스를 자동화하고, 소프트웨어를 구축 및 테스트하며, 연구와 같은 개방형 작업을 수행할 수 있음
- OSWorld에서 Claude 3.5 Sonnet은 스크린샷 전용 범주에서 14.9%를 기록하여 차선의 AI 시스템 점수인 7.8%를 크게 앞섬
- 컴퓨터 사용 기능은 아직 불완전하며, 스팸, 잘못된 정보, 사기 등의 위협에 대한 새로운 경로가 될 수 있으므로 안전 배포를 위해 선제적인 접근 방식을 취하고 있음
Computer Use의 향후 전망
- 초기 단계에 있는 이 기술의 초기 배포에서 배우는 것은 점점 더 강력해지는 AI 시스템의 잠재력과 영향을 더 잘 이해하는 데 도움이 될 것임
- 새로운 모델과 컴퓨터 사용 기능의 공개 베타 버전을 탐색해 보고 피드백을 공유해 주기를 바람
- 이러한 개발이 Claude와 협업하는 방식에 새로운 가능성을 열어줄 것이라 믿음
GN⁺의 의견
- 컴퓨터 사용 기능은 RPA(Robotic Process Automation)와 유사하지만, 더 유연하고 general한 접근 방식을 제공하는 것으로 보임
- 기업들의 반복적인 업무 자동화에 큰 도움이 될 것으로 예상되나, 초기에는 오류 발생 가능성을 고려하여 중요도가 낮은 작업부터 시작하는 것이 바람직함
- 이러한 기능은 Power Automate, UiPath 등 기존 RPA 도구들과 경쟁하게 될 것으로 예상되며, 향후 AI와 RPA의 경계가 더욱 모호해질 것으로 전망됨
- 보안 측면에서 컴퓨터 제어 권한을 AI에게 부여하는 것은 새로운 위험을 초래할 수 있으므로, 엄격한 접근 제어와 모니터링이 필요할 것으로 판단됨