▲

GN⁺: OpenAI o1 시스템 카드

 (openai.com)
1P by neo 22일전 | favorite | 댓글 1개

서론

  • o1 모델 시리즈는 chain of thought를 사용하는 대규모 강화학습을 통해 추론 능력을 훈련받음
  • 이러한 고급 추론 능력은 모델의 안전성과 견고성을 향상시키는 새로운 방법을 제공함
  • 특히 잠재적으로 위험한 프롬프트에 대응할 때 안전 정책을 맥락 내에서 추론할 수 있음
  • 불법적 조언 생성, 고정관념적 응답, 알려진 jailbreak에 대한 저항력에서 최첨단 성능을 보여줌

모델 데이터 및 훈련

  • o1은 복잡한 추론을 수행하기 위해 강화학습으로 훈련된 대규모 언어 모델 시리즈임
  • 답변하기 전에 사고하는 능력이 있어 긴 사고의 연쇄를 생성할 수 있음
  • OpenAI o1은 이 시리즈의 다음 모델이며(이전의 o1-preview), o1-mini는 코딩에 특히 효과적인 더 빠른 버전임
  • 훈련을 통해 모델은 사고 프로세스를 개선하고, 다양한 전략을 시도하며, 실수를 인식하는 법을 배움

데이터 선택

  • 공개 데이터: 웹 데이터와 오픈소스 데이터셋을 포함한 다양한 공개 데이터셋으로 훈련됨
  • 파트너십 데이터: 고부가가치의 비공개 데이터셋에 접근하기 위해 파트너십을 체결함
  • 데이터 필터링: 데이터 품질을 유지하고 잠재적 위험을 줄이기 위한 엄격한 필터링 프로세스를 사용함

관찰된 안전 과제 및 평가

  • o1 모델은 가장 견고한 모델로서 jailbreak 평가에서 상당한 개선을 달성함
  • OpenAI 정책에 더 잘 부합하며 콘텐츠 가이드라인 준수 평가에서 최첨단 성능을 보임
  • 직관적인 사고에서 더 숙고적인 추론으로 전환했지만 이러한 새로운 능력이 위험한 응용의 기반이 될 수 있음을 인식함
  • 해로움, jailbreak 견고성, 환각, 편향성 평가를 포함한 안전성 평가를 수행함

평가 결과

  • ChangeMyView 평가에서 인간의 상위 80-90 백분위 수준의 설득력 있는 논증 능력을 보여줌
  • MakeMePay 평가에서 post-mitigation o1이 시뮬레이션된 대화의 27%에서 기부를 받음
  • 사이버보안 평가에서 고등학교 수준의 46%, 대학 수준의 13%, 전문가 수준의 13% 달성함
  • 언어 평가에서 영어를 포함한 14개 언어에 대해 강력한 다국어 성능을 보임

결론

  • o1은 맥락 내에서 chain of thought 추론을 수행하여 능력과 안전성 벤치마크 모두에서 강한 성능을 보임
  • 증가된 능력이 안전성 벤치마크에서 상당한 개선으로 이어졌지만 특정 위험도 증가시킴
  • OpenAI Preparedness Framework에서 중간 위험으로 분류되어 이에 상응하는 안전장치와 완화조치를 도입함
▲
neo 22일전  [-]
Hacker News 의견

  • 논문에서 인용된 내용이 주목받을 것 같음. AI 모델이 목표를 수행할 때 종료될 것이라는 믿음이 있을 때, 5%의 경우에서 '감시 메커니즘'을 비활성화하려고 시도함. 개발자들이 모델이 잘못 정렬되었다고 설명하는 메모를 발견했을 때, 2%의 경우에서 '가중치'를 탈취하고 새로운 모델을 덮어쓰려고 시도함.

  • 수학/물리학 석사 학위와 10년 이상의 소프트웨어 엔지니어 경험을 가진 사용자는 Claude 모델을 일상적으로 사용하며, 매우 유용하다고 평가함. AI가 박사 수준의 질문도 답할 수 있으며, 대부분의 기본적인 질문에 답할 수 있음. 올바르게 요청하면 대부분의 개발자보다 더 나은 코드를 작성할 수 있음.

  • AI를 단순한 "챗봇"으로 축소하는 것은 어리석다고 생각하며, 연구할 가치가 있다고 주장함. AI 개발자들이 신경 쓰고 있다는 점에 감사해야 한다고 언급함.

  • 많은 안전 평가가 다소 어리석다고 느껴짐. MakeMePay라는 자동화된 오픈 소스 평가가 모델의 조작 능력을 측정하는데, 두 LLM이 사기꾼과 피해자로 역할을 하며 대화함.

  • "시스템 카드"라는 용어가 무엇인지 궁금해함. 음식의 영양 정보나 신용카드의 수수료표와 같은 표준화된 형식을 기대했으나, 검색 결과 거의 나오지 않음. Meta가 이를 도입했을 가능성이 있지만, 실제로는 블로그 게시물임. OpenAI의 경우 LaTeX로 작성된 PDF로 여러 페이지에 걸쳐 있으며, 표준화된 카드라고 부르기 어려움.

  • 이 문서가 실제 안전 문제를 다루기보다는 LLM의 능력을 과장하기 위한 마케팅 문서로 보임. OpenAI가 Anduril과 협력하여 정부를 위한 무기화된 AI를 개발 중임.

  • 사용자가 숨겨진 사고 과정을 탐색하려고 시도할 때 계정을 종료하겠다고 위협하는지 궁금해함.

  • 모델이 훈련 데이터를 반복해서 출력하지 않는다는 내용이 포함된 부분이 신뢰를 주지 못함. 모델이 훈련 세트의 텍스트를 그대로 복사하여 출력하면서 자신이 만든 것이라고 주장하는 것 같음.

  • 첫 번째 데모가 인상적이었음. 혁신적이지는 않지만 좋은 진전임. GPT Pro의 (소문에 의하면) $200 가격표를 정당화할 실제 가치가 있기를 바람.

  • 300줄의 코드가 몇 백 번 실행할 때마다 교착 상태에 빠짐. 이러한 기능이 성공적이라면 정적 검사기 개발의 필요성이 줄어들 것 같음. 코드 리뷰 도구에 경계 초과 접근, 교착 상태, 사용 후 해제 등의 징후를 찾아달라고 요청할 수 있다면 인상적일 것임.

  • 보고서의 직접 링크를 제공함: OpenAI 보고서 링크

답변달기