12P by xguru 3달전 | favorite | 댓글 1개

"Generative Interactive Environments"

  • 인터넷 동영상으로 학습한 파운데이션 월드 모델로, 합성 이미지/사진/스케치로부터 무한한 다양성을 가진 플레이 가능한 세계를 생성할 수 있음
  • 2D 플랫포머 게임과 로보틱스의 인터넷 비디오 대규모 데이터셋에서 훈련되었으며, 어떠한 도메인에도 적용 가능하고 인터넷 데이터셋으로 확장 가능함

동작 레이블 없이 제어 배우기

  • 인터넷 비디오만으로 세밀한 제어를 배울 수 있는 능력을 가지고 있으며, 이는 동작이나 제어해야 할 이미지 부분에 대한 레이블이 없는 인터넷 비디오에서는 도전적인 일임
  • Genie는 관찰 가능한 부분 중 어떤 부분이 일반적으로 제어 가능한지, 그리고 생성된 환경에 걸쳐 일관된 다양한 잠재 동작을 추론할 수 있음

새로운 창작자 세대를 가능하게 함

  • 단 하나의 이미지만으로 새로운 상호작용 환경을 만들 수 있어, 가상 세계를 생성하고 진입하는 새로운 방법을 제공
  • 최첨단 텍스트-이미지 생성 모델을 사용하여 시작 프레임을 생성한 후 Genie로 생명을 불어넣어 가상 세계를 만들 수 있음
  • 스케치나 실제 세계 이미지로부터도 가상 환경을 생성 가능

일반적인(Generalist) 에이전트를 위한 발판

  • 게임 환경이 AI 에이전트 개발을 위한 효과적인 테스트베드가 될 수 있지만, 사용 가능한 게임 수에 의해 제한을 받음
  • Genie를 사용하면 AI 에이전트를 새롭게 생성된 무한한 환경에서 훈련시킬 수 있으며, Genie가 배운 잠재 동작이 실제 인간이 설계한 환경으로 전이될 수 있음을 증명

생성 가상 세계의 미래

  • 이 웹사이트에서는 플랫포머 결과에 초점을 맞췄지만, Genie는 일반적인 방법론으로 다양한 도메인에 적용 가능함
  • Genie는 변형 가능한 객체도 시뮬레이션할 수 있으며, 이는 데이터로부터 학습할 수 있는 인간 설계 시뮬레이터에게는 도전적인 작업임
  • Genie는 이미지나 텍스트로부터 전체 상호작용 가능한 세계를 생성할 수 있는 시대를 도입하고, 미래의 일반적인 AI 에이전트를 훈련시키는 촉매제가 될 것으로 기대됨

잼민이 Gemini
점마 Gemma
쟤니 Genie