"Generative Interactive Environments"
- 인터넷 동영상으로 학습한 파운데이션 월드 모델로, 합성 이미지/사진/스케치로부터 무한한 다양성을 가진 플레이 가능한 세계를 생성할 수 있음
- 2D 플랫포머 게임과 로보틱스의 인터넷 비디오 대규모 데이터셋에서 훈련되었으며, 어떠한 도메인에도 적용 가능하고 인터넷 데이터셋으로 확장 가능함
동작 레이블 없이 제어 배우기
- 인터넷 비디오만으로 세밀한 제어를 배울 수 있는 능력을 가지고 있으며, 이는 동작이나 제어해야 할 이미지 부분에 대한 레이블이 없는 인터넷 비디오에서는 도전적인 일임
- Genie는 관찰 가능한 부분 중 어떤 부분이 일반적으로 제어 가능한지, 그리고 생성된 환경에 걸쳐 일관된 다양한 잠재 동작을 추론할 수 있음
새로운 창작자 세대를 가능하게 함
- 단 하나의 이미지만으로 새로운 상호작용 환경을 만들 수 있어, 가상 세계를 생성하고 진입하는 새로운 방법을 제공
- 최첨단 텍스트-이미지 생성 모델을 사용하여 시작 프레임을 생성한 후 Genie로 생명을 불어넣어 가상 세계를 만들 수 있음
- 스케치나 실제 세계 이미지로부터도 가상 환경을 생성 가능
일반적인(Generalist) 에이전트를 위한 발판
- 게임 환경이 AI 에이전트 개발을 위한 효과적인 테스트베드가 될 수 있지만, 사용 가능한 게임 수에 의해 제한을 받음
- Genie를 사용하면 AI 에이전트를 새롭게 생성된 무한한 환경에서 훈련시킬 수 있으며, Genie가 배운 잠재 동작이 실제 인간이 설계한 환경으로 전이될 수 있음을 증명
생성 가상 세계의 미래
- 이 웹사이트에서는 플랫포머 결과에 초점을 맞췄지만, Genie는 일반적인 방법론으로 다양한 도메인에 적용 가능함
- Genie는 변형 가능한 객체도 시뮬레이션할 수 있으며, 이는 데이터로부터 학습할 수 있는 인간 설계 시뮬레이터에게는 도전적인 작업임
- Genie는 이미지나 텍스트로부터 전체 상호작용 가능한 세계를 생성할 수 있는 시대를 도입하고, 미래의 일반적인 AI 에이전트를 훈련시키는 촉매제가 될 것으로 기대됨