GN⁺: 트랜스포머 속 우주, 오아시스

Oasis: Transformer 속의 우주

• Oasis 소개

  • Oasis는 AI가 생성한 실시간 오픈 월드 비디오 게임임.
  • 사용자의 키보드 입력을 받아 물리, 게임 규칙, 그래픽을 실시간으로 생성함.
  • 게임 엔진 없이 기초 모델만으로 작동함.
  • Decart의 추론 엔진을 사용하여 실시간 비디오가 가능함을 보여줌.

• 게임플레이 결과

  • Oasis는 복잡한 게임 메커니즘을 이해함.
  • 다양한 설정, 장소, 객체를 생성할 수 있는 능력을 가짐.
  • 게임 내에서 빌딩, 조명 물리, 인벤토리 관리 등을 수행할 수 있음.

• 아키텍처

  • 모델은 공간 오토인코더와 잠재 확산 백본으로 구성됨.
  • Transformer 기반으로, ViT와 DiT를 기반으로 함.
  • 오토리그레시브 방식으로 프레임을 생성하여 실시간 상호작용 가능.

• 성능

  • Oasis는 초당 20프레임의 실시간 출력을 생성함.
  • Decart의 추론 스택을 통해 플레이 가능한 프레임 속도를 달성함.
  • Etched의 Transformer ASIC, Sohu에 최적화되어 있음.

• 미래 탐색

  • 모델의 확장과 데이터셋의 확장을 통해 해결할 수 있는 문제들이 있음.
  • 대규모 훈련을 효율적으로 수행하기 위한 추가 최적화 기술 개발 중.

GN⁺의 정리

• Oasis는 AI가 생성한 실시간 오픈 월드 게임으로, Transformer 기반의 혁신적인 기술을 보여줌.
• 실시간 상호작용을 가능하게 하는 빠른 추론 속도가 특징임.
• Sohu와 같은 새로운 하드웨어와 결합하여 대규모 모델을 지원할 수 있는 가능성을 제시함.
• 이 기술은 게임뿐만 아니라 다양한 소비자 제품에 응용될 수 있는 잠재력을 가짐.
• 비슷한 기능을 가진 프로젝트로는 OpenAI의 Sora와 Genmo의 Mochi-1 등이 있음.