트랜스포머 속 우주, 오아시스

 (oasis-model.github.io)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 실시간 생성형 비디오가 게임처럼 입력에 반응하려면 프레임 생성 속도가 핵심인데, Oasis는 20fps 상호작용형 AI 월드를 목표로 공개됨
  • Decart와 Etched는 물리·규칙·그래픽을 별도 엔진이 아니라 파운데이션 모델 출력으로 생성하는 오픈월드 경험을 보여줌
  • 공개물은 라이브 데모, 코드, 로컬 실행 가능한 500M 파라미터 모델 가중치, 더 큰 체크포인트 기반 데모로 구성됨
  • 구조는 Transformer 기반 공간 오토인코더와 잠재 확산 백본이며, 사용자 입력에 맞춰 프레임을 자기회귀적으로 생성함
  • 먼 거리 흐릿함, 객체의 시간 일관성, 도메인 일반화, 인벤토리 제어, 긴 컨텍스트 처리는 아직 한계로 남아 있으며 모델·데이터셋 확장과 추론 개선이 필요함

입력에 반응하는 AI 월드

  • Oasis는 Decart와 Etched가 발표한 실시간 오픈월드 AI 모델임
  • 사용자의 키보드 입력을 받아 이동, 점프, 아이템 획득, 블록 파괴 같은 상호작용형 경험을 생성함
  • 물리·규칙·그래픽까지 모델 출력에 포함되며, 별도 물리 엔진 없이 파운데이션 모델만으로 경험을 구성함
  • 공개된 리소스는 다음과 같음
  • 결과 예시는 건축, 조명 물리, 인벤토리 관리, 객체 이해, 동물 상호작용, 음식 섭취 시 체력 회복, 삽이 손보다 빠른 동작 등을 포함함
  • 생성 가능한 환경에는 어두운 우주 같은 장소, 밤 장면, 다양한 물체 배치, 인벤토리 상자 열기, 동물과 캐릭터가 포함됨
  • 텍스트, 오디오, 다른 모달리티로 경험을 제어하는 확장 방향도 가능함

Transformer 구조와 실시간 추론

  • 모델은 공간 오토인코더와 잠재 확산 백본으로 구성됨
    • 두 구성요소 모두 Transformer 기반임
    • 오토인코더는 ViT 기반이고, 백본은 DiT 기반임
    • GameNGen, DIAMOND 같은 액션 조건부 월드 모델과 달리 Transformer를 선택한 이유는 안정적이고 예측 가능한 스케일링, Etched의 Transformer ASIC Sohu에서의 빠른 추론임
  • Sora 같은 양방향 모델과 달리 Oasis는 프레임을 자기회귀적으로 생성함
    • 각 프레임을 사용자 입력에 조건부로 만들 수 있어 실시간 상호작용이 가능함
    • 학습에는 토큰별 독립 노이즈 수준으로 디노이즈하는 Diffusion Forcing이 사용됨
  • 긴 시간 동안 출력이 자연스럽게 유지되는 시간 안정성이 주요 과제였음
    • 자기회귀 모델에서는 오류가 누적되고 작은 결함이 글리치 프레임으로 커질 수 있음
    • 이를 줄이기 위해 추론 시 노이즈를 일정에 따라 조정하는 dynamic noising을 사용함
    • 초기 확산 forward pass에서는 노이즈를 주입해 오류 누적을 줄이고, 이후 pass에서는 노이즈를 점차 제거해 이전 프레임의 고주파 디테일을 유지함

20fps 성능과 하드웨어 병목

  • Oasis는 20fps로 실시간 출력을 생성함
    • 유사한 DiT 구조의 텍스트-비디오 모델인 Sora, Mochi-1, Runway는 여러 GPU에서도 1초 영상을 만드는 데 10~20초가 걸릴 수 있음
    • 실시간 상호작용에는 0.04초마다 새 프레임을 생성해야 하며, 이는 100배 이상 빠른 속도임
    • Decart의 추론 스택으로 라이브 프레임레이트 실행이 가능함
  • 더 빠르고 대규모 비용 효율적인 실행에는 새 하드웨어가 필요함
    • Oasis는 Etched의 Transformer ASIC Sohu에 최적화됨
    • Sohu는 4K 해상도의 100B+ 차세대 모델까지 확장할 수 있음
    • Oasis의 엔드투엔드 Transformer 구조는 Sohu에서 효율적이며, 100B+ 파라미터 모델에서도 10배 이상 많은 사용자를 처리할 수 있음

아직 남은 한계

  • 먼 거리 영상의 흐릿함, 불확실한 객체의 시간 일관성, 도메인 일반화, 인벤토리 정밀 제어, 객체 정밀 제어, 긴 시간 범위의 제한된 메모리가 한계로 남아 있음
  • 아키텍처 구성, 데이터, 모델 크기에 대한 민감도 분석 뒤 다수 문제는 모델과 데이터셋 확장으로 해결될 수 있다는 가설을 세움
  • 더 큰 모델을 개발하더라도 지연시간과 비용의 균형을 유지하려면 새로운 추론 기술이 필요함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • Minecraft에서 꿈꾸는 중이라면 이런 느낌일 것 같음
    객체 영속성이 부족해서 정말 꿈처럼 느껴짐. 조명 수준도 흥미로운데, 어두운 곳을 오래 보거나 “물속”에 들어가 화면이 검게 되면 검은 화면 말고 다른 상태로 돌아오기가 어려움. 한 번 해본 플레이에서는 성공하지 못했음. 꽤 이상한 감각임

  • 이런 식으로 게임을 설계하고 출시하는 방법은 잘 모르겠음. 모델 가중치를 직접 설정해서 게임을 설계할 수는 없음
    언젠가는 객체 영속성이나 장기 상태 같은 빠진 요소 없이 게임을 복제할 수는 있겠지만, 추론 엔진을 돌리는 비용이 그것이 흉내 내는 게임 엔진보다 더 비쌀 가능성이 큼. 이 기술이 어디에 유용한지 오래 AI를 해온 입장에서 진짜 궁금함

    • 맞음. 그래서 다음 모델의 핵심 목표는 프롬프트로 새 세계를 “코딩” 할 수 있는 상태에 도달하는 것임
      창작자가 이 시스템 위에서 새 세계나 게임을 “개발”하고, 사용자가 그 세계와 상호작용할 수 있는 좋은 방법이 생겨야 이 도구들이 엄청나게 유용해진다는 데 동의함. 결국 게임 엔진과 같은 “API”를 제공해야 함. 창작자는 세계를 만들고 사용자는 그 세계와 상호작용함. AI가 이 역할을 실제로 할 수 있다면 1) “여기에 날아다니는 분홍 코끼리를 추가해”처럼 말하는 것만으로 세계와 게임을 만들기가 훨씬 쉬워질 수 있고, 2) 각 플레이 세션에 맞춰 변화하는 세계와 사용자가 상호작용할 수 있으니 진짜 무한한 세계가 가능해짐. 아직 거기까지 갔냐고 하면 당연히 아님. Oasis v1은 첫 개념 증명이고, v2를 조금만 더 기다려보면 됨 ;)
    • 당연히 이 도구가 바로 출시 가능한 게임을 만들어주지는 않을 것임. AI는 아직 한참 멀었음
      다만 “설계” 측면에서는 GPU를 엄청 쓰더라도 게임을 빠르게 시제품화할 수 있다는 점이 얼마나 유용할지 어렵지 않게 보임. 이런 논문들은 그 방향으로 가는 디딤돌일 뿐임
    • 시각적 아티팩트가 거슬렸음. 누군가 메시/재질, 카메라, 혹은 원시 OpenGL 호출 같은 래스터화 이전의 게임 엔진 출력을 학습시킨 적이 있는지 궁금함
      실제 렌더러나 엔진에 입력을 생성하는 AI라면 시각적 충실도 문제를 해결할 수 있을 듯함
    • 쉽다고 봄. AI 이미지에서 했던 것과 같은 방식을 비디오 게임 세계 모델에 적용하면 됨
      여러 모델을 합치고, 각 게임 “세계 모델”의 조각을 가져와 조합하면 거의 완전히 새로운 게임을 만드는 것과 비슷해짐. 객체 영속성이나 장기 상태 같은 누락된 요소는 훨씬 작은 변수 집합으로 추가하면 됨. 이미 이전 프레임 전체와 사용자 입력을 가중치에 넣고 있으니, 단순화된 게임 상태도 같이 넣지 못할 이유가 없어 보임
    • Avatar 같은 영화를 가져와서 어느 정도 상호작용 가능한 경험으로 만들 수는 있을 듯함

  • “완전히 AI가 생성한 비디오 게임”이라고 하지만, 웹페이지에서 Ctrl-F로 찾아보니 Minecraft가 0번 나왔음. 왜 그런지 모르겠음
    이건 비디오 게임이 아니라 실제 비디오 게임의 조악한 복사본이고, 이름을 말하거나 크레딧을 주는 노력조차 하지 않은 것임

    • 법적 문제를 피하려는 흥미로운 시도처럼 보임
      “Minecraft”라고 말할 수 없는 건 Microsoft의 상표이기 때문이지만, Minecraft 이미지를 학습 데이터로 쓰는 건 가능하다고 보는 듯함. Microsoft를 포함해 모두가 독점 데이터를 써서 확산 모델을 학습시키고 있으니까. 출력물이 명백히 Minecraft와 닮았다는 문제가 있지만, Microsoft도 Bing과 DALL-E가 보호 장치에도 불구하고 상표가 있는 것들과 명백히 닮은 이미지를 생성하는 문제를 안고 있음
    • Architecture 섹션 두 번째 문단에 Minecraft가 한 번 나오긴 함. “...We train on a subset of open-source Minecraft video data collected by OpenAI[9].”라고 되어 있음
      이게 원 댓글 이후에 추가된 것인지는 모르겠음
    • 이상함. Counter Strike를 명시적으로 언급하는 https://diamond-wm.github.io/와 비교해보면 더 그렇다
      과학적 작업이 어떤 작업물을 사용하면서 크레딧을 주지 않으면 학문적 부정직임. 다른 데이터셋으로 학습할 수도 있었겠지만, 어떤 출처를 썼든 인용해야 함
    • 모델이 어떤 환경이든 생성할 수 있는 것처럼 말하면서도, 데모는 데이터가 가장 많이 있는 게임만 보여주는 게 이상함

  • 정말 멋지고, 이런 모델들이 계속 빠르게 발전하는 모습을 보는 것도 좋음. 다만 장기 상태가 어떻게 동작할지 궁금함
    예를 들어 기지를 짓고 나중에 돌아오는 것, 전통적인 코드로 강제되는 게임 규칙, 멀티플레이어, 저장된 게임 불러오기 같은 유도된 상태가 어떻게 처리될지 모르겠음. 근본적으로 외부 상태와 메모리/시뮬레이션은 서로 다른 것이기 때문에, 문맥 창을 늘리거나 모델을 키우는 것만으로는 아닐 가능성이 큼. 물론 도움이 되긴 하겠지만. 어쨌든 이런 모델은 곧 목표 지향적인 작업 상상에 쓰일 것 같음. 예를 들어 컴퓨터에서 특정 이미지를 찾아야 하는 에이전트가 현재 보는 상태와 원하는 상태 사이의 경로를 계속 상상하는 식임. 이 모델은 사용자 입력을 받지만, 그런 에이전트는 그 입력까지 상상할 것임. 이해한 바로는 일부 로봇 제어 네트워크에서 픽셀 없이 이미 비슷한 일이 일어나고 있음

    • 이 데모에는 상태의 흔적조차 거의 없음. “왼쪽으로 돌기”를 한 바퀴 분량 계속 눌러도 출발점으로 돌아오지 않음
      몇 바퀴 돌고 나면 세부가 사라지고 텅 빈 바다 한가운데 남게 됨. 이 기술로는 Minecraft는커녕 Mario의 플레이 가능한 버전도 절대 만들 수 없어 보임

  • 이건 비디오 게임이 아니라, 각 프레임 사이의 프롬프트가 입력 상태와 이전 프레임인 빠른 Minecraft 스크린샷 시뮬레이터에 가까움
    어느 정도 일관성 비슷한 것은 있음

  • 기본적으로 Minecraft로 모델을 학습시킨 것임. 전혀 범용적이지 않음
    게임이 프롬프트에서 나온 게 아니라, Minecraft 플레이에서 나온 대량 데이터셋과 파인튜닝에서 나온 것일 가능성이 큼. 프롬프트에서 세계나 게임이 나오는 이런 작업을 보고 싶음

    • 곧 나오는 Oasis v2를 기다려보면 됨 :)
      참고로 Oasis 팀 소속임

  • 플레이 중 사용자가 프레임 버퍼에 직접 그릴 수 있게 하고 그걸 다시 입력으로 넣으면 꽤 흥미로운 것이 나올 수 있음

    • 손으로 Minecraft를 그리기는 정말 어려우니 아마 심하게 망가질 것 같음

  • 대기열이 너무 길어서 포기함. 픽셀 자체를 모델이 생성하는 건지, 아니면 환경만 생성하고 “전통적인” 방식으로 렌더링하는 건지 궁금함

    • 전통적인 방식으로 렌더링되는 환경을 생성하는 것이라면, 잠깐 시선을 돌린 뒤 새로운 무언가를 다시 생성하는 대신 객체 영속성이 있을 가능성이 큼: https://oasis-model.github.io/3_second_memory.webp
    • 모든 픽셀이 생성됨. 사용자 행동이 들어가고 픽셀이 나오며, 그 사이에는 Transformer만 있음 :)
      왜 흥미롭냐면, 오늘 기준으로는 그리 흥미롭지 않을 수 있음. Oasis v1은 개념 증명일 뿐임. 하지만 미래, 말 그대로 몇 달 뒤 나올 Oasis 후속 버전들을 생각해보면, 지금 이 메시지를 읽으며 보는 픽셀까지 포함해 보이는 모든 픽셀이 생성되는 상황을 상상할 수 있음. 이것은 인간과 기계 사이의 새로운 소통 인터페이스임. LLM이 채팅에서 흥미로운 이유가 인간에게 익숙한 방식인 대화로 인간과 기계가 상호작용하게 해주기 때문이라면, 여기서는 컴퓨터가 우리가 보는 방식으로 세계를 보고, 우리가 익숙한 방식으로 다시 보여줄 수 있게 됨. 요약하면 컴퓨터에 “분홍 코끼리를 만들어”라고 말하면 플레이 중인 게임에 바로 나타나는 모습을 상상하면 됨
    • 픽셀을 생성함. 아래쪽의 흐릿한 UI까지 포함해서임

  • Mario 게임으로 모델을 학습시켜서 Nintendo가 “좋은 명분”을 위해 싸우게 만들어야 할지도 모르겠음

답변달기
GeekNews BeeBS 게시판 오픈! 자유로운 이야기와 소소한 일상을 함께 나눠보세요.