GN⁺ 2024-10-14 | parent | ★ favorite | on: 세계 모델링을 위한 Diffusion 기술(diamond-wm.github.io)
Hacker News 의견
  • 한 사용자는 링크된 비디오가 자신의 꿈과 매우 유사하다고 언급하며, 꿈에서 높은 점프를 시도할 때와 비슷한 경험을 한다고 설명함

  • 300M 파라미터 모델이 GTX4090으로 12일 동안 5M 프레임으로 훈련되었음을 설명함

  • 2015년 대형 기술 회사가 이와 유사한 작업을 했다고 언급함

  • 대규모 LLMs와 같은 산업 규모의 작업은 매우 놀라울 것이라고 언급함

  • 게임 엔진에서 현실적인 물리학 근사치를 생성하는 데 사용할 수 있을 것이라고 설명함

    • 무거운 물리 엔진을 사용하여 게임 플레이 스니펫을 생성하고 모델이 물리학을 근사화하도록 학습시킴
    • 여러 전문화된 물리 엔진을 가질 수 있을 것이라고 제안함
  • 실제로 시도해본 사람에게 게임 맵을 구축하는지, 아니면 이상한 환각적 경험인지 묻는 질문을 제기함

  • 안정적 확산의 기본 개념을 이해한다고 주장하며, 3D 자산 수준에서 이를 시도하는 연구가 있는지 궁금해함

  • NN 이미지와 비디오에서 "지옥의 소음"을 인식하지 못하는 사람들에 대해 의아해함

  • Schmidhuber의 그룹이 2018년에 했던 작업을 언급하며 링크를 공유함

  • 최신 GTA와 관련된 실제 영상으로 모델을 훈련하여 오래된 게임의 비주얼을 업그레이드하는 것이 흥미로울 것이라고 언급함

  • 언어 모델과 결합할 방법이 있는지 궁금해하며, 언어가 세계 모델에 기반해야 한다고 주장함

  • 언어 모델이 비효율적이라고 생각하며, 구조 공학 도구로 훈련된 "게임"을 상상함

  • 이 네트워크가 세계를 이해하고 유용한 행동을 예측하거나 질문에 답할 수 있는 부분이 될 수 있다고 설명함

  • 강력한 루프가 있는 이 모델이 새로운 이미지나 맵을 시작으로 사용할 때 어떻게 반응할지 궁금해함