1P by neo 3달전 | favorite | 댓글 1개

CityGaussian: 고속 고품질 대규모 장면 렌더링을 위한 가우시안 기법

  • **CityGaussian (CityGS)**은 대규모 3D 가우시안 스플래팅(3DGS)의 효율적인 훈련과 실시간 렌더링을 위한 새로운 접근법을 제시함.
  • 전역 장면 사전 지식과 적응형 훈련 데이터 선택을 통해 효율적인 훈련과 무이음 결합이 가능함.
  • 가우시안 원시 데이터를 기반으로 다양한 디테일 수준을 압축하여 생성하고, 제안된 블록 단위 디테일 수준 선택 및 집계 전략을 통해 다양한 규모에서 빠른 렌더링을 실현함.
  • 대규모 장면에 대한 광범위한 실험 결과는 이 접근법이 최신 렌더링 품질을 달성하며, 매우 다른 규모의 대규모 장면을 일관되게 실시간으로 렌더링할 수 있음을 보여줌.

SOTA와의 비교

  • CityGS 없이 LoD 기술: MatrixCity는 2500만 개의 가우시안으로 묘사되며, A100에서 테스트한 결과 18 FPS의 속도로 불쾌한 로밍 경험을 초래함.
  • CityGS와 LoD 기술: LoD 지원으로 CityGS는 매우 다른 규모에서 실시간으로 렌더링될 수 있으며, 평균 속도는 A100에서 테스트한 결과 36 FPS임.

시각적 비교

  • MegaNeRF, SwitchNeRF, GPNeRF, 3DGS와 같은 기존 기술들과 비교하여 CityGS의 우수한 렌더링 품질을 시각적으로 비교함.

GN⁺의 의견

  • CityGaussian은 대규모 3D 장면을 실시간으로 렌더링하는 데 있어 중요한 기술적 진보를 나타냄. 이는 가상 현실, 게임 개발, 도시 계획 및 시뮬레이션과 같은 분야에서의 응용 가능성을 높임.
  • 실시간 렌더링은 사용자 경험을 크게 향상시키는 요소로, CityGaussian이 제공하는 높은 프레임 속도는 이러한 경험을 더욱 부드럽고 현실적으로 만들 것임.
  • 그러나 실시간 렌더링 기술은 일반적으로 고성능 컴퓨팅 자원을 필요로 하며, 이는 비용과 접근성 측면에서 제약이 될 수 있음.
  • 이 기술이 널리 채택되기 위해서는 하드웨어의 발전과 함께 최적화 기술의 지속적인 개선이 필요함.
  • 또한, CityGaussian과 유사한 기술을 사용하는 다른 프로젝트나 제품이 시장에 존재할 수 있으므로, 사용자는 자신의 요구 사항에 맞는 최적의 솔루션을 선택하기 위해 여러 옵션을 비교해야 함.
Hacker News 의견
  • 구글 맵스 3D 타일과 가우시안 스플랫을 결합한 실험적인 프로젝트를 소개함. 이 기술을 통해 실제와 유사한 효과를 달성했으며, 관련 코드가 포함된 예시가 제공됨.
  • 비디오에서 사용된 데이터셋은 'Matrix city'로, 몇 년 전에 출시된 언리얼 엔진 5의 매트릭스 데모에서 추출된 것으로 보임. 사진이 아닌 포토리얼리즘 기법으로 제작된 것으로 추정됨.
  • 평균 프레임 속도는 초당 36프레임으로, A100 그래픽 카드에서 테스트됨. 이 그래픽 카드는 약 $8,000의 가격임.
  • 가우시안 스플랫이라는 기술이 가우스의 이름을 따서 명명되었는데, 가우스가 직접 발명한 것은 아니지만, 이 기술의 수학적 기반에 크게 기여함.
  • 언리얼 엔진이 최근 놀라운 데모를 선보일 수 있었던 기술이 가우시안 스플랫인지에 대한 기술적인 질문이 있음.
  • 이 기술이 어떤 라이선스로 공개될지 기대되며, 오픈 소스 게임에서 이를 활용하는 것을 보고 싶다는 의견이 있음.
  • 3D 가우시안을 사용하여 큰 장면을 렌더링하는 고급 기술에 대한 호기심과 코드를 테스트해보고 싶다는 흥미로운 반응이 있음.
  • 이 기술이 기존의 도시 시뮬레이션 게임인 'Cities: Skylines'보다 눈에 띄게 나은 점이 없어 보이며, 제한된 프레임만을 보여주어 실제 효과를 파악하기 어려움을 지적하는 의견이 있음.
  • 3D 가우시안 스플랫이 실제로 유용할지 의문을 제기하는 댓글이 있음. 렌더링 속도가 너무 느리고 데이터가 많아서 실용적이지 않을 수 있다는 우려와 함께, 래스터화가 레이트레이싱보다 항상 빠를 것이라는 주장이 있음. 가우시안 포인트 클라우드에서 전통적인 기하학과 재질을 생성하는 것이 흥미롭지만, 포토그래메트리가 이미 오래전부터 사용되고 있음을 언급함.
  • 이 기술의 메모리와 컴퓨팅 요구 사항에 대한 질문이 있음.