- CityGaussian(CityGS) 는 3D Gaussian Splatting(3DGS)을 도시 규모 장면으로 확장해, 학습 효율과 실시간 탐색 품질을 함께 겨냥한 ECCV 2024 방법임
- 대규모 장면을 한 번에 다루기 어렵다는 한계를 분할 정복 학습과 세부 수준(LoD) 전략으로 나눠 해결함
- 전역 장면 사전 정보와 적응형 학습 데이터 선택을 활용해 블록별 학습 결과를 더 효율적으로 맞추고 매끄럽게 융합함
- 융합된 Gaussian primitive를 압축해 여러 세부 수준을 만들고, 렌더링 시 블록 단위로 적절한 세부 수준을 선택·집계함
- LoD 없이 MatrixCity를 2,500만 개 Gaussian으로 표현하면 A100에서 18 FPS에 그치지만, LoD 적용 CityGS는 평균 36 FPS로 실시간 렌더링을 달성함
대규모 3DGS를 위한 학습·렌더링 구조
- 3D Gaussian Splatting(3DGS)은 실시간 3D 장면 재구성과 새로운 시점 합성에서 강점을 보였지만, 대규모 장면 학습과 다양한 스케일의 실시간 렌더링은 여전히 부담이 큼
- CityGaussian은 이 문제를 두 단계로 나눠 다룸
- 분할 정복 학습: 대규모 장면을 블록 단위로 나눠 효율적으로 학습함
- LoD 전략: 관찰 스케일에 맞춰 필요한 세부 수준만 사용해 렌더링 속도를 높임
- 전역 장면 사전 정보와 적응형 학습 데이터 선택이 학습 효율을 높이고, 분리된 장면 조각을 더 자연스럽게 융합하도록 돕음
- 융합된 Gaussian primitive는 압축 과정을 거쳐 여러 세부 수준으로 구성됨
- 렌더링 단계에서는 블록별 세부 수준 선택과 집계 전략을 사용해, 여러 스케일에서도 빠른 화면 생성을 가능하게 함