▲

Show HN: 딸기의 가우시안 스플랫

 (superspl.at)
2P by GN⁺ 17시간전 | ★ favorite | 댓글 1개
  • Strawberry는 danylyon이 SuperSplat에 게시한 다운로드 가능한 딸기 3D 장면이며, 라이선스는 CC BY 4.0으로 표시됨
  • 장면 데이터는 46,530개 항목과 22.94 MB 파일 크기로 표시되고, 게시 시점은 13시간 전으로 표시됨
  • 촬영은 90개 시점에서 이뤄졌고, 각 시점마다 88장 초점 스택 이미지가 사용됨
  • 장비는 Nikon Z8 풀프레임, f/7.1, 1/160초, ISO 100, Laowa 180mm 매크로 렌즈, LED 라이트, 블루스크린 배경임
  • 학습은 slang-splat에서 수행됐고, COLMAP과 COLMAP 데이터셋이 함께 제공됨

장면 개요

  • Strawberry는 SuperSplat에 게시된 3D 딸기 장면이며, 게시자는 danylyon임
  • 장면 데이터는 46,530개 항목, 파일 크기는 22.94 MB로 표시됨
  • 게시 시점은 13시간 전으로 표시됐고, 다운로드 가능함
  • 라이선스는 CC BY 4.0으로 표시됨

촬영 조건

  • 딸기 장면은 90개 시점에서 촬영됐고, 각 시점마다 88장 초점 스택 이미지가 사용됨
  • 촬영 장비와 설정은 Nikon Z8, 풀프레임, f/7.1, 1/160초, ISO 100, Laowa 180mm 매크로 렌즈임
  • 조명은 LED 라이트, 배경은 블루스크린으로 구성됨

학습 및 데이터

  • 학습은 slang-splat에서 수행됨
  • 사용 소프트웨어로 COLMAP이 표시됨
  • COLMAP 데이터셋도 제공되며, Patreon에서 무료로 이용 가능함

사용 조건

  • 장면은 CC BY 라이선스로 다운로드할 수 있음
  • 출처 표기는 요구사항이 아니라 감사의 의미로 권장된다고 명시됨
  • 출처 표기 없이도 이 작업물을 사용할 수 있다고 안내됨

함께 보면 좋은 글 β

▲
GN⁺ 17시간전  [-]
Hacker News 의견들

  • 2011년에 비디오 게임 구동용으로 PlayCanvas를 만들었는데, 2026년에는 딸기를 구동하고 있음

    • 관심 있는 분들을 위해, SuperSplat과 PlayCanvas는 GitHub에 오픈소스로 공개되어 있음: https://github.com/playcanvas
    • 오픈소스의 가장 사랑스러운 점 중 하나가 사람들이 전혀 새로운 용도를 찾아낸다는 점임

  • 와, 시간 순삭임. 결국 여기까지 갔는데 아름답다: https://superspl.at/scene/ff1d0393

    • 이 장면은 내 환경에서는 렌더링 오류가 이상하게 남. 나무와 지평선이 방앗간 건물 앞에 나오고, 궤도 모드가 아니면 외부가 제대로 렌더링되지 않음
      그래도 계단을 걸어 올라갈 수 있다는 걸 발견했을 때는 꽤 충격이었음. 달리려면 Shift가 필요함
      장면 경계에는 클리핑이 절실함. Scaniverse 같은 앱을 쓰면 경계 상자를 추가해서 멀리 있는, 보통 재구성이 잘 안 된 점들을 제거할 수 있음
      LiDAR 스캐너가 있는 최신 iPhone이라면 강력 추천함. 집이나 정원을 인형의 집처럼 렌더링할 수 있고, 벽이나 구조물을 계획하고 측정하는 데 의외로 유용함
    • 내 iPhone 12 mini에서 완전히 부드럽게 돌아간다는 게 놀라움
      돌아다닐 수 있으면서도 해상도가 꽤 괜찮은 정말 멋진 장면임

  • [1]을 읽었지만 아직도 정확히 뭘 보고 있는지 잘 모르겠음. 추측하자면 많은 고해상도 사진으로 재구성한 3D 모델인가 싶음
    [1] https://en.wikipedia.org/wiki/Gaussian_splatting

    • 딸기처럼 보이도록 많은 반투명 덩어리를 합성한 것임
      메시나 모델은 없음. 딸기의 시각적 표면은 실제 물리적 위치로는 표면처럼 보이는 곳이 아니라 서로 멀리 떨어진 덩어리들로 구성될 수도 있음
      그래서 이런 것들을 복사장(radiance field) 이라고 부름. 기하가 아니라 빛을 모델링하기 때문임
      실제로는 덩어리의 위치와 회전을 제약해서 딸기의 기하 형태와 더 잘 맞게 만들 수 있음
    • 가우시안 스플래팅이 어떻게 동작하는지는 이 영상이 설명해 줌: https://www.youtube.com/watch?v=X8yRlA7jqEQ
    • 작동 원리는 다른 답글들이 잘 설명했음. 이미지에 아주 가까이 확대해 보면 표면을 “뚫고” 들어가기 시작하고, 그러면 원리를 감 잡는 데 도움이 됨
      중요한 건 정의된 기하 표면, 즉 메시가 없다는 점임. 또 좋은 스플랫을 만들려면 다양한 각도에서 엄청나게 많은 사진을 찍어야 해서 매우 어렵고, 형편없는 스플랫은 정말 쉽게 만들어짐. 하지만 제대로 만들면 경이로움
    • https://youtube.com/watch?v=X8yRlA7jqEQ로 처음 배웠는데, 정말 멋짐
    • 2분짜리 좋은 설명 영상이 있음: https://youtu.be/HVv_IQKlafQ

  • 아름다움
    가우시안 스플랫에서 좋아하는 점은 열화되는 방식임. 딱 끊기거나 세부 수준이 바뀌면서 구가 큐브로 변하는 대신, 점점 “꿈결 같은” 모습이 됨. 기본 형태는 남아 있고 디테일만 줄어드는 느낌임
    예를 들어 이 장면: https://superspl.at/scene/e721ea7c
    나무 쪽으로 가까이 이동하면 주변이 흐려지는데, 현실의 직물이 풀려나가는 것 같음

    • 그렇다면 내가 가우시안 스플랫에서 파생해 만든 예술 작업도 마음에 들 수 있음. 나는 이것들을 gaussographs라고 부르고 있음
      https://bayardrandel.com/gaussographs
      더 최근 작업은 Instagram에 있음
      https://www.instagram.com/bayardrandel/
    • 잘 알지는 못하지만 멋진 효과임. 적어도 이 딸기에서는 확대하는 게 아니라 가까이 이동하는 것에 가까움
      확대했을 때 기대하는 추가적인 “가짜 디테일”은 보이지 않고, 피부를 뚫고 상상된 내부로 들어가는 느낌임
    • Minority Report의 “기억” 장면이 많이 떠오름: https://www.youtube.com/watch?v=arTIRgdEb1g
    • 정말 엄청나게 멋진 효과임. 현실이 안개, 서리 낀 유리, 물감 번짐, 오로라 조각, 민들레 솜털 같은 것으로 무너져 내리는 느낌임
      일관성이 줄어들수록 탐색도 더 어렵고 예측하기 힘들어짐
      일반적인 3D 모델보다, 마음이 공간 정보를 저장하고 처리하는 방식에 훨씬 가까워 보임
    • 사진과 3D 모델 사이 어딘가에 있다는 점이 좋음. 딱히 비슷한 게 없음

  • 흐릿한 이미지만 보이고 아무것도 로드되거나 동작하지 않는다면, JavaScript 콘솔에 "WebGL not supported"가 뜨는지 확인해 보면 됨

  • 이것도 흥미로움: https://github.com/apple/ml-sharp
    단일 이미지에서 가우시안 스플랫을 생성하는 Apple 모델임. M1 Pro에서 약 30초 걸림
    너무 많이 움직이면 무너지지만, 살짝 좌우로 흔드는 정도나 VR에서 두 번째 눈 시점 정도에는 훌륭함. 내가 https://github.com/combatwombat/tiefling에서 쓰는 예전 방식인 깊이 지도 + 정점 셰이더보다 훨씬 보기 좋음
    다만 ml-sharp는 가중치가 2.6GB라 브라우저에서 돌리기에는 좀 큼

    • 이게 최신 OS 버전의 Photos 앱에서 Apple이 하는 작업의 기반인가?
      이제는 iDevice와 Mac에서 30초보다 훨씬 빠르게 동작하는 것 같음
    • Nvidia에서 돌리려면 VRAM이 어느 정도 필요한지 아는 사람 있음?

  • 몇 주 전에 가우시안 스플래팅을 알게 됐는데, 어쩌면 웃기거나 순진하거나 멍청한 질문일 수 있음. 동적 조명에 진전이 있거나 이론적으로라도 가능성이 있음?

    • 이를 직접 하려는 연구들이 있음. 예: https://arxiv.org/abs/2601.23065
      하지만 난반사보다 복잡한 경우에는 정확한 재질을 얻는 게 어렵다
      AI 기반 재조명은 곧 잘 동작하기 시작할 듯함
    • 기본 상태에서는 표면에 조명을 비출 수는 있겠지만, 그림자는 제대로 처리하기 어려울 것 같음. 구조물이 고체가 아니라 3D 공간의 입자에 더 가까움
      꽤 현대적인 애셋에 오래된 게임 엔진의 실시간 조명을 얹은 느낌일 수 있음. Quake 2~3 시대처럼
      아니면 스플랫으로부터 희소한 복셀 볼륨을 만들고, 각 복셀에 빛을 흡수하는 복셀 불투명도 값을 주는 “가림 사전 패스” 같은 걸 할 수도 있지 않을까 싶음. 요즘 사전 계산 전역 조명과 크게 다르지 않음
      참고로 렌더링 전문가는 아니고, 예전에 OpenGL로 이것저것 해 본 괴짜일 뿐임

  • 그냥 와!
    웹사이트를 둘러보다가 이 장면에 더 감탄했음: https://superspl.at/scene/c67edb74

    • 이건 100%에 도달하면 브라우저가 계속 죽음. Safari/iOS, iPhone 13 환경임
      댓글에 링크된 다른 몇 개는 탐색하고 사용할 수 있었는데, 이상함
    • 빠르게 크기 비교만 해보고 싶었음
      Chrome을 제대로 읽은 게 맞다면 웹사이트와 데이터를 합쳐 171MB임
      계산이 맞다면 Netflix 최고 전송률 기준으로 약 40초 분량의 대역폭임
    • 아름답고, 천장 안으로 “걸어” 올라가 내려다볼 수 있는 게 꽤 멋짐
      얼마나 이상한 사람이냐에 따라 Quasimodo이거나 신이 된 느낌임
    • 뒤쪽 주교가 좀 평평해 보이는 건 아쉽긴 함 ;-)

  • 이걸 보다가 토끼굴에 빠져서 가우시안 스플랫 영상을 만드는 이 회사까지 갔음: https://www.4dv.ai/. 흥미로움

  • 아름다운 작은 미니어처 같음. 큰 장면이 아니라 디테일한 작은 물체에 가우시안 스플래팅을 적용한 걸 보는 게 멋짐
    이 딸기에서 아마 가장 지루한 측면인 라이선스가 궁금함. “CC BY 라이선스로 다운로드할 수 있지만, 저작자 표시는 필수가 아니라 해주면 고맙다”고 썼는데, 법률가는 아니지만 CC-BY로 라이선스하면서 설명에서 BY 요건을 면제할 수는 없을 것 같음
    저작자 표시를 선택 사항으로 만들고 싶다면 CC0 같은 더 관대한 라이선스를 쓰고 표시를 요청해야 하는 것 아닌가?

    • 가능하다고 봄. “원하는 대로 하라”도 비공식 라이선스인 것처럼 말임. 다만 약간 무의미할 뿐임
    • 자기 콘텐츠니까 원하는 대로 할 수 있음
      어느 정도는 그렇다. 프랑스 같은 나라에서는 저작자 표시권이 근본적으로 양도 불가능해서, 저자가 영구히 표시 권리를 포기한 뒤에도 언제든 표시를 요구할 수 있음
      하지만 미국에서는 계약 조항의 이익을 받는 당사자가 보통 그 조항을 무시하거나 포기할 수 있음. 그걸 여전히 “CC BY”라고 부를 수 있는지는 논쟁의 여지가 있음. 저작자 표시가 핵심이니까
      그래도 CC BY로 라이선스한 뒤 곧바로 그 요건을 면제하는 것은 정당해 보임
답변달기