▲

매크로 스플랫 2025

 (danybittel.ch)
1P by GN⁺ 13시간전 | ★ favorite | 댓글 1개
  • Gaussian splat은 여러 흐릿한 타원체로 구성되어, 3D 사진처럼 다양한 각도에서 볼 수 있는 특성을 가짐
  • 곤충 등 매크로 대상의 복잡하고 미세한 질감을 효과적으로 재현 가능함
  • 얕은 심도로 인한 문제를 해결하기 위해 focus stacking 기법을 도입함
  • 자동화 장비와 최적화된 촬영 방식으로 촬영 효율성과 품질을 높임
  • 최종적으로 COLMAP과 Postshot을 활용해 고해상도 3D 모델 구현 및 공개함

Macro Splats 2025 요약

Gaussian Splat 개념 및 3D 사진화

  • Gaussian splat은 흐릿한 타원체들을 3D 공간상에 중첩시켜, 각 타원에 뷰 의존 색상을 부여하는 기법임
  • 인공지능 모델의 학습처럼, 여러 사진을 입력해 최적화를 반복하면 현실적인 3D 사진 결과물 생성 가능함
  • 이 방식의 결과로 다양한 각도에서 실감나게 관찰할 수 있는 3D 이미지를 얻음

매크로 피사체 적용 동기

  • 벌레와 같이 털이 많거나 복잡한 구조의 매크로 피사체는 Gaussian splat 표현에 매우 적합함
  • 이러한 질감은 기존 3D 재구성 기법에서 묘사하기 어려운 부분임을 강조함

Focus Stacking 활용한 촬영 과정

  • 매크로 촬영 특성상 심도가 매우 얕아, 모든 부위를 선명하게 담기 어려운 점이 문제임
  • Focus stacking은 동일한 각도에서 초점이 살짝씩 다른 이미지를 다수 촬영 후, 하나의 완전 선명한 사진으로 합성하는 기법임
  • 보통 한 stack에 50~500장의 사진이 필요하지만, 촬영 효율을 위해 각 스택당 16장으로 조정하고 f/18 조리개 값 이용함
  • 회전 디스크, boom arm, 자동 초점 레일 등으로 곤충을 여러 각도에서 체계적으로 촬영함
  • 총 111개 각도에서 1776장 찍었으며, 전체 촬영 소요 시간은 4시간 정도임

3D 모델 구축 및 후처리

  • 모든 이미지는 배치 focus stacking으로 111장 고해상도 사진으로 완성됨
  • 카메라 위치 정보는 COLMAP으로 복구하고, 색상 보정 및 배경 마스킹 작업 시행함
  • 최종 데이터는 Postshot으로 학습시켜 splat 모델 제작, 지지대(마운팅) 부분 최소 retouch로 제거함

3D 모델 공개 및 활용

  • 완성된 곤충 모델은 superspl.at에서 3D로 자유롭게 관람 가능함
  • cluster fly 모델은 여기에서 무료 공개, 저작자 표기 조건하에 상업적·비상업적 목적 모두 사용 허용됨
▲
GN⁺ 13시간전  [-]
Hacker News 의견
  • 내가 본 컴퓨터 그래픽 중에서 이 만드린 wasp가 가장 인상적인 작업물 중 하나임과 동시에 매크로 사진 촬영으로서도 최고 수준임을 생각함. 실시간 렌더링 가능하다는 점도 놀라움. 며칠 전에 PS6에 대한 논의가 있었는데, 만약 내가 콘솔이나 게임 제작에 계속 관여했다면 이런 에셋을 게임에 도입하는 방법에 엄청 신경 썼을 것임
    • Gaussian splats는 일반 비디오게임에 요구되는 유연성이 부족함. 진짜 PBR이 아니기 때문에 조명이 거의 하드코딩된 상태임. 리깅이 잘 작동하지 않고, 에디팅도 매우 어려움. 한 객체 단일 시각화에는 좋지만, 여러 요소가 모인 씬을 구축하는 것에는 적합하지 않음
  • 정말 멋지게 보임. 웹사이트에 대해 피드백을 하자면, 회색 배경에 검은색 글씨는 가독성이 떨어져서 reader 모드를 사용해야 했음
    • 페이지의 색 포화도가 강해서, 뭔가 강조 표시된 전경을 내가 못 보고 있는 줄 알았고 전체 페이지가 배경으로 처리된 것처럼 느껴졌음
    • 오히려 나는 정반대의 경험을 함. 이 웹사이트는 내가 안경을 쓰고도 글자가 번지지 않아서 명확하게 읽을 수 있는 몇 안 되는 사이트임
  • 이 작업은 정말 멋지게 보이고, 매크로 사진과 Gaussian splatting을 결합할 생각을 한 적이 없음. 이를 무료 문화 파일(CC BY)로 공개해줘서 정말 고마움을 느낌
  • Exquisite Creatures Revealed 아티스트와 콜라보를 보면 멋질 것 같음. 그는 다양한 곤충을 보존하며, 자연이 가진 색감과 무지갯빛 효과를 강조하는 방식으로 전시함. 전시에 너무 감동해서 다시 방문했음. 아티스트 정보는 여기에서 볼 수 있음
  • 초점 거리 의존적인 gaussian splats를 맞추는 연구가 있을지 궁금함. 기본적으로 bokeh를 모델링하는 방식으로, 원본 raw 이미지들을 넣으면 전체적으로 선명한 모델을 얻을 수 있지 않을까 생각함
  • 파리 몸의 무지갯빛 반사를 어떻게 포착하는지가 궁금함. 마치 반사된 부분을 통해 배경을 들여다보는 느낌도 있음. 반사가 각도마다 색이 다르기 때문에 gaussian splat 생성이 모든 광선을 만족하는 답을 찾기 힘든 것 아닐까 생각했음. 적어도 반사 표면이 더럽게 나오리라 생각했는데, 뭔가 비밀스런 트릭이 있는 것인지, 아니면 내가 gaussian splat에 대해 오해한 것인지 궁금함
    • 색상은 시점에 따라 달라지고, 이 말은 곧 조명이 baked-in 된 것임. 그래서 3D 애니메이션이나 실시간 환경에 직접적으로 사용하긴 어렵다고 생각함(물론 동적 조명에 대한 연구가 진행 중일 수 있음). 때때로 잘못 보이는 경우가 있는데, 예컨대 파리 모델에서 너무 가까이 가면 몸체 일부가 투명해 보이고, specular highlight가 내부 표면 뒷면의 splat으로 보이는 현상이 나타남. 거울 모델에서는 이게 더 심하게 드러나고, 거울을 실제로 통과해서 들어갈 수도 있음
    • Gaussian splats는 시점에 따라 색상을 부여할 수 있음. 내가 아는 한, 구면 고조파(spherical harmonics)로 구현됨. 각도 해상도는 이 고조파 컴포넌트 개수에 따라 결정되는데, 너무 적으면 모든 반사가 느리고 부드럽게 바뀌고, 반사가 흐릿해짐
    • FTA에 따르면, “Gaussian splat이란 본질적으로 여러 개의 흐릿한 타원체이고, 각 타원체마다 시점에 따른 색이 있음.” 이 설명이 도움이 되길 바람
    • "View-dependant colors with SH" 섹션을 참고하면 좋겠음: 관련 글
  • 브라우저에서 휴대폰으로도 실시간으로 돌려볼 수 있는 회전 가능한 데모가 정말 잘 작동함. gaussian splat 렌더링 비용은 그리 비싸지 않고, 사전 계산에만 연산이 많이 들어가는 듯함
    • 파일 용량도 인상적으로 작음. 링크가 지금은 없지만, 움직임까지 포함된 4D splat(비디오처럼 볼 수 있고, 장면 안에서 이동도 가능함)이 공개되어 있고, 그 파일도 수 메가바이트 수준임
  • 매우 멋진 작업임. 하지만 모바일에서는 3D가 전혀 쓸 수 없음. 오빗 모드에서 3D를 터치하는 순간 남반구 시점으로 고정되고, 어떻게 돌려도 화면이 미친 듯이 휙휙 움직임
    • 플레이캔버스 개발자임. 혹시 어떤 폰/기기에서 그런 현상이 있었는지 알려줄 수 있는지 궁금함. 버그일 수도 있음(말장난 아님)
  • 최근에 "The Matrix"를 다시 방문하는 데에도 사용되었음: 유튜브 영상
  • 이건 Stars/NoooN [1]에서 보여준 23,806개 삼각형의 실시간 렌더링보다 엄청난 발전임. [1] YouTube 영상
    • 이게 언제 만들어진 것인지 궁금함. 유튜브 영상이 14년 전 것이지만 훨씬 더 오래된 느낌임
답변달기