▲

A$AP Rocky, Gaussian Splatting을 활용한 ‘Helicopter’ 뮤직비디오 공개

 (radiancefields.com)
1P by GN⁺ 6일전 | ★ favorite | 댓글 1개
  • A$AP Rocky의 신곡 ‘Helicopter’ 뮤직비디오는 거의 모든 인물 연기를 볼류메트릭 캡처와 Gaussian Splatting으로 구현한 작품
  • 촬영은 Evercoast의 56대 RGB-D 카메라 배열을 사용해 실제 퍼포먼스를 3D로 기록하고, 후반에는 Houdini·OctaneRender로 렌더링
  • CG Nomads GSOPs와 WildCapture의 내부 툴링을 통해 스플랫 데이터의 시퀀싱, 조명 재조정, 물리적 상호작용을 처리
  • 영상의 초현실적 느낌에도 불구하고 모든 장면은 실제 배우의 물리적 연기를 기반으로 제작
  • 이 프로젝트는 대중음악 영상에서의 동적 Gaussian Splatting 실사용 사례로, 향후 실시간 3D 영상 제작의 가능성을 보여줌

Helicopter 뮤직비디오의 제작 개요

  • A$AP Rocky의 ‘Helicopter’는 Radiance Fields 기술을 활용한 뮤직비디오로, 거의 모든 인물 연기가 볼류메트릭 방식으로 캡처됨
    • 영상은 혼란스러운 움직임과 초기 MTV 스타일의 에너지를 특징으로 함
    • 인물들은 Dynamic Splat 형태로 렌더링되어 입체적 공간감 구현
  • 프로젝트에는 Evercoast, Grin Machine, WildCapture, Fitsū.ai 등이 참여
    • Evercoast가 퍼포먼스 캡처를 담당하고, Grin Machine의 Chris Rutledge가 CG 슈퍼바이저로 참여
    • WildCapture의 Wilfred Driscoll이 시간적 일관성과 모션 전이를 위한 기술 지원

볼류메트릭 촬영과 기술적 구성

  • 촬영은 2025년 8월 로스앤젤레스에서 진행, Evercoast의 56대 RGB-D 카메라와 두 대의 Dell 워크스테이션으로 동기화
    • 배우들은 와이어에 매달리거나 천장 바에 매달려 물리적 스턴트를 수행
    • 헬리콥터 날개나 소품은 실제 목재 구조물로 대체되어 현실적 세팅에서 촬영
  • 총 10TB의 원시 데이터가 수집되어, 약 30분 분량의 스플랫 영상으로 렌더링
    • 최종 결과물은 PLY 시퀀스 약 1TB 규모로 출력

후반 제작 파이프라인

  • 후반 작업은 Houdini에서 진행되었으며, CG Nomads GSOPs로 스플랫 데이터 조작 및 시퀀싱 수행
    • OTOY의 OctaneRender를 사용해 최종 렌더링 및 조명 재조정(relighting) 가능
    • Octane의 Houdini 통합이 성숙해져 그림자·입체감 표현이 가능해짐
  • Blender는 레이아웃과 프리비주얼 단계에서 활용
    • 스플랫 시퀀스를 경량 프록시 캐시로 변환해 장면 계획에 사용
    • WildCapture의 내부 툴로 포즈 추정 스켈레톤을 생성, 충돌·물리 시뮬레이션 지원

실시간 미리보기와 제작 효율성

  • Evercoast 시스템은 촬영 현장에서 실시간 공간 피드백 제공
    • 감독은 촬영 직후 메시 기반 프리뷰를 확인하고, 이후 웹 플레이어로 완전한 스플랫 렌더링을 검토 가능
    • 대용량 데이터를 다운로드하기 전, 필요한 장면만 선택적으로 후처리
  • 이 워크플로우는 전통적 영상 제작보다 시뮬레이션에 가까운 방식으로, 빠르고 비용 효율적인 창작 가능

실제 퍼포먼스와 시각적 착시

  • 일부 관객은 영상이 AI 생성물로 오해했으나, 모든 장면은 실제 배우의 물리적 연기를 기반으로 함
    • 스턴트, 점프, 낙하 등 모든 동작이 실제 공간에서 수행
    • 볼류메트릭 캡처 덕분에 카메라 구도 재배치와 공간 연속성 파괴가 자유로워, 인공적 느낌을 유발
  • Radiance Field 기술은 현실을 대체하지 않고, 현실의 움직임과 공간을 보존하는 역할

A$AP Rocky와 Radiance Fields의 이전 협업

  • A$AP Rocky는 2023년 ‘Shittin’ Me’ 뮤직비디오에서도 NeRF와 Instant-NGP GUI를 활용한 바 있음
    • 이번 ‘Helicopter’는 그 연장선에서 동적 Gaussian Splatting의 대규모 실사용 사례로 평가됨
▲
GN⁺ 6일전  [-]
Hacker News 의견들
  • 2023년에 Nial Ashley (Llainwire) 가 혼자서 이 작업을 하고 비주얼까지 직접 만든 게 정말 대단하다고 생각함
    유튜브 영상 링크
    안타깝게도 이 친구는 주목받지 못했음. 디스코드에 따르면 너무 많은 아티스트들이 이 스타일의 뮤직비디오 제작만 의뢰해서, 결국 음악 협업 대신 이 프로젝트를 포기했다고 함
  • 나는 CG Nomads의 공동 창립자 David Rhodes임. SideFX Houdini용 GSOPs (Gaussian Splatting Operators) 를 개발했음
    이번 뮤직비디오는 GSOPs와 OTOY OctaneRender를 조합해 제작되었음
    기술에 관심 있다면 공식 사이트나 GitHub 저장소를 참고해볼 수 있음
    • 이 기술의 미학적 측면이 정말 흥미로움. 예전 버전에서는 완전히 글리치한 3D 노이즈 구름처럼 보였는데, 혹시 의도적으로 잘못된 입력이나 정렬 오류를 활용해 창의적으로 ‘남용’하는 방법에 대한 생각이 있는지 궁금함
    • David, 혹시 Mesh Splatting 같은 3DGS 대안 기술도 살펴본 적 있는지 궁금함. 더 빠른 학습과 좋은 결과를 약속하던데
    • Davinci Resolve용 플러그인으로 두 대의 iPhone에서 촬영한 공간 데이터를 합쳐 3D 장면으로 병합하는 게 가능할까 궁금함. M4 칩이라면 충분히 가능할 것 같음
    • “고품질 3D 콘텐츠”라고 했는데, 영상에서는 그게 좀 부족했던 것 같음
  • HN에서 A$AP 관련 글을 보게 될 줄은 몰랐음. 이 커뮤니티가 참 재밌음
    • 나도 하루 종일 Helicopter 뮤직비디오를 HN에 올릴 방법을 고민했는데, 결국 Gaussian이라는 각도로 누군가 올려줘서 반가움
    • 영상에서 그가 헤어 컬러(헤어롤) 를 하고 있는 건가?
    • 거의 Carti 관련 글이 HN 상단에 올라올 뻔했음
    • 나도 순간 두 번 쳐다봤음, 진짜 의외였음
    • 그런데 왜 그게 “멋지다”고 여겨지는지 잘 모르겠음
  • Gaussian splatting이 정확히 뭔지, 그리고 기사에서 말한 “이제 충분히 성숙했다”는 게 무슨 뜻인지 쉽게 설명해줄 수 있는 사람 있나 궁금함
    • 장면에서 포인트 클라우드를 만들고, 각 점을 퍼진 타원체로 대체한 뒤, 미분 가능한 렌더러로 학습시키는 과정임. 이렇게 하면 실제 사진과 거의 일치하는 3D 장면을 재구성할 수 있음
    • 여러 각도에서 촬영한 영상을 결합해 3D 공간의 방사 필드(radiance field) 를 추정하는 방식임. 이걸로 실제로 존재하지 않는 카메라 각도도 시뮬레이션할 수 있음.
      Houdini 같은 툴에서 이 기술을 활용하면 아티스트가 자유롭게 가상 카메라를 움직일 수 있음
    • 각 점이 반투명한 블롭(blob) 형태로, 보는 방향에 따라 색이 달라짐. 반사나 광택 효과를 표현할 수 있음
    • 이 2분짜리 영상이 좋은 입문 자료임.
      2023년의 핵심 논문과 GPU 및 미분 프로그래밍 발전 덕분에 이제 실무에서도 쓸 수 있게 된 것 같음
    • 시각적 데모는 이 블로그 글과 이 사이트에서 볼 수 있음
  • 영상이 정말 멋졌음. 기사 내용은 절반 이상 이해 못했지만, 이런 전문 용어 범벅 문장을 읽는 게 오히려 재밌음
    “데이터를 Houdini로 가져와 GSOPs로 조작하고 OctaneRender로 최종 렌더링했다”는 부분이 특히 인상적이었음
    • 나는 Houdini용 GSOPs 제작자 중 한 명임. Gaussian splat은 수많은 3D 타원체로 현실을 복제하는 방식임. Houdini는 이런 대규모 포인트 데이터를 다루는 데 강점이 있고, Octane 같은 렌더러가 이를 전통적인 CG 요소와 통합할 수 있음
    • 내가 바로 그 기사 작성자임. Gaussian splatting은 일반 2D 이미지나 영상을 입력으로 받아 사실적인 3D 복원을 가능하게 함. NeRF나 Plenoxel 같은 방사 필드 기반 기법의 일종임
    • Corridor Crew가 Gaussian splat을 활용한 멋진 작업을 했음. 이 영상을 추천함
    • 이 문체가 왠지 Kurtwood Smith가 『The Patriot』에서 파이프를 파는 장면을 떠올리게 함
  • 나는 Gaussian splatting을 사진 예술 매체로 실험 중임. 데이터가 부족할 때 나오는 표현주의적 결과물이 정말 매력적임
    내 작업 모음
    • 작품이 너무 멋짐! 혹시 제작 과정에 대해 더 자세히 다룬 곳이 있는지 궁금함
    • 미학이 정말 독특하고 멋짐
  • 솔직히 영상이 옛 Unreal Engine 렌더링처럼 보였음. 일부러 그런 미학을 노린 걸 수도 있겠지만, Gaussian splatting으로 얼마나 사실적인 결과를 낼 수 있을지 궁금함
    조명이나 그림자를 다시 설정하거나, 장면 일부를 수정해도 원래의 현실감을 유지할 수 있을까?
    요즘 영화 제작이 다각도 촬영 후 후반 편집 중심으로 가는 걸 보면, 결국 인간은 Gaussian splat으로, 배경은 그린스크린으로 처리하는 시대가 올지도 모르겠음
    • 이 영상의 미학은 Gaussian splatting의 아티팩트를 일부러 살린 결과임. 특히 4DGS에서는 시간적 불일치가 생기는데, 리라이팅 과정에서 그게 더 두드러짐.
      그래도 기술은 빠르게 발전 중이고, 볼류메트릭 캡처는 확실히 자리 잡을 것 같음.
      정적인 환경에서는 이 예시처럼 품질이 매우 높음
    • 아티스트의 성향을 보면, 이건 예산보다는 기술의 새로움과 창의적 자유를 위한 선택 같음
    • 나한테는 Teardown이라는 복셀 기반 게임의 고해상도 버전처럼 느껴졌음. 조명과 카메라 움직임이 그 느낌을 줌
    • 올바른 데이터를 넣으면 지금도 IMAX급 3D 품질을 낼 수 있을 것 같음
    • A$AP의 다른 영상들도 종종 로파이·레트로 감성을 의도적으로 씀. 예를 들어 Yamborghini High에서는 MPEG 손상 효과를 흉내 냈음
  • 영상 자체를 꼭 봐야 함. 초현실적인 효과와 인간 퍼포먼스의 균형이 정말 좋음
    음악이 취향이 아니면 음소거하고 감상해도 됨
    • A$AP Rocky의 또 다른 곡 Taylor Swif 뮤직비디오도 비슷하게 초현실적이고 기묘한 분위기를 가짐. 동유럽풍 연출이 의도적으로 테마와 맞물려 있음
      영상 링크
    • 영상 끝까지 보면 마지막 스플랫은 Gaussian이 아님
  • 뮤직비디오 직접 링크: https://www.youtube.com/watch?v=g1-46Nu3HxQ
    • 좋은 생각임. 그 링크를 본문 상단에도 추가하겠음
  • 아쉽게도 30초쯤 보고 멀미가 와서 멈췄음. 그래도 기술은 정말 멋짐. 혹시 나처럼 느낀 사람 있나 궁금함
    • 나는 영상이 정말 좋았음. 멀미는 전혀 없었음
    • 내 아내도 같은 반응이었는데, 인트로 이후엔 훨씬 괜찮아짐
답변달기