RenderFormer: 삼각형 메시와 글로벌 일루미네이션 기반 신경 렌더링

 (microsoft.github.io)
4P by GN⁺ | ★ favorite | 댓글 1개
  • RenderFormer는 삼각형 메시 장면에서 이미지를 직접 생성하는 신경 렌더링 파이프라인으로, 장면별 학습 없이 글로벌 일루미네이션까지 다루는 점이 핵심임
  • 렌더링을 물리 시뮬레이션 절차가 아니라, 삼각형·반사 특성 토큰을 작은 픽셀 패치 토큰으로 바꾸는 시퀀스-투-시퀀스 변환으로 정의함
  • 파이프라인은 뷰 독립 단계와 뷰 의존 단계로 나뉘며, 둘 다 Transformer 아키텍처를 사용해 최소한의 사전 제약으로 학습됨
  • 뷰 독립 단계는 삼각형 간 빛 전달을 모델링하고, 뷰 의존 단계는 광선 묶음 토큰을 픽셀 값으로 변환함
  • 공개 예시는 조명, 재질, 기하 복잡도, 애니메이션, 물리 시뮬레이션을 포함하며 래스터화와 레이 트레이싱 없이 렌더링함

RenderFormer의 렌더링 구조

  • RenderFormer는 삼각형 기반 장면 표현에서 이미지를 직접 렌더링하는 신경 렌더링 파이프라인임
  • 전체 글로벌 일루미네이션 효과를 포함하면서도 장면별 학습이나 미세조정을 요구하지 않음
  • 렌더링 과정은 시퀀스-투-시퀀스 변환으로 구성됨
    • 입력은 반사 특성을 포함한 삼각형 토큰 시퀀스임
    • 출력은 작은 픽셀 패치를 나타내는 토큰 시퀀스임
  • 2단계 파이프라인으로 뷰와 무관한 빛 전달 계산과 실제 픽셀 생성을 분리함
    • 뷰 독립 단계: 삼각형 간 빛 전달을 모델링함
    • 뷰 의존 단계: 광선 묶음 토큰을 픽셀 값으로 변환하며, 뷰 독립 단계의 삼각형 시퀀스가 이를 안내함
  • 두 단계 모두 Transformer 아키텍처 기반이며, 최소한의 사전 제약으로 학습됨
  • 렌더링 과정에 래스터화나 레이 트레이싱을 사용하지 않음

공개 결과와 참고 자료

  • 렌더링 갤러리는 장면별 학습이나 미세조정 없이 다양한 조명 조건, 재질, 기하 복잡도를 보여줌
    • Cornell Box, Stanford Bunny in Cornell Box, Lucy Statue, Utah Teapot
    • Composed Scene, Constant Width Bodies, Crystals, Fox in the Wild
    • Horse and Heart, RenderFormer Logo, Interior Room, Shader Ball, Tree, Veach MIS
  • 세부 비교용 reference images가 제공됨
  • 추가 영상 자료로 uncompressed videos와 reference videos가 제공됨

  • 티저 장면

  • 애니메이션과 시뮬레이션

    • 애니메이션 렌더링 예시는 Cascade Cube Animation, Animated Crab, Gyroscope Motion, Animated Character, Marching Cubes Animation, Robot Animation을 포함함
    • 물리 기반 시뮬레이션 예시는 Bowling Ball Physics Simulation, Rotating Box Dynamics, Constant Width Body Simulation을 포함함
    • 논문은 ACM SIGGRAPH 2025 Conference Papers에 수록되며, BibTeX 항목의 제목은 “RenderFormer: Transformer-based Neural Rendering of Triangle Meshes with Global Illumination”임

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들
  • 여기서 제일 멋진 건 속도일 수 있음: 같은 장면에서 RenderFormer는 0.0760초, Blender Cycles는 3.97초(더 높은 설정에선 12.05초)가 걸리면서도 구조적 유사도 지수 0.9526(0~1, 1은 동일 이미지)을 유지함. 논문 표 2와 1을 보면 됨
    이러면 기기 내 Transformer 모델로 웹이나 네이티브 앱에서 3D 디자이너에게 더 품질 좋은 즉시 렌더 미리보기를 제공할 수도 있음
    위 측정은 A100에서 최적화되지 않은 PyTorch 버전 모델로 한 것임. 일반 사용자의 GPU는 훨씬 약하지만, 3D 디자이너용 GPU라면 전통적 렌더링 대비 꽤 큰 속도 향상을 볼 만큼은 충분할 수도 있음. 웹 기반 시스템이라면 백엔드의 A100에 연결해 이미지를 브라우저로 스트리밍할 수도 있음
    한계는 장면 복잡도가 커질수록, 예를 들어 복잡한 형태의 그림자(입자나 머리카락류도 그럴 것 같음)에서 완전히 정확하지 않다는 점임. 그래서 최종 렌더는 오늘날 많은 AI 생성 이미지/영상에서 보이는 보기 싫은 시각적 아티팩트를 피하려고 여전히 전통 방식으로 할 가능성이 큼. 다만 충분히 “괜찮은” 수준이고 속도 이득이 크다면, 음악·스토리 검토 등에 쓸 장편 영화 길이의 프리뷰를 렌더해야 하는 대형 애니메이션 스튜디오가 도입할 명분은 생길 수 있음
    • 저자들이 일부러 속이려 했다고 보진 않지만, 그 수준의 GPU에서 Blender Cycles는 이 논문에 나온 모든 장면을 프레임당 4초보다 훨씬 빠르게 렌더할 수 있음
      장면들이 복잡도가 낮은 아주 소박한 기술 데모 수준이고, Blender를 픽셀당 4천 회 반복하도록 설정해 둔 듯한데 말이 잘 안 됨. Blender는 몇백 사이클만 지나도 출력에 꽤 가까워지고, 이후 3,800 사이클 동안은 개선 없이 GPU 사이클만 태울 가능성이 큼
      전체 렌더 시간에 Blender의 초기화 단계를 실수로 포함한 반면 Transformer 초기화는 포함하지 않은 것 같음. 각 시스템에서 두 번째 프레임을 렌더하는 시간을 보고 싶고, 짐작으로는 Blender가 훨씬 성능이 좋을 듯함. 논문 결과 자체는 흥미롭지만 Blender 설정과 측정 방식에는 뉘앙스가 있음
    • 보여준 장면 기준으로는 76ms도 영겁에 가까움. 물론 앞으로 훨씬 빨라지겠지만, 전통 렌더링보다 낫다고 하기엔 아직 갈 길이 멂
    • 기준 렌더와의 시간 비교가 꽤 부정직해 보임
      광선 추적에서는 오차가 샘플 수의 제곱근에 비례해 줄어듦. 품질 비교용 기준 이미지는 매우 높은 샘플 수를 쓰는 게 보통이지만, 실제 오프라인 렌더러의 샘플 수는 이 논문보다 1~2자릿수 낮음
      그래픽스 논문에서 품질 비교를 위해 매우 높은 샘플 수의 기준 이미지를 넣는 건 흔하지만, 그 기준 이미지와 시간 비교까지 하는 경우는 없음. 결과가 근사치라면 다른 근사 렌더링 알고리즘과 비교하는 게 공정함. 최신 실시간 경로 추적기와 잡음 제거기는 소비자용 GPU에서도 훨씬 복잡한 장면을 16ms 미만에 렌더할 수 있음
      핵심은 “훨씬 복잡한 장면”임. Transformer를 쓰면 삼각형 수와 출력 픽셀 수 양쪽에 대해 이차적으로 스케일링함. 최신 머신러닝 연구를 따라가진 못해서 지금은 개선됐을 수도 있지만, 전형적인 경로 추적기의 이론적 스케일링인 O(log n_triangles)와 O(n_pixels)를 이길 것 같진 않음. 실제 픽셀 수에 대한 스케일링은 인접 픽셀의 높은 일관성 때문에 부분선형에 가까움
    • “어텐션 층의 실행 시간 복잡도는 토큰 수에 대해 이차적으로 증가하고, 여기서는 삼각형 수가 토큰 수에 해당한다. 그 결과 장면의 총 삼각형 수를 4,096개로 제한한다”는 대목이 있음
    • 같은 장면에서 RenderFormer 0.0760초, Blender Cycles 3.97초라는 건 꽤 놀랍게 들림
      빠르게 훑어봤지만 어떻게 설정했는지 자세한 내용은 못 찾았음. Cycles는 A100에서 CPU를 쓴 건지 CUDA 커널을 쓴 건지 궁금함. 또 단일 프레임 렌더라면 3.97초 중 무시 못 할 비중이 렌더러 시작에 들어갔을 수 있음. 시퀀스를 렌더하면 프레임당 시간이 내려갈 것임
      형제 댓글에서 말한 삼각형당 복잡도 스케일링도 아픔
  • 딥러닝은 전역 조명 렌더 이미지의 잡음 제거에도 매우 성공적으로 쓰이고 있음 [1]
    이 접근에서는 전통적 광선 추적 알고리즘이 장면의 거친 전역 조명을 빠르게 계산하고, 신경망이 출력의 잡음을 제거함
    [1] https://www.openimagedenoise.org
    • 데모 출력 이미지는 AI 업스케일처럼 이상할 정도로 매끈해 보임. 들어온 데이터 양을 넘어 이미지를 키우려 할 때, 가장자리는 보존하지만 질감은 잃는 현상처럼 느껴짐
      수정: 잡음 제거는 125% DPI 확대보다 100% 확대에서 더 나아 보이고, 아래쪽 양치식물을 알아보기도 쉬워짐
  • 그래픽스 논문은 항상 보이지 않는 것을 생각해야 함
    여기엔 폴리곤이 거의 없고, 해상도가 낮고, 텍스처도 없고, 모션 블러도 없고, 피사계 심도도 없으며, 애니메이션에는 아티팩트가 좀 있음
    흥미로운 연구이긴 하지만 관점을 맞춰 보면, 현대 GPU를 써서 30년 전 1/1,000,000 수준의 연산량으로 만들던 것 같은 이미지를 만들고 있는 셈임
  • 예시 중에 카메라 뒤쪽을 보여주는 게 하나도 없어서 이상했음
    접근법의 한계인지 예시 제작상의 누락인지는 모르겠지만, 반사와 조명을 얘기할 때 카메라 뒤쪽은 꽤 중요함
  • 잘 몰라서 묻자면, 이 장면들은 장면이 렌더될 것으로 예상되는 방식에 기반해 렌더되는 건가? 그렇다면 더 직접적인 방법 대신 이걸 왜 써야 하는지 모르겠음. 직접적인 방법보다 빠르진 않을 것 같아서임
    • 아마도 멋진 연구(Cool Research™) 라서 그럴 것임. 삼각형 수에 따라 비용이 이차적으로 늘어나니 실용적이진 않음. 그래서 장면당 4096개만 쓴 것임
    • 아마 예상하기 어려운 멋진 이점들이 있을 수 있음
      예를 들어 장면이 입력 가중치 덩어리라면, 거기에 잡음을 더했을 때 어떤 모습이 나올까? 일반적인 방식으로는 불가능한 멋진 출력을 얻을 수 있을까?
      서로 다른 두 장면 표현 사이를 보간하면 흥미로울까? 같은 질문들이 가능함
    • 다른 댓글에 따르면 이 방식이 더 빠르다고 함. 직접적인 방법에서 전역 조명은 매우 느릴 수 있음
  • 와, 그러면 GPU로 고리가 닫힌 셈임. 렌더링에서 계산으로, 다시 렌더링으로
  • 괜찮아 보이지만 흐릿함. 신경망 렌더러와 고전 렌더러의 렌더 시간 비교를 봤으면 좋았을 듯함
    • 애니메이션, 특히 Animated Crab과 Robot Animation에는 물체와 카메라가 움직일 때 모델 주변을 부자연스럽게 소용돌이치는 AI 아트 아티팩트가 꽤 눈에 띔
    • 논문에 시간 관련 논의가 좀 있음. Blender Cycles(경로 추적)와 비교했고, 적어도 삼각형 4천 개 이하 장면에서는 신경망 접근이 훨씬 빠름. 다만 스케일링은 별로 좋지 않을 것 같음. 어텐션 실행 시간이 삼각형 수에 대해 이차적이라고 언급함
      https://renderformer.github.io/pdfs/renderformer-paper.pdf
      신경망 접근을 단순화한 지오메트리로 간접 조명에만 쓰는 게 실용적일지 궁금함. 일반 래스터라이저를 쓰고 그 위에 전역 조명을 붙이는 식임
  • 영화 업계에서 물리 기반 렌더러를 다루고 관련 연구도 한 친구가 있음. 이 업계에서 일이 어떻게 처리되는지에 대한 이야기와 설명을 듣는 걸 늘 좋아함
    요즘 이런 인재를 채용하는 회사가 어디인지 궁금함. AI 회사들도 훈련 환경을 만들기 위해 렌더링 엔지니어를 채용하고 있을까?
    경험 많은 연구·산업 렌더링 엔지니어를 채용하려는 곳이 있다면 연결해 줄 수 있음. 친구는 소셜 미디어를 하지 않지만 기회를 알아보고 있음
    • Gmail의 내 사용자명으로 연락하게 해줘
  • 아주 멋진 연구임. 텍스트가 아닌 영역에 Transformer를 적용하는 이런 사례가 정말 좋음
    입력이 순차적이고 그 입력 토큰들이 서로 관련되는 영역이라면 잘 작동할 것 같음. 이 분야의 더 많은 연구가 기대됨
    텍스트가 아닌 영역 중 Transformer가 특히 잘 맞을 흥미로운 분야는 뭐가 있을까?
  • 장면 설명인 삼각형 집합을 2D 픽셀 배열로 바꾸도록 Transformer를 학습시키고, 그 결과가 같은 장면을 전역 조명 렌더러로 출력한 픽셀처럼 보이게 한다는 발상은 훌륭하고 흥미로움
    지난 5년간의 연구를 보면 이게 작동한다는 사실 자체가 충격적이진 않지만, 그래도 꽤 깊이 있는 결과로 느껴짐. Transformer 구조는 정말 다재다능함
    어쨌든 엄청 빠르고, Blender 렌더 출력에 가깝고, 대략 10억 매개변수 모델처럼 보임. fp16인지 fp32인지는 모르겠지만 파일이 2GB라니 딱히 싫어할 게 없음. 더 “현실적인” 장면 데모도 보고 싶지만, 원하면 내려받아서 Mac에서 직접 돌려볼 수 있음
답변달기