GN⁺: 3D 표현을 효율적인 3D 메쉬로 변환하는 MeshAnything 기술

MeshAnything: 아티스트가 만든 메쉬 생성

개요

• MeshAnything은 인간 아티스트가 3D 표현에서 메쉬를 추출하는 방식을 모방함.
• 다양한 3D 자산 생산 파이프라인과 결합하여 3D 산업에 적용 가능한 아티스트가 만든 메쉬(AM)를 생성할 수 있음.

기존 방법과의 비교

• MeshAnything은 수백 배 적은 면으로 메쉬를 생성하여 저장, 렌더링, 시뮬레이션 효율성을 크게 향상시킴.
• 기존 방법과 유사한 정밀도를 달성함.

방법

• MeshAnything은 주어진 3D 형태에 맞춘 아티스트가 만든 메쉬를 생성하는 오토레그레시브 트랜스포머임.
• 주어진 3D 자산에서 포인트 클라우드를 샘플링하고, 이를 특징으로 인코딩하여 디코더 전용 트랜스포머에 주입함.
• 복잡한 3D 형태 분포를 학습하는 대신 최적화된 토폴로지를 통해 효율적으로 형태를 구성함.

더 많은 결과

• 다양한 3D 자산 생산 방법과 통합하여 고도로 제어 가능한 아티스트가 만든 메쉬 생성을 달성함.
• MeshAnything은 더 나은 토폴로지와 적은 면으로 메쉬를 생성하며, 유사한 형태를 유지하면서 완전히 다른 토폴로지를 생성할 수 있음.

GN⁺의 의견

• 효율성: MeshAnything은 기존 메쉬 생성 방법보다 훨씬 적은 면으로 메쉬를 생성하여 저장 및 렌더링 효율성을 크게 향상시킴.
• 적용성: 다양한 3D 자산 생산 파이프라인과 통합할 수 있어 3D 산업 전반에 걸쳐 활용 가능성이 높음.
• 기술적 장점: 복잡한 3D 형태 분포를 학습하지 않고도 최적화된 토폴로지를 통해 효율적으로 형태를 구성할 수 있음.
• 비판적 시각: 새로운 기술 도입 시 기존 시스템과의 호환성 문제나 초기 학습 곡선이 있을 수 있음.
• 추천 대안: 비슷한 기능을 가진 다른 프로젝트로는 MeshGPT 등이 있으며, 각 프로젝트의 장단점을 비교해보는 것이 좋음.

[neo]

Hacker News 의견

• 3D 모델 생성 논문이 자주 비판받는 상황에서 이 연구는 환영받을 만함. 하지만 비상업적 라이선스가 아쉬움. GitHub 정보에 따르면, A6000 GPU에서 메쉬 생성에 약 7GB와 30초가 소요되며, 800개 이하의 면을 가진 메쉬만 생성 가능함.
• 저폴리곤 생성 결과 중 최고임. 여전히 삼각형 메쉬이지만 점점 나아지고 있음.
• 최종 목표는 사각형 위주의 폴리곤, 엣지 스무스/크리즈, 자연스러운 텍스처 UV, 반복 텍스처를 통한 PBR 텍스처 생성임. 이후에는 이미지에서 CAD 모델을 추론하는 방향으로 나아가야 함.
• 라이다 스캔이나 포토그래메트리로 생성된 큰 메쉬나 포인트 클라우드를 다루기 위해 고성능 PC와 비싼 소프트웨어가 필요함. 메쉬를 작게 만들어 웹에서 공유할 수 있도록 하는 것이 유용할 것임.
• 포인트 클라우드 스캔을 수작업으로 처리한 경험이 있음. 450GB의 데이터가 생성되었고, 이전 프로젝트는 2.1TB였음. 이 논문의 스케일은 장난감처럼 느껴지지만, 시작이 중요함.
• AI 생성 메쉬를 "아티스트가 만든" 것처럼 부르는 것은 오해의 소지가 있음.
• 사회적 영향 단락에서 노동 비용 절감을 언급한 점이 좋음. 예술가의 필요성을 줄이는 것이 아니라는 점이 중요함.
• 몇 가지 복잡한 모델을 테스트해볼 예정임.
• MeshAnything은 수백 배 적은 면을 가진 메쉬를 생성하여 저장, 렌더링, 시뮬레이션 효율성을 크게 향상시킴.
• 온라인 데모를 시도했으나 출력 메쉬에 원본에는 없던 구멍이 생김. 알고리즘에 문제가 있는지 의문임.
• 변환된 메쉬는 효율적이지 않으며, n-gons가 많아 리토폴로지 작업이 필요함.