LL3M: 대형 언어 모델 기반 3D 모델러

 (threedle.github.io)
11P by GN⁺ | ★ favorite | 댓글 1개
  • LL3M은 여러 대형 언어 모델을 이용해 Python 코드를 자동 작성하여 Blender에서 3D 에셋을 생성 및 편집함
  • 사용자의 텍스트 지시에 따라 창의적이고 정밀한 형태를 직접 만들고, 복잡한 기하학적 조작을 코드로 구현함
  • 기존의 3D 모델 생성 도구와 달리, 제약 없는 자산 생성과 세밀한 인터랙션을 제공함
  • 생성된 블렌더 코드는 명확하고 파라미터 투명성이 높아, 사용자나 에이전트가 쉽게 수정하거나 반복적으로 개선 가능함
  • 일관된 스타일화, 소재 편집, 계층 구조 구현 등 폭넓은 3D 자산 처리 가능성을 보여줌

LL3M 개요

  • LL3M은 여러 대형 언어 모델(LLM) 에이전트가 Python 코드를 작성하여 Blender에서 3D 자산을 생성 및 편집하는 혁신적 프레임워크
  • 사용자가 텍스트로 지시를 내리면, LL3M은 창의적 형태 생성과 정밀한 기하 조작을 자동화하고, 고수준의 코드를 3D 표현 방식으로 삼아 반복적 개선과 공동 작업을 가능하게 함
  • 코드는 명확하게 설명되어 여러 파라미터와 구조가 투명하게 드러나, 추가 편집과 사용자의 지속적 피드백도 용이함

파이프라인 개요

  • 파이프라인은 세 가지 주요 단계(초기 생성, 자동 개선, 사용자 피드백 기반 개선)로 구성됨
    • 초기 생성 단계에서 기본적인 형태를 만드는 한편, LL3M이 논리적으로 부적절한 구조나 단순한 기하 요소를 자동으로 감지 및 개선함
    • 두 번째 단계는 보다 정제된 자동 수정을 가하며, 복잡한 형태나 관계도 반영함
    • 마지막 단계는 사용자의 추가 편집 요청을 수용, 인터랙티브하고 반복적인 3D 자산 생성을 실현함
  • 각 단계는 에이전트들의 역할 분담을 바탕으로 반복적이며 점진적인 향상 방식을 구현함

갤러리 및 성능

  • 다양한 형태 생성: 풍차, 피아노, 드럼 세트 등 복잡한 배열과 세밀한 디테일을 코드로 구현
  • 일관된 스타일 적용: 동일한 "steampunk" 지시어를 여러 메시(모자)에 적용해, 공통 스타일을 유지하면서도 변주된 결과를 생성
  • 재질 편집 지원: 예를 들어 칼날 부분만 별도 셰이더 노드로 정의해 재질을 변경 가능

코드 해석 가능성

  • 생성된 코드는 구조적 논리, 명확한 변수명, 주석이 포함돼 이해와 수정이 쉬움
  • 예: 키보드 패턴 로직이나 키 폭 변수 등을 직접 변경 가능
  • Blender 노드와 파라미터가 그대로 드러나 있어 색상·패턴 같은 시각적 속성을 직관적으로 조정 가능

코드 재사용성과 범용성

  • 서로 다른 형태라도 루프, 수정자, 노드 설정 같은 상위 코드 패턴이 재사용됨
  • 이를 통해 다양한 프롬프트에서 모듈적이고 수정 가능한 코드 생성이 가능

장면 및 계층 구조

  • 여러 객체를 생성하고 인스턴싱·페어런팅으로 공간적 관계를 자동 배치
  • 예: 램프 같은 복합 객체를 생성할 때 부모-자식 관계 구조를 반영해, 변환이 계층적으로 전파되도록 함
  • 각 파트는 의미 있는 시맨틱 네임을 갖게 돼 Blender의 scene graph에서 효율적으로 관리 가능

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견
  • 친구들이 원하는 이미지를 좋은 3D 모델로 변환하는 작업에서 meshy.ai를 사용해 뜻밖의 성공을 거둔 경험임. 내 워크플로우는 1) GPT-5나 Midjourney와 같은 이미지 모델로 원본 이미지를 매끄럽게 렌더링된 메시 느낌으로 바꾸고, 즉 불필요한 디테일이나 투명·입체적 효과를 제거함. 2) 이렇게 정리된 이미지를 meshy.ai의 image to 3D 모드로 넣은 뒤, 마음에 안 들면 다시 1단계로 돌아가 이미지 스타일을 바꿔 선택함. 3) 최종적으로 Blender로 옮겨 원하는 대로 메시 편집(특정 부위 조정, 비대칭 추가 등) 후 추가 모델링 작업을 함. 메시 구조는 꽤 안정적이고 아마 marching cubes나 dual contouring 방식이 NeRF 계열 생성기 위에서 쓰이는 느낌임. 나는 기계 CAD는 정말 빠르지만 Blender 실력은 평범해서 AI가 모델의 큰 틀을 만들어주면 내 손으로 수정 및 보완만 하면 되니 굉장히 효율적임. 예를 들어 친구가 실제 사람 조각상을 변형하는 요청이 있으면, 예전엔 내가 시간을 너무 많이 써야 할 일이 AI+Blender 조합으로는 5분 투자해서 모델 만들고, Blender에서 1시간 정도만 다듬으면 충분한 생산성 향상을 체감함
    • 1단계에서 이미지를 매트(matte) 렌더 메시 느낌으로 바꾼다고 했는데, 그게 어떤 식의 이미지를 의미하는지 궁금함. 투명 표면을 불투명하게 만드는 건 이해하겠지만, 전체 이미지 예시나 그 과정에서 사용하는 프롬프트를 공유해줄 수 있을지 요청하고 싶음
    • GPT-5는 텍스트 전용 모델임. ChatGPT는 여전히 이미지 처리에 4o를 씀
  • Blender를 7년 넘게 사용하고 있으며, Blender Stack Exchange에서 1000개 이상 답변을 남기고 48,000점 정도 받은 입장임. 이 AI 기반 Blender 툴은 Python, 특히 Blender Python API 기초를 배우는 용도로는 괜찮을지 모르겠지만, 실제로는 크게 필요성을 느끼지 않음. 예시로 제시된 작업들은 Blender에서 정말 쉽게 할 수 있는 것들이고, 이런 툴을 사용하면 그냥 입력 프롬프트에 맞춘 밋밋한 결과물만 나옴. 기초 모델링은 튜토리얼 하루면 배워서 직접 만들 수 있는 영역이고, 그렇게 만든 모델들은 나만의 창의성이 반영된다는 점이 큼. 일주일쯤 지나면 AI 프롬프트보다 더 빠른 속도로 직접 만들 수 있고 실력도 점점 느는 경험임. AI로 배우는 것이 많지 않음. meshy.ai는 사진이나 렌더링을 메시로 바꾸고 텍스처도 적절히 입힐 때는 괜찮은데, 그 이후 조각(sculpt)이 약한 사람에게나 맞을 듯함. 참고로 meshy.ai 테스트 결과는 여기에 정리해둠
    • Blender 튜토리얼을 며칠 따라 해봐도 예시 수준은 따라가지 못하는 입장임. 본인의 능력을 너무 투영한 것 같음. 3D 모델 아티스트가 아니라, 그냥 3D 모델이 필요했던 사용자로서 이런 기술은 정말 유용함
    • 나도 Houdini을 취미로 즐기는 유저로써, 파라미터화된 단일 모델은 며칠이면 만들지만, 짧은 영상 또는 전체 씬 하나를 만들려면 수백~수천 모델과 텍스처, 리깅, 애니메이션, 심지어 시뮬레이션까지 엄청난 양이 필요함. 2분짜리 애니메이션 하나도 솔로 아티스트에겐 불가능에 가까움. 대부분 자산(asset) 팩을 사다가 조합하지만, 그러면 내 아트가 그 스타일에 종속됨. 이런 AI 툴은 이런 단계 중 한두 개라도 크게 경감시켜줘 혼자 작업할 수 있는 범위를 확장함
    • 나는 AI 고객 지원 툴 개발자이자 디자이너로서, LLM이 대화 주도·창의성이 부족하다는 걸 회사에 계속 설명해야 함을 느낌. 단일 기능보다 도구에 AI를 통합해 반복작업을 빠르게 하는 방향에 더 초점을 맞췄으면 함. 예를 들어 Fusion360의 AI 제약조건 자동화 같은 기능이 진짜 생산성을 높여줌. Blender용으로도 이런 방향의 툴(예시: 머티리얼 자동연결)이 훨씬 흥미롭게 느껴짐
    • Blender를 몇 주씩 배우고 싶지 않은 사용자라면, 그냥 몇 시간 투자해도 충분히 쓸만한 결과물을 얻을 수 있다면 그게 가장 효율적임
    • 이 도구는 오늘이 가장 별로인 시점이라는 점을 기억할 필요가 있음. 앞으로는 점점 더 좋아질 테니, LLM 적용 분야는 이제 시작에 불과함
  • 예전부터 내가 친구들에게 강조하던 방향임. 앞으로는 API 중심 창작 소프트웨어가 승리할 것임. After Effects는 JS API가 괜찮게 제공되고, Da Vinci Resolve는 Python, Lua 등 다양한 스크립트로 자동화 가능함. 스크립팅 과정에서 트랜잭션 롤백도 잘 지원됨. 대부분 데스크톱 앱의 스크립팅 환경에 대한 범용화된 MCP 필요성이 커짐. 멀티모달 입력과 연동되는 스크린 캡쳐도 같이 요구됨
  • 최근에 Aseprite(픽셀 에디터)로 프로시저 생성 캐릭터 만드는 자동화 Lua 스크립트를 Claude와 함께 작성해봄. 시드값으로 결과를 재현할 수 있었고, 대충 사람 형태는 나왔지만 품질 기준으로는 아직 멀었음. 그래도 굉장히 접근성이 좋고 재미있게 사용함.
    • 이 주제가 흥미롭다면 pixellab.ai도 한 번 참고해볼 만함. 이들은 프롬프트만으로도 꽤 괜찮은 스프라이트 이미지를 생성하는 Aseprite 플러그인을 만들고 있음
    • 나도 좋은 픽셀 아트 AI를 계속 찾는 중임. 써본 대부분 툴은 그냥 무난할 뿐 인상적이지는 않았음. 좋은 경험 있으면 추천 링크를 부탁하고 싶음
  • 3D 모델의 품질을 비하하기 전에, 예전의 Dancing Baby와 초기 Pixar 애니메이션을 먼저 떠올려 보면 굉장히 놀라운 발전임. 앞으로는 LLM에게 프롬프트만 넣으면 거의 완성된 3D 모델이 나와, 나는 텍스처나 베이킹, 익스포트만 하면 되는 시대가 오기를 고대함
    • 나도 조만간 인류가 수조 시간에 걸쳐 쌓은 실험 데이터가 통계 모델로 집계되어, 실제로 그것을 가능케 한 당사자들에게는 1원도 지불되지 않은 채로 기업이 수익화하는 시대가 기대됨
    • LLM은 언어 모델이고 메시 데이터는 언어가 아님. 이론적으로 파이썬으로 단순 메시 정도는 생성되겠지만, 진짜 아름다운 3D 아트는 아무도 이런 방식으로 만들지 않음. 벡터 아트도 직접 SVG 코드를 쓰지 않듯, LLM 자체만으로 시각 예술 제작은 어려움. LLM은 다른 모델의 인터페이스로 쓰일 수는 있으나, 그 자체가 모든 걸 만들어낼 수는 없음
  • 최근 LLM의 공간지능이 정말 많이 개선된 것이 고무적임. 1년 전만 해도 위아래·좌우·앞뒤와 같은 위치 개념의 스토리 작성만 시켜도 완전히 헷갈려하며 제대로 구분하지 못했음. GPT에 가장 스크립팅 하기 좋은 CAD 소프트웨어를 물어보니 Freecad라고 답변했음. Blender는 정밀 측정이 안 되는 등 CAD라기보다는 모델러로 구분되는 툴임. Freecad API는 구조가 정리가 덜 되어 있어 GPT가 관련 함수를 기억하거나 잘 찾아내지 못함. Blender는 유저가 많고 공유 코드도 많으니 훨씬 잘 작동함
    • OpenSCAD는 어떤지 궁금함
    • CAD에서 측정 작업을 자동화하는 스크립트도 작성 가능할지 궁금함
  • Blender를 여러 번 시도했다가 포기한 경험이 있음. 지금은 Openshot에서 애니메이션 타이틀 만들 때만 Blender를 씀. 고급 툴 사용을 쉽게 할 수 있는 방법은 언제나 환영임
  • 모든 것에 대해 토큰 기반의 대형 모델이 등장할 것으로 전망함. 왜냐면 세상 모든 데이터를 토큰화할 수 있기 때문임. 언어를 경유하는 방식이 꼭 필수는 아니며, AI가 점차 기하학적 데이터도 유창하게 다룰 수 있을 것임
    • AI 생성 데이터에 대한 거부감은 대부분 언어 한정성에서 비롯됨. 그 때문에 진짜 창의적인 입력이 반영되지 못함
    • 예전 word2vec이 큰 혁신을 불러일으킨 것처럼, 3D 모델도 근본적으로는 벡터 공간에서 표현될 수 있었음
  • 여기서 중요한 점은 에이전트 워크플로우임. LLM의 3D 세계 이해도가 계속 향상되면서, 다양한 상황에 도움이 될 것임. 전문가의 버그체크나 추천, 팝업 도움 등, 사람의 개입 없이 백그라운드로 돌면서 문제를 찾아내는 용도로도 유용함. 프로그램적으로 이를 제어하는 능력도 점점 더 가치가 커질 것임
  • 나는 모델러가 아니지만 3D 게임을 혼자 개발하는 과정에서 몇 번 시도해 봤음. 내게 모델링은 반드시 해야 하는 고통이었음. 이런 툴이 있다면 인디 프로젝트에서 초저폴리 베이스 모델을 빠르게 만들고, 그걸 바탕 삼아 내가 수작업으로 세밀하게 다듬는 식으로 쓸 생각임. 내 입장에선 고퀄리티 대신 시간 절약이 더 가치 있음
답변달기