Stable Diffusion으로 3D 캐릭터 모델 만들기 (Tales of Syn)

Tales of Syn는 게임 개발 과정에서 NPC와의 대화, 레벨(맵)의 배경 이미지와 캐릭터 제작까지 생성 AI를 폭넓게 적용중. 이 글에서는 Stable Diffusion으로 3D 캐릭터 모델 만들기는 과정(workflow)을 소개.

[작업 과정]

1. iPad에서 Artstudio Pro로 스케치한 것을 Automatic1111 WebUI로 변환.

2. 생성할 때 여러 개를 만든 후(한 번의 생성에 약 9개를 생성하고, 이걸 반복), 결과물들을 포토샵에서 레이어로 겹친 후, 마음에 드는 부위만 골라서 조합.

3. 1번의 초기 스케치를 ZBrush에서 DynaMesh를 사용해서 모델을 만듬.

4. 2번의 최종 캐릭터 이미지를 Spotlight으로 불러들이고, RGB 및 Zadd off로 설정된 브러시 툴을 사용하여 이미지 정보를 버텍스 컬러에 저장된 메시 위에 폴리페인팅.

5. UVMaster로 UV를 만들고, Substance Painter에서 Normal Map을 만들어서, Unity URP용으로 추출.

[향후 개선 사항]

• 유사한 다른 캐릭터들에 재활용될 세분화된 기본 메쉬 생성

• 더 높은 품질의 텍스처를 위해 서브스턴스 디자이너에서 두 번째 텍스처 프로젝션 패스 실행.

• 해당 캐릭터에 맞는 커스텀 애니메이션 제작

• 작업 흐름을 자동화하거나 개선하기 위한 다른 AI 프로세스 탐색