Stable Diffusion 3.5 공개

(stability.ai)

소비자 하드웨어에서 실행 가능하고 유연하게 커스터마이징할 수 있는 여러 버전의 모델이 포함되며, 대부분의 사용 사례에 무료로 사용 가능함
Hugging Face에서 Stable Diffusion 3.5 Large와 Stable Diffusion 3.5 Large Turbo 모델을, GitHub에서 추론 코드를 다운로드할 수 있음
릴리스되는 모델들
- Stable Diffusion 3.5 Large: 80억 개의 파라미터를 가진 기본 모델로, Stable Diffusion 제품군 중 가장 강력함. 1메가픽셀 해상도에서 전문적인 사용 사례에 이상적임
- Stable Diffusion 3.5 Large Turbo: Stable Diffusion 3.5 Large의 증류 버전으로, 4단계만에 훌륭한 프롬프트 준수와 함께 고품질 이미지를 생성함. Stable Diffusion 3.5 Large보다 상당히 빠름
- Stable Diffusion 3.5 Medium (10월 29일 출시 예정): 25억 개의 파라미터를 가지고 있으며, 향상된 MMDiT-X 아키텍처와 학습 방법으로 소비자 하드웨어에서 바로 실행되도록 설계됨. 품질과 쉬운 커스터마이징의 균형을 맞춤. 0.25~2메가픽셀 해상도의 이미지 생성 가능

모델 개발 과정

모델 개발 시 유연한 기반을 제공하기 위해 커스터마이징 가능성을 우선시함
이를 위해 Query-Key Normalization을 트랜스포머 블록에 통합하여 모델 학습 과정을 안정화하고 추가 파인튜닝과 개발을 단순화함
다운스트림 유연성을 지원하기 위해 일부 트레이드오프가 필요했음
동일한 프롬프트에서 시드를 달리할 때 출력의 변동성이 커질 수 있음. 이는 기본 모델에서 더 폭넓은 지식 기반과 다양한 스타일을 보존하는 데 도움이 되도록 의도한 것임
그러나 구체성이 부족한 프롬프트는 출력의 불확실성을 증가시킬 수 있으며, 미적 수준이 다를 수 있음
Medium 모델의 경우 아키텍처와 학습 프로토콜을 여러 차례 조정하여 품질, 일관성, 다중 해상도 생성 능력을 향상시킴

커스터마이징 용이성: 특정 창작 니즈에 맞게 모델을 쉽게 파인튜닝하거나, 맞춤형 워크플로우 기반 애플리케이션 구축 가능
효율적인 성능: 특히 Stable Diffusion 3.5 Medium과 Stable Diffusion 3.5 Large Turbo 모델은 표준 소비자 하드웨어에서 무거운 요구 사항 없이 최적화되어 실행됨
다양한 출력: 광범위한 프롬프팅 없이도 다양한 피부색과 특징을 가진 전 세계 사람들을 대표하는 이미지 생성 가능
Stable Diffusion 3.5 Large는 프롬프트 준수에서 시장을 선도하고 이미지 품질에서 훨씬 더 큰 모델과 견줄 만함
Stable Diffusion 3.5 Large Turbo는 크기 대비 가장 빠른 추론 시간을 제공하면서도 이미지 품질과 프롬프트 준수에서 매우 경쟁력 있음
Stable Diffusion 3.5 Medium은 다른 중간 크기 모델을 능가하며, 프롬프트 준수와 이미지 품질의 균형을 맞춰 효율적이고 고품질의 성능을 제공함

비상업적 사용에는 무료: 개인과 조직은 과학 연구를 포함해 비상업적 용도로 무료 사용 가능
연 매출 100만 달러 이하 상업적 사용에는 무료: 스타트업, 중소기업, 창작자는 연 매출 100만 달러 미만인 경우 상업적 용도로 무료 사용 가능
출력물의 소유권: 제한적인 라이선싱 의미 없이 생성된 미디어의 소유권 보유 가능
연 매출 100만 달러 이상인 조직은 Stability AI에 연락하여 엔터프라이즈 라이선스 문의 가능