AI가 잘못 생성한 이미지로 Stable Diffusion XL을 더 똑똑하게 파인튜닝했어요

• 오픈소스로 공개된 Stable Diffusion XL 1.0 (SDXL)은 1024x1024 해상도 이미지 생성을 지원
• SDXL은 Base 및 Refine 두가지 모델로 제공되는데, Refine 모델이 속도 저하가 없으므로 이걸 사용하는게 좋음
• Diffusers 파이썬 라이브러리를 이용해 해킹 가능
  • Prompt Weighting 과 Dreambooth LoRA 같은 기능이 가능
• wrong 네가티브 프롬프트로 LoRA에 잘못된 이미지들을 학습시켜보니 품질이 개선됨

[cosine20]

좋은 아이디어네요.

[kuroneko]

LoRA를 역으로 쓴다는 생각은 못해봤네요. 이상한 이미지를 일부러 생성해서 LoRA로 학습시킨 다음, 키워드를 네거티브로 넣는다...

이건 간단한 아이디어 같은데 예시를 보면 굉장히 효과적인 것 같아서 신기합니다.