GN⁺: 스트림디퓨전: 실시간 상호작용 생성을 위한 파이프라인 수준 솔루션

StreamDiffusion: 실시간 상호작용 생성을 위한 파이프라인 수준 솔루션

• 주요 특징

  • 스트림 배치: 효율적인 배치 작업을 통한 간소화된 데이터 처리.
  • 잔여 분류 없는 가이던스: 계산 중복을 최소화하는 개선된 가이던스 메커니즘.
  • 확률적 유사성 필터: 고급 필터링 기술을 통해 GPU 활용 효율성 향상.
  • 입출력 큐: 입력 및 출력 작업을 효율적으로 관리하여 원활한 실행 지원.
  • KV-캐시를 위한 사전 계산: 가속화된 처리를 위한 캐싱 전략 최적화.
  • 모델 가속화 도구: 모델 최적화 및 성능 향상을 위한 다양한 도구 활용.

• 성능

  • GPU: RTX 4090, CPU: Core i9-13900K, OS: Ubuntu 22.04.3 LTS 환경에서 StreamDiffusion 파이프라인을 사용하여 이미지 생성 시 성능.
    • SD-turbo 모델: Denoising Step 1에서 Txt2Img 106.16fps, Img2Img 93.897fps.
    • LCM-LoRA + KohakuV2 모델: Denoising Step 4에서 Txt2Img 38.023fps, Img2Img 37.133fps.

• 설치 방법

  • 환경 구축: pip, conda, Docker를 통해 StreamDiffusion 설치 가능.
  • PyTorch 설치: 시스템에 맞는 버전 선택 후 설치.
  • StreamDiffusion 설치: 사용자와 개발자를 위한 설치 방법 제공.
  • Docker 설치: TensorRT 준비된 Docker 이미지 빌드 및 실행 방법 안내.

• 빠른 시작

  • examples 디렉토리에서 StreamDiffusion 시도 가능.
  • 실시간 Txt2Img 데모와 사용 예시 제공.
  • 이미지-이미지 및 텍스트-이미지 변환 예제 코드 포함.

• 선택적 기능

  • 확률적 유사성 필터: 비디오 입력 시 처리량 감소를 위한 기능.
  • 잔여 CFG (RCFG): CFG를 사용하지 않는 경우와 비교하여 경쟁력 있는 계산 복잡성을 가진 메서드.

• 개발 팀

  • 개발에 참여한 팀원들의 명단.

• 감사의 말

  • 비디오 및 이미지 데모 생성에 사용된 LCM-LoRA + KohakuV2 및 SD-Turbo에 대한 감사.

GN⁺의 의견

• 가장 중요한 점: StreamDiffusion은 실시간 상호작용 이미지 생성을 위한 혁신적인 파이프라인으로, 기존 확산 기반 이미지 생성 기술에 비해 상당한 성능 향상을 제공함.
• 흥미로운 이유: 이 기술은 실시간으로 고품질의 이미지를 생성할 수 있게 하여, 예술, 게임 개발, 그래픽 디자인 등 다양한 분야에서 창의적인 작업을 가능하게 함.
• 재미있는 점: 사용자와 개발자 모두를 위한 다양한 설치 및 사용 방법이 제공되며, 실제로 코드를 실행하여 결과를 볼 수 있는 데모가 포함되어 있어, 기술에 대한 실질적인 이해를 돕고 직접 실험해볼 수 있는 기회를 제공함.