# 스트림디퓨전: 실시간 상호작용 생성을 위한 파이프라인 수준 솔루션

> Clean Markdown view of GeekNews topic #12512. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=12512](https://news.hada.io/topic?id=12512)
- GeekNews Markdown: [https://news.hada.io/topic/12512.md](https://news.hada.io/topic/12512.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2023-12-25T08:39:08+09:00
- Updated: 2023-12-25T08:39:08+09:00
- Original source: [github.com/cumulo-autumn](https://github.com/cumulo-autumn/StreamDiffusion)
- Points: 1
- Comments: 0

## Topic Body

### StreamDiffusion: 실시간 상호작용 생성을 위한 파이프라인 수준 솔루션

- **주요 특징**
  - **스트림 배치**: 효율적인 배치 작업을 통한 간소화된 데이터 처리.
  - **잔여 분류 없는 가이던스**: 계산 중복을 최소화하는 개선된 가이던스 메커니즘.
  - **확률적 유사성 필터**: 고급 필터링 기술을 통해 GPU 활용 효율성 향상.
  - **입출력 큐**: 입력 및 출력 작업을 효율적으로 관리하여 원활한 실행 지원.
  - **KV-캐시를 위한 사전 계산**: 가속화된 처리를 위한 캐싱 전략 최적화.
  - **모델 가속화 도구**: 모델 최적화 및 성능 향상을 위한 다양한 도구 활용.

- **성능**
  - GPU: RTX 4090, CPU: Core i9-13900K, OS: Ubuntu 22.04.3 LTS 환경에서 StreamDiffusion 파이프라인을 사용하여 이미지 생성 시 성능.
    - SD-turbo 모델: Denoising Step 1에서 Txt2Img 106.16fps, Img2Img 93.897fps.
    - LCM-LoRA + KohakuV2 모델: Denoising Step 4에서 Txt2Img 38.023fps, Img2Img 37.133fps.

- **설치 방법**
  - **환경 구축**: pip, conda, Docker를 통해 StreamDiffusion 설치 가능.
  - **PyTorch 설치**: 시스템에 맞는 버전 선택 후 설치.
  - **StreamDiffusion 설치**: 사용자와 개발자를 위한 설치 방법 제공.
  - **Docker 설치**: TensorRT 준비된 Docker 이미지 빌드 및 실행 방법 안내.

- **빠른 시작**
  - `examples` 디렉토리에서 StreamDiffusion 시도 가능.
  - 실시간 Txt2Img 데모와 사용 예시 제공.
  - 이미지-이미지 및 텍스트-이미지 변환 예제 코드 포함.

- **선택적 기능**
  - **확률적 유사성 필터**: 비디오 입력 시 처리량 감소를 위한 기능.
  - **잔여 CFG (RCFG)**: CFG를 사용하지 않는 경우와 비교하여 경쟁력 있는 계산 복잡성을 가진 메서드.

- **개발 팀**
  - 개발에 참여한 팀원들의 명단.

- **감사의 말**
  - 비디오 및 이미지 데모 생성에 사용된 LCM-LoRA + KohakuV2 및 SD-Turbo에 대한 감사.

### GN⁺의 의견
- **가장 중요한 점**: StreamDiffusion은 실시간 상호작용 이미지 생성을 위한 혁신적인 파이프라인으로, 기존 확산 기반 이미지 생성 기술에 비해 상당한 성능 향상을 제공함.
- **흥미로운 이유**: 이 기술은 실시간으로 고품질의 이미지를 생성할 수 있게 하여, 예술, 게임 개발, 그래픽 디자인 등 다양한 분야에서 창의적인 작업을 가능하게 함.
- **재미있는 점**: 사용자와 개발자 모두를 위한 다양한 설치 및 사용 방법이 제공되며, 실제로 코드를 실행하여 결과를 볼 수 있는 데모가 포함되어 있어, 기술에 대한 실질적인 이해를 돕고 직접 실험해볼 수 있는 기회를 제공함.

## Comments



_No public comments on this page._