▲

AITemplate - 심층 신경망을 고성능 CUDA/HIP C++ 코드로 변환하는 파이썬 프레임워크

(github.com/facebookincubator)
11P by xguru 11달전 | favorite | 댓글과 토론
  • 빠른 추론을 위해 심층 신경망을 CUDA(NVIDIA GPU) / HIP(AMD GPU) C++ 코드로 전환
  • ResNet, BERT, VisionTransformer, Stable Diffusion 등 메어지 모델에서 루프라인 fp16 TensorCode/MatrixCore 성능에 근접
  • Unified, Open, Flexible 한 오픈소스
  • 훌륭한 하위호환성(써드파티 라이브러리/런타임 의존 없음). 각 모델이 포터블 바이너리로 컴파일
  • Horizontal Fusion / Vertical Fusion / Memory Fusion
  • Working w/wo PyTorch