Intel, NPU 가속 라이브러리 공개
(github.com/intel)인텔® NPU 가속 라이브러리: 인텔 신경 처리 장치로 AI 성능 향상
• 인텔 NPU 가속 라이브러리는 인공지능 애플리케이션의 효율성을 높이기 위해 인텔 신경망 처리 장치(NPU)의 전력을 활용하는 파이썬 라이브러리이다. 최적의 성능과 전력 효율을 위해 컴퓨팅과 데이터 흐름을 효율적으로 지시하고 컴퓨팅 활용도를 극대화하며 데이터 전송을 최소화해 AI 워크로드를 최적화한다.
• 라이브러리는 NPU와 계산 가속 및 데이터 전송 기능을 통합하는 인텔 코어 울트라 프로세서용으로 설계되었습니다. AI 운영을 위한 뉴럴 컴퓨팅 엔진과 일반 컴퓨팅 작업을 위한 스트리밍 하이브리드 아키텍처 벡터 엔진, 효율적인 데이터 전송을 위한 DMA 엔진이 특징이다.
• 개발의 주요 기능에는 8비트 및 4비트 양자화, NPU 기본 혼합 정밀도 추론, Float16 및 BFloat16 지원, torch.com 파일 지원, LLM MLP 수평 융합 구현, 정적 형상 추론, MHA NPU 추론 및 NPU/GPU 헤테로 컴퓨팅이 포함된다.
• 라이브러리를 사용하려면 시스템에 사용 가능한 NPU가 있는지 확인하고 pip를 통해 패키지를 설치하십시오. 윈도우 및 리눅스 시스템과 호환되지만 MacOS는 아직 지원되지 않습니다. 최상의 성능을 위해 NPU 드라이버를 최신 버전으로 업데이트합니다.
• 라이브러리는 구현된 예를 제공하고 NPU에 대한 PyTorch 모델을 최적화하기 위한 torch.com 파일을 지원한다. 또한 2.0.0 미만의 PyTorch 버전을 사용하거나 Windows 환경에서 모델을 컴파일할 때 명시적인 기능을 제공합니다.