ExecuTorch Alpha: 커뮤니티 협업과 함께 대형 언어 모델 및 AI의 에지 배치 권한 부여

• PyTorch는 대형 언어 모델(LLM)과 대형 ML 모델을 에지 장치에 배치하고 API를 안정화하며 설치 프로세스를 강화하는 데 중점을 둔 ExecuTorch Alpha를 도입합니다.

• ExecuTorch Alpha는 Meta의 Llama 2에 대한 지원과 Llama 3에 대한 조기 지원을 제공하여 아이폰, 삼성 갤럭시 폰 등과 같은 에지 장치에서 이러한 LLM을 효율적으로 실행할 수 있습니다.

• 제한된 에지 장치에서 성능을 최적화하기 위해 ExecuTorch Alpha는 양자화 기술을 사용하고 광범위한 CPU 장치 지원을 위해 XNNPack의 동적 형상 지원 및 새로운 dtype을 활용합니다.

• ExecuTorch SDK는 향상된 디버깅 및 프로파일링 도구를 제공하여 개발자가 효율적인 이상 해상도 및 성능 튜닝을 위해 운영자 노드를 원래 파이썬 소스 코드로 다시 매핑할 수 있다.

• 암, 애플, 퀄컴 테크놀로지스, 구글, 유니티, 메타와 같은 파트너들과의 협력은 이미 메타가 핸드 트래킹과 기기의 다양한 모델에 이를 활용하고 있는 이그제큐토치를 발전시키는 데 중요한 역할을 했다.