- 비싼 NVIDIA GPU를 잊고, 기존의 아이폰, 아이패드, 안드로이드, 맥, 리눅스 같은 장비 등을 묶어서 하나의 강력한 GPU로 활용
- LLaMA 및 다양한 모델 지원
- "동적 모델 파티셔닝"으로 현재 네트워크 토폴로지 및 사용 가능한 디바이스 리소스를 기반으로 모델을 최적으로 분할
- 단일 디바이스에서 실행할 수 있는 것보다 더 큰 규모의 모델을 실행 가능
- 자동 디바이스 디스커버리로 다른 기기를 찾음
- ChatGPT 호환 API 제공
- 각 기기들은 Master-Worker 구조가 아닌 p2p 방식으로 연결(기본 분할 전략은 링 메모리 가중 분할)
- 추론 엔진 지원:
- ✅ MLX
- ✅ tinygrad
- 🚧 llama.cpp
- 네트워킹 모듈을 지원:
- ✅ GRPC
- 🚧 Radio
- 🚧 Bluetooth
- 알려진 문제
- 라이브러리가 빠르게 발전하고 있어 iOS 구현이 Python보다 뒤처지고 있음
- 장기적으로는 별도의 구현을 유지할 필요가 없도록 통합 접근 방식을 추진할 예정임
GN⁺의 정리
- exo는 다양한 장치를 하나의 강력한 AI 클러스터로 통합할 수 있는 실험적 소프트웨어임
- 자동 장치 발견, 동적 모델 분할 등 다양한 기능을 제공하여 단일 장치보다 더 큰 모델을 실행할 수 있음
- ChatGPT 호환 API를 제공하여 쉽게 모델을 실행할 수 있음
- iOS 구현이 뒤처지고 있는 문제를 해결하기 위해 통합 접근 방식을 추진 중임