Nebullvm - AI Inference(추론)를 5~20배 가속하는 오픈소스 라이브러리
(github.com/nebuly-ai)- AI 모델을 입력 받아 빠르게 실행하는 최적화 버전을 만들어 줌
- 여러개의 딥러닝 컴파일러를 테스트하여 특정 하드웨어에 최적의 방법을 찾아냄
- 딥러닝 모델 Agnostic : 트랜스포머, LSTM, CNN, FCN 등 딥러닝 모델 상관없음
- 하드웨어 Agnostic : 대부분의 CPU와 GPU 지원. 곧 TPU 및 딥러닝 전용 ASIC 도 지원 예정
- 프레임워크 Agnostic : PyTorch, TensorFlow, HuggingFace 및 다른 것들도 곧 더 지원
- 모든 것은 로컬에서 실행되어 안전함
- 몇 줄의 코드만으로 사용 가능해서 쉬움