Jan - 오픈소스 ChatGPT 대체제를 위한 크로스 플랫폼 프레임워크
(github.com/janhq)- 100% 로컬, 모든 하드웨어에서 실행: NVidia GPU, 애플 실리콘부터 멀티 GPU 클러스터 까지
- 최종 목표는 누구나 AI를 쉽게 탑재할수 있도록 지원 하는 것
- Jan Framework, Jan Desktop Client + Server, Nitro
- Nitro : C++로 작성된 고효율 추론 엔진 (3MB)
- Llama.cpp + TensorRT + Whisper.cpp + StableDiffusion