18P by xguru 5달전 | favorite | 댓글 1개
  • 100% 로컬, 모든 하드웨어에서 실행: NVidia GPU, 애플 실리콘부터 멀티 GPU 클러스터 까지
  • 최종 목표는 누구나 AI를 쉽게 탑재할수 있도록 지원 하는 것
    • Jan Framework, Jan Desktop Client + Server, Nitro
  • Nitro : C++로 작성된 고효율 추론 엔진 (3MB)
    • Llama.cpp + TensorRT + Whisper.cpp + StableDiffusion

한글 성능은 어떤가 궁금하네요