# Torchchat - LLM과 대화를 어디에서나 가능하게

> Clean Markdown view of GeekNews topic #16149. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=16149](https://news.hada.io/topic?id=16149)
- GeekNews Markdown: [https://news.hada.io/topic/16149.md](https://news.hada.io/topic/16149.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2024-08-03T10:33:01+09:00
- Updated: 2024-08-03T10:33:01+09:00
- Original source: [github.com/pytorch](https://github.com/pytorch/torchchat)
- Points: 8
- Comments: 0

## Summary

Torchchat는 PyTorch LLM을 로컬 환경에서 실행할 수 있게 해주는 소형 코드 베이스로, 서버, 데스크톱, 모바일 등 다양한 플랫폼에서 사용할 수 있습니다. Llama 3/2, Mistral 등 인기 있는 LLM과의 커맨드 라인 인터랙션을 제공하며, 다양한 하드웨어 및 운영체제를 지원합니다. 또한, 다양한 데이터 유형과 양자화 스킴을 지원하여 유연한 사용이 가능합니다.

## Topic Body

- PyTorch LLM을 로컬에서 실행(서버, 데스크톱, 모바일)할수 있게 해주는 작은 코드 베이스   
  - 자체(C/C++) 애플리케이션(데스크톱 또는 서버)과 iOS 및 Android에서 Python을 사용하여 LLM을 실행  
- Llama 3/2, Mistral 등 인기 LLM과의 커맨드 라인 인터랙션   
- 인기 하드웨어 및 OS 지원: Linux(x86), Mac OS(M1/M2/M3), Android(XNNPACK 지원 기기), iOS 17+(iPhone 13 Pro+)  
- 다양한 데이터 유형: float32, float16, bfloat16   
- 다양한 양자화(Quantization) 스킴 지원   
- 멀티 실행 모드 : 파이썬(Eager, 컴파일) 또는 네이티브(AOT 인덕터(AOTI), ExecuTorch)

## Comments



_No public comments on this page._