▲kji96 2달전 | parent | ★ favorite | on: MLC-LLM으로 iOS에서 로컬 LLM(Gemma 3) 실행하기(blog.devstory.co.kr)갤럭시 노트20에는 좀더 낮은 사양의 CPU에서 잘 동작하는(잘 최적화된) 모델이 나오기 전까지는 원활히 쓰기는 힘들지 않을까요? 위에서 나온 내용을 보면 Mac 전용 Metal 커널용으로 만들었다고 되어 있습니다. MLX를 사용하면 일반 GGUF 보다 빠른 로딩과 실행이 가능한 것으로 알고 있습니다.
갤럭시 노트20에는 좀더 낮은 사양의 CPU에서 잘 동작하는(잘 최적화된) 모델이 나오기 전까지는 원활히 쓰기는 힘들지 않을까요?
위에서 나온 내용을 보면 Mac 전용 Metal 커널용으로 만들었다고 되어 있습니다.
MLX를 사용하면 일반 GGUF 보다 빠른 로딩과 실행이 가능한 것으로 알고 있습니다.