# ggml.ai, Hugging Face와 협력해 로컬 AI의 장기 발전 보장 > Clean Markdown view of GeekNews topic #26861. Use the original source for factual precision when an external source URL is present. ## Metadata - GeekNews HTML: [https://news.hada.io/topic?id=26861](https://news.hada.io/topic?id=26861) - GeekNews Markdown: [https://news.hada.io/topic/26861.md](https://news.hada.io/topic/26861.md) - Type: GN+ - Author: [neo](https://news.hada.io/@neo) - Published: 2026-02-21T09:56:25+09:00 - Updated: 2026-02-21T09:56:25+09:00 - Original source: [github.com/ggml-org](https://github.com/ggml-org/llama.cpp/discussions/19759) - Points: 1 - Comments: 1 ## Topic Body - **로컬 AI 생태계**의 지속적 발전을 위해 `llama.cpp`의 창립팀인 ggml.ai가 **Hugging Face**에 합류함 - `ggml`과 `llama.cpp`는 계속해서 **오픈소스·커뮤니티 중심**으로 운영되며, 팀은 전일제로 유지·지원 예정 - Hugging Face는 프로젝트의 **장기적 지속 가능성**을 보장하고, 사용자 경험과 **transformers 통합성** 향상에 집중할 계획 - 협업을 통해 **로컬 추론(Local Inference)** 의 접근성과 배포 편의성을 높이고, 다양한 모델 아키텍처 지원을 강화함 - 오픈소스 초지능(superintelligence)을 **전 세계가 접근 가능한 형태로 구축**하는 장기 비전을 공유함 --- ### ggml.ai의 Hugging Face 합류 발표 - ggml.ai는 `llama.cpp`의 창립팀으로, **미래의 AI를 진정으로 개방형으로 유지**하기 위해 Hugging Face에 합류함 - 목표는 `ggml` 및 `llama.cpp` 커뮤니티를 확장하고 지원하며, 로컬 AI의 **지속적 성장**을 촉진하는 것 - `ggml-org` 프로젝트는 기존과 동일하게 **오픈소스 및 커뮤니티 주도형**으로 유지됨 - ggml 팀은 `ggml`, `llama.cpp` 및 관련 오픈소스 프로젝트를 **전일제로 유지·관리**함 - 새로운 파트너십은 프로젝트의 **장기적 지속 가능성**을 보장하고, 사용자와 기여자에게 **새로운 기회**를 제공함 - Hugging Face의 `transformers` 라이브러리와의 **통합 개선**을 통해 모델 지원 품질을 높일 예정 ### 배경과 협력의 경과 - ggml.ai는 2023년 설립 이후 `ggml` 머신러닝 라이브러리의 개발과 채택을 지원해 왔음 - 지난 3년간 소규모 팀이 오픈소스 커뮤니티를 성장시키고, `ggml`을 **효율적 로컬 AI 추론의 표준**으로 자리잡게 함 - 이 과정에서 Hugging Face는 가장 강력한 협력 파트너로 활동함 - HF 엔지니어들이 `ggml`과 `llama.cpp`에 **핵심 기능 기여**, **멀티모달 지원 추가**, **Inference Endpoints 통합**, **GGUF 포맷 호환성 개선** 등을 수행 - 양측의 협력은 효율적이었으며, 커뮤니티 전체가 그 혜택을 받아 이번 합류는 **협력의 공식화**로 이어짐 ### 오픈소스 프로젝트 및 커뮤니티의 변화 - `ggml`과 `llama.cpp`의 운영 방식은 **변화 없음** - 팀은 프로젝트 유지에 전념하며, 커뮤니티는 **기술적·구조적 의사결정의 자율성**을 유지함 - Hugging Face는 **지속 가능한 자원**을 제공해 프로젝트의 성장 가능성을 높임 - 프로젝트는 계속해서 **100% 오픈소스**로 유지되며, 모델 출시 후 **양자화(quantization)** 지원 속도도 향상될 전망 ### 기술적 초점 - 향후 공동 목표는 두 가지 핵심 방향으로 설정됨 - **Hugging Face transformers와의 원클릭 통합** - `transformers`는 AI 모델 정의의 표준으로 자리잡았으며, 두 생태계 간 호환성 향상이 **모델 지원 확대와 품질 관리**에 필수적임 - **ggml 기반 소프트웨어의 패키징 및 사용자 경험 개선** - 로컬 추론이 클라우드 추론의 대안으로 부상함에 따라, **일반 사용자의 모델 배포·접근성**을 단순화할 필요가 있음 - `llama.cpp`를 **보편적이고 어디서나 사용 가능한 형태**로 만드는 것을 목표로 함 ### 장기 비전 - ggml.ai와 Hugging Face는 **오픈소스 초지능(superintelligence)** 을 전 세계가 접근할 수 있도록 구축하는 것을 공동 목표로 함 - 로컬 AI 커뮤니티와 함께 **효율적 추론 스택**을 개발해, 개인 기기에서도 최대 성능을 발휘하도록 지속 발전할 계획 ### 커뮤니티 반응 - Hugging Face 및 ggml 커뮤니티 구성원들은 **축하와 기대**의 메시지를 다수 남김 - “로컬 AI 생태계에 큰 진전”, “열린 AI 생태계에 중요한 소식” 등의 긍정적 반응 - 일부 사용자는 **프로젝트의 독립성과 코드 소유권**에 대한 명확한 설명을 요청함 - 또 다른 의견에서는 **기업 인수에 따른 관할권 변화**와 **오픈소스 투명성**에 대한 우려도 제기됨 - 전반적으로 커뮤니티는 이번 협력을 **로컬 AI의 지속 성장 기반**으로 평가함 ## Comments ### Comment 51512 - Author: neo - Created: 2026-02-21T09:56:25+09:00 - Points: 1 ###### [Hacker News 의견들](https://news.ycombinator.com/item?id=47088037) - 나는 **HuggingFace**가 진짜 의미의 “Open AI”라고 생각함 조용히 **온프레미스 AI**를 대중에게 확산시킨 몇 안 되는 영웅 중 하나라고 봄 예전엔 트래픽 비용이 비쌌던 시절을 기억하는데, 이렇게 많은 모델을 무료로 호스팅하는 게 신기함 지속 가능한 비즈니스 모델이 있길 바람. 이 생태계는 그들 없이는 훨씬 빈약해질 것임 Kimi나 GLM을 내부에서 돌리려면 여전히 가성비 좋은 하드웨어가 필요하지만, 적어도 **가중치와 배포**는 해결된 상태임 - **Unsloth**도 이런 숨은 영웅 중 하나로 넣어야 함 문서화가 훌륭하고, 주요 포맷으로 고품질 **quant**를 빠르게 제공함. 신뢰할 수 있는 브랜드라고 생각함 - HF가 얼마나 많은 트래픽을 처리하는지 상상도 안 됨 수백 GB짜리 모델을 자주 다운로드하는데, **주권형 AI 커뮤니티**에 엄청난 서비스임 - SSD에서 가중치를 스트리밍하고 swap으로 KV 캐시를 확장하면 느리긴 하지만 거의 모든 기기에서 실행 가능함 밤새 계산하는 용도라면 충분히 쓸 만하고, 연산 자원을 늘릴수록 점점 나아짐 - 왜 **BitTorrent**를 지원하지 않는지 모르겠음 hf-torrent나 hf_transfer가 있긴 하지만 웹 UI에서 바로 쓸 수 있는 링크만큼 접근성이 좋지 않음 - 토렌트야말로 완벽한 사용 사례인데 왜 안 쓰는지 여전히 의문임 - **Georgi Gerganov**와 **llama.cpp**가 로컬 모델 생태계에 끼친 영향은 과소평가할 수 없음 2023년 3월, 소비자용 노트북에서 LLaMA를 돌리며 혁명을 시작했음 당시 [README](https://github.com/ggml-org/llama.cpp/blob/775328064e69db1ebd7e19ccb59d2a7fa6142470/README.md)에 “MacBook에서 4-bit 양자화로 모델을 돌리는 게 목표”라고 적혀 있었음 Hugging Face가 Transformers를 잘 관리해온 만큼, **GGML**도 같은 길을 걸을 거라 기대함 관련 글은 [여기](https://simonwillison.net/2026/Feb/20/ggmlai-joins-hugging-face/)에 정리했음 - 왜 항상 네 댓글이 상단에 고정되는지 궁금함 - HuggingFace가 세상에 이렇게 많은 선한 영향을 주면서도 **수익을 낸다**는 게 놀라움 비즈니스 모델이 얼마나 탄탄한지, 장기적으로 지속 가능한지, 언젠가 “팔려버릴” 가능성이 있는지 궁금함 - 최근 FT 기사 “Why AI start-up Hugging Face turned down a $500mn Nvidia deal”이 참고할 만함 [기사 링크](https://giftarticle.ft.com/giftarticle/actions/redeem/9b4eca55-1214-4f9e-b85e-58571d8da8d4) - 비즈니스 모델은 사실상 **GitHub**과 유사함 무료로 커뮤니티를 키우고, 기업에는 프라이빗 버전을 판매함. 이미 흑자 상태임 - 유료 호스팅([enterprise](https://huggingface.co/enterprise))과 컨설팅 서비스도 있음 꽤 탄탄한 기반이라고 생각함 - “절대 팔리지 않을 거야”라는 말은 믿기 어려움 AMD, Nvidia, Intel, IBM, Qualcomm 같은 투자자들이 사용자 자율성을 위해 싸운다는 건 좀 아이러니함 - 예전에 튜토리얼 때문에 HuggingFace를 써봤는데, 가입 시 카드 정보를 요구했고 한 달 뒤 청구서가 날아왔음 어떤 서비스에 대한 요금인지 몰라서 계정을 취소했음. **불투명한 결제 과정**이 불쾌했음 - HuggingFace는 AI 분야의 **조용한 GOAT**임 커뮤니티와 플랫폼이 훌륭함 - 불투명한 상술 없이 **열린 플랫폼**을 만들고도 수익을 내는 게 놀라움 - “커뮤니티는 자율적으로 운영되고 100% 오픈소스로 남을 것”이라는 말이 사실이길 바람 하지만 결국 **비즈니스 이해관계**가 이길 가능성이 큼 Llama.cpp는 로컬 추론의 사실상 표준이 되었고, 많은 프로젝트가 여기에 의존함 특정 기업이 이를 통제하면 로컬 LLM 생태계 전체를 통제하게 됨 Hugging Face가 지금은 좋아 보여도, 예전의 Google도 그랬음 **잠금 효과(lock-in)** 를 피하려면 독립 비영리단체가 관리하거나 경쟁 프로젝트가 필요함 - Llama.cpp는 오픈소스라 누구나 포크할 수 있음 “통제”는 특정 기능 개발을 돕는 수준에 그침 - **ggml 팀**이 양자화 기술을 모두에게 공개한 점이 정말 고마움 그들의 노력이 큰 변화를 만들었음 - 2023년부터 GitHub로 **ggml/llama.cpp/Georgi**를 후원해왔는데, 이제 좋은 둥지를 찾은 것 같아 기쁨 그래서 후원을 종료하려 함 - HuggingFace와 **GGML**의 결합은 완벽한 조합처럼 보임 오히려 더 일찍 일어났어야 했다고 생각함 지금은 로컬 AI의 **골짜기 시기**지만, 2~3년 안에 폭발적으로 성장할 거라 기대함 - 사실 HuggingFace는 이미 프로젝트를 많이 지원해왔음 @ngxson 같은 HF 멤버들이 llama.cpp의 주요 기여자임 - **MacBook M1 8GB** 같은 저사양 시스템에서 Docker로 모델을 효율적으로 돌릴 방법을 찾고 있음 [Cybersecurity-BaronLLM](https://huggingface.co/AlicanKiraz0/Cybersecurity-BaronLLM_Offensive_Security_LLM_Q6_K_GGUF) 같은 모델이 멋져 보이지만, 결국 내 노트북은 히터가 되어버림 더 강력한 하드웨어를 사야 하는 걸까? - 8GB로는 복잡한 추론은 어렵지만, **소형 모델**은 가능함 Whisper, SmolVLM, Phi-3-mini, Gemma3 같은 모델을 추천함 [home-llm](https://github.com/acon96/home-llm) 예시 참고 Mac에서는 Ollama나 MLX를 쓰면 좋고, Docker Desktop이나 Colima로 VM을 구성할 수 있음 8GB면 초당 5~10토큰, 32GB면 50토큰 정도 가능함. 그래서 **RAM 부족**이 문제임 - 결국 충분히 강력한 시스템이 필요함 작은 모델이나 **양자화된 모델**을 쓰거나, 더 강한 하드웨어를 사거나 빌려야 함 Docker 없이 LM Studio로 시작해보는 것도 좋음 - 8GB면 2bit 수준의 **강한 양자화**로 32B 모델까지 돌릴 수 있음 완벽하진 않지만, 큰 파라미터보다 낫다고 생각함 - 이런 질문은 [r/LocalLLM](https://www.reddit.com/r/LocalLLM/)에서 더 잘 답변받을 수 있음 - 8GB로도 아주 작은 gguf 모델을 CPU에서 **llamafile**로 돌릴 수 있음 느리고 품질이 낮지만 가능함 - AI 개발에 어떻게 현실적으로 참여할 수 있을지 고민 중임 회사에서는 Copilot만 쓰고 있어서 **AI 개발 생태계**와 동떨어진 느낌임 Java/React 풀스택 배경이고, Python도 조금 다룸 LLM from scratch를 해볼지, Google ML Crash Course나 Nvidia 자격증을 따볼지 고민 중임 조언을 구함 - 목표가 명확하지 않다면, 흥미 있는 **작은 프로젝트**를 직접 만들어보는 게 좋음 처음부터 LLM으로 시작하지 말고, 그래픽 등 관심 분야에서 작게 시작할 것임 - **모델 파인튜닝**이나 **지식 증류(distillation)** 를 공부해보길 추천함 [Unsloth](https://unsloth.ai/)에 무료 Colab 가이드가 잘 정리되어 있음