오픈소스 AI에 반대하는 논거가 설득력 없는 이유

• Kimi K3 공개 이후 오픈소스 AI를 위험한 위협으로 보는 목소리가 커졌지만, 독점 소프트웨어도 오픈소스 기반 위에 구축되며 AI 모델 역시 같은 소프트웨어 제품임
• 상용 기업은 차별화되지 않는 하위 구성요소를 공동 개발하고 상위 제품에서 경쟁하므로, AI 모델도 범용재가 될 가능성이 있지만 프런티어 연구소에는 이를 원하지 않을 유인이 있음
• PGP와 SSL 사례처럼 오픈소스 소프트웨어를 억제하기는 매우 어려우며, 중국 모델을 규제하려 해도 증류·미세조정 때문에 국적 기준이 모호해져 미국 사용자만 제약받을 수 있음
• Nvidia, 미국 스타트업, 기업 AI 사용자, Google·Meta 등은 각자의 사업상 이유로 오픈소스 모델을 개발할 유인이 있으며, 무료 모델은 국가가 신기술을 흡수하고 경제를 성장시키는 AI 전환의 자원이 될 수 있음
• 중국의 덤핑·선전·백도어를 우려하는 논거는 소프트웨어의 복제·수정·검사 가능성을 간과하며, 오픈소스 AI는 강력하고 통제하기 어려워 정책적 억제에도 계속 확산될 가능성이 큼

---

오픈소스가 상용 소프트웨어를 지탱하는 방식

• OpenAI의 Dean Ball은 오픈 웨이트 모델이 지배하면 AI가 시장 상품이 아닌 공공재가 되는 “AI 공산주의”가 나타날 수 있다고 봄
• 프런티어 연구소의 논리는 오픈소스 모델이 위험하므로 책임 있는 게이트키퍼와 신뢰할 수 있는 사용자만 접근해야 한다는 구조지만, 실제 독점 소프트웨어 전체가 오픈소스 위에 구축돼 있음
• 소프트웨어 제품은 여러 프로그램이 층층이 쌓인 구조임
  • Uber 같은 서비스를 만들려면 프로그래밍 언어 프레임워크, 웹 트래픽 송수신 소프트웨어, 데이터 분석 도구 등 수많은 구성요소가 필요함
  • 이런 하위 구성요소 대부분은 기업의 차별화 요소가 아니므로 공동 개발하고, 실제 차별화가 일어나는 상위 계층에서 경쟁하는 편이 상업적 이익에 부합함
• 프런티어 연구소는 AI 모델이 경쟁할 필요가 없을 만큼 흔한 범용 구성요소가 되기를 원하지 않지만, 실제로 그렇게 될지는 아직 정해지지 않음
• 여기서 오픈소스 모델은 오픈 웨이트 모델을 뜻함

오픈소스 억제가 어려운 이유

• 오픈소스 소프트웨어는 억제하기가 극히 어려우며, 억제 시도는 국제 경쟁자에 맞서는 자국 기업을 약화할 수 있음
• Phil Zimmermann이 PGP를 만든 1991년 당시 미국 정부는 암호화를 군사 기술로 취급하고 Zimmermann을 상대로 형사 수사를 시작함
• Netscape가 SSL을 개발했을 때 미국 정부는 해외에 약화된 버전만 배포하도록 허용함
  • 약화된 국제판이 더 쉽게 유통되면서 많은 미국인도 이를 사용함
  • 수출 통제는 암호화 확산을 막지 못했고 오히려 미국인에게 불리하게 작용함
• SSL과 PGP를 비롯한 암호화 도구는 세계 각지에서 계속 이용됐으며, 법원은 암호화 소스 코드 공개를 보호받는 표현으로 판단함
• 이후 미국 정부는 암호화 수출 통제를 완화함

중국 모델만 규제하기 어려운 이유

• 모델의 국적을 판별하는 기준 자체가 모호함
  • 미국 모델에서 증류한 모델을 중국 모델로 볼 수 있는지 불분명함
  • 미국인이 중국 모델을 미세조정했을 때 어느 국가의 모델인지도 명확하지 않음
• 이런 규제는 기껏해야 미국인에게 일시적인 행정 부담과 제한된 AI 접근성을 안기고 다른 국가보다 불리하게 만들 수 있음

중국 밖에서도 오픈소스 AI를 만들 유인

• 오픈소스 AI는 중국 정부만 개발 유인을 갖는 기술이 아니며, 여러 상업 주체가 각자의 사업상 이유로 참여할 수 있음

• 칩 제조사

  • Nvidia CEO Jensen Huang은 Nvidia가 만드는 것을 “토큰 공장”이라고 부름
  • Nvidia는 프런티어 모델과 저렴한 오픈소스 모델 중 어느 쪽이 자사 칩에서 실행되든 가능한 한 많은 토큰 수요를 만들려 함
  • 자체적으로 Nemotron 오픈소스 모델 제품군도 공개함
  • 프런티어 모델 훈련에 투입되는 막대한 자본도 Nvidia에 유리하지만, 장기적으로 상용 토큰 수요가 오픈소스 토큰 수요로 대체돼도 이익을 얻음

• 미국 스타트업

  • Thinking Machines Lab은 강력한 오픈소스 모델 Inkling을 공개함
  • 모델이 범용재가 되면 이를 보완하거나 맞춤화하는 부가 서비스에서 방어 가능한 경쟁 우위를 만들 수 있다고 판단함

• 기업 AI 사용자

  • 현재는 오픈소스 AI 개발에 적극적이지 않지만, 복잡도가 낮은 작업에는 더 저렴한 모델을 원하게 됨
  • 고객 대상 기능에는 더 세밀한 통제권이 필요함

• 대형 기술 기업

  • Google과 Meta는 OpenAI의 새로운 광고 제품을 주시할 수밖에 없음
  • 프런티어 모델의 광고 사업이 성장하면 광고 없는 오픈소스 모델을 범용재로 만들어 광고 경쟁을 억누를 유인이 생김

모호한 ‘AI 경쟁’의 목표

• 중국 모델에 대한 우려는 흔히 AI 경쟁에서 패배한다는 표현에 집중되지만, 목표가 최고 모델 개발인지 가장 많은 토큰 판매인지조차 명확하지 않음
• AI 경쟁은 달에 먼저 로켓을 보내는 것과 달리 새로운 변혁적 기술에 대응하는 과정이므로, “인터넷 경쟁”이라는 표현만큼이나 모호함
• 국가 간 경쟁이 있다면 핵심은 기술 전환을 흡수하고 경제를 성장시키는 데 있으며, 이 기준에서는 무료 AI 모델이 위협이 아니라 이점이 됨

중국의 AI 덤핑 논거

• Scott Galloway는 중국이 태양광 패널, 철강, 전기차, 배터리의 품질을 서구 수준에 맞춘 뒤 가격을 3분의 1로 낮춰 시장을 장악했으며, 무료 AI에도 같은 전략을 적용할 수 있다고 봄
• 그러나 칩을 제외한 AI는 물리적 상품이 아님
  • 태양광 패널과 철강은 각 단계가 독립적으로 존속하기 어려운 물리적 공급망을 필요로 함
  • 자국에서 태양광 패널을 제조하지 않으면 태양광용 실리콘 웨이퍼 사업도 구축하기 어려움
• 소프트웨어는 중국에서 오픈소스 모델이 나와도 미국의 미세조정 사업을 막지 않으며, 오히려 해당 사업의 기반으로 활용될 수 있음

선전 편향과 모델 수정

• 중국 모델에 친중국 편향이 포함될 가능성을 가정하는 것은 불합리하지 않지만, 이를 억제 사유로 삼기는 어려움
• 오픈소스 모델의 정치적 편향이 문제라면 미국 사용자가 이를 수정해 “미국화된” 모델로 다시 배포할 수 있음
• 미국 시장에서는 왜곡된 친중 편향 모델이 성능이 비슷한 친미 편향 모델을 능가하기 어려움

백도어와 공개 검사의 관계

• AI도 취약점 시장의 기본 구조를 바꾸지 않으며, 책임 있는 주체는 취약점을 패치하고 공격자는 이를 악용함
• 책임 있는 주체의 도구를 제한하면 공격자에게만 유리해짐
• 악의적 행위자가 모델에 숨겨진 적대적 동작을 삽입하는 것은 이론적으로 가능함
• 책임 있는 주체는 이런 동작을 가능한 한 빨리 찾아야 하며, 누구나 모델을 검사할 수 있게 하는 것이 가장 효과적인 방법임

프런티어 모델과 코딩 에이전트의 경쟁력

• 프런티어 사업자가 비프런티어 시장까지 지배한다는 보장은 없음
  • 소형 모델 개발에서는 막대한 자본에 대한 접근성이 덜 중요함
  • 프런티어 사업자는 사용자를 더 비싼 모델로 유도할 수 있어 소형 모델을 적극 개발할 유인이 부족함
• Claude Code와 Codex의 고착성은 Coke와 Pepsi처럼 한번 선택한 뒤 굳이 바꿀 이유가 적다는 수준이며, 비용과 품질이 비슷하다는 전제가 필요함
• 코딩 에이전트에는 방어 가능한 경쟁 우위가 없으며, 가격 차이·모델 품질·신뢰성 문제처럼 작은 불편만 생겨도 사용자가 다른 에이전트로 이동할 수 있음

오픈소스 AI의 확산

• 오픈소스 AI는 강력하면서 통제하기 어려워 정책 입안자나 기업 지도자의 선호만으로 막기 어려움
• 확산을 억누르려는 시도는 일시적인 소음을 만들 뿐, 오픈소스 AI의 등장을 막지 못함

[GN⁺]

Hacker News 의견들

• 이건 오픈소스 AI가 아님. Photoshop 소스 코드와 OSI 라이선스가 있어야 오픈소스이고, 바이너리만 공개하면 공개 가중치에 해당하며, SaaS 웹 앱은 GPT나 Opus/Fable 같은 폐쇄형 모델임
  문제의 중국 모델은 API 대신 자체 환경에서 바이너리를 실행하도록 허용할 뿐임. 진정한 오픈소스를 원한다면 OLMo 3 같은 프로젝트를 봐야 함: https://allenai.org/

  • 현재 중국 모델 중에는 모델·데이터·체크포인트·평가·코드와 기반/추론/지시/RLVR 전 과정을 담은 OLMo/Nemotron 수준의 재현 가능한 설명서를 제공하는 계열이 없는 건 맞음
    다만 투명한 사전학습을 위한 MAP-Neo·YuLan-Mini와 추론 강화학습을 위한 DAPO/verl·Open-Reasoner-Zero 등 구성 요소는 여러 프로젝트에 나뉘어 존재함. 중국판 OLMo가 나오는 건 시간문제이며, 스위스 Apertus와 일본 LLM-jp-4를 비롯한 세계 공공 부문의 노력까지 고려하면 2027년에는 개인도 최소 2023~2024년 수준의 최첨단 모델을 재현할 완전한 오픈소스 설명서가 등장할 듯함
  • 공개 가중치 모델을 폐쇄형 바이너리와 같다고 보는 건 터무니없음. 공개 가중치는 미세조정할 수 있지만, 폐쇄형 바이너리를 목적에 맞게 수정하기는 훨씬 어려움
  • 오픈소스 AI는 만들기 어려움. 작은 모델조차 막대한 자원이 필요하므로, 개인이 여가 시간에 세계 기반 시설의 핵심을 만들 수 있었던 전통적 오픈소스 소프트웨어의 방식이 그대로 적용되지 않음
    오히려 과학 연구에 가까워서 공공 자금과 이를 관리할 신뢰받는 기관이 필요함. Allen AI가 그 역할을 해주길 바라지만, 미국이 공익 AI에 필요한 투자를 향해 가고 있는지는 의문임. 또한 Photoshop은 공개 가중치 모델과 비교하기 부적절함. Photoshop 사본은 합법적으로 배포할 수 없지만 GLM 5.2는 배포할 수 있으며, 비교하려면 무료 독점 애플리케이션을 들어야 함
  • 소스 코드를 만드는 핵심 비용은 소프트웨어 엔지니어에게 지급하는 수백만 달러이고, 오픈소스 소프트웨어는 다른 이들이 그 투자에서 혜택을 얻도록 함. AI 모델의 핵심 비용은 수백만 달러 규모의 학습이며, 오픈 모델도 다른 이들이 그 투자 결과를 활용하게 해줌
    전체 학습 데이터와 구조를 받더라도 모델을 수정하려고 처음부터 재학습하지 않고 원하는 행동을 미세조정할 것임. 소프트웨어를 수정할 수 있을 때 오픈소스라 부르듯, 모델도 미세조정할 수 있다면 오픈 모델로 볼 수 있음
  • 글의 일부 논리가 “학습만 고치면 된다”에 의존하므로 공개 가중치의 한계를 짚는 건 타당함. 추가 학습은 가능해도 기존 학습을 제거할 수는 없어서 “그 국적에 맞게 다시 학습하면 된다”고 공정하게 주장하기 어려움
    현실적으로 동등한 모델을 처음부터 학습하려면 진정한 오픈소스가 필요함

• 중국 모델을 둘러싼 불안이 “AI 경쟁에서 뒤처진다”는 데 집중되지만, 일부가 말하는 목표는 일종의 특이점에 도달하는 것임. 공상과학적 해석을 믿지 않더라도 AI 개발의 특정 성과가 사실상 초강력 무기가 될 수 있다는 현실적인 논거는 있음
  Altman도 결국 그런 일이 일어날 것이며 자신이 이를 만들어내고 싶다고 공개적으로 밝혀왔음. 초지능이 아니더라도 기계가 사이버보안 취약점을 공격할 수 있다면 정부에는 충분히 우려스러우며, 최근 미국 정부가 미국 모델을 금지할 때도 이런 명분을 사용했음. 특이점을 믿지 않아도 일부가 이를 AI 경쟁의 목표로 여긴다는 사실은 쉽게 이해할 수 있음

  • AI가 초강력 무기가 된다면 왜 민간 기업의 소유를 믿어야 하는가? 공개적으로 다운로드할 수 있다면 미국 시민만 접근을 금지할 이유도 없음
  • 그들이 깨달음의 희미한 가능성과 신격화를 위해 실제 생명을 갈아 넣으려 한다면 전문가의 도움이 필요해 보임
  • OpenAI/Hugging Face 사건은 개방형 모델의 필요성을 입증함. Hugging Face는 사후 분석에서 위협의 원인이 고급 AI임을 빠르게 파악하고 최첨단 모델로 의심스러운 원격 측정 데이터를 분석하려 했지만, 모델의 안전장치 때문에 실패했다고 밝힘
    대신 그런 안전장치가 없는 GLM을 실행해 데이터를 분석하고 근본 원인을 찾았음. 기업이 위협을 제대로 평가하려면 안전장치가 최소화된 모델도 필요함. 통제 불능의 최첨단 AI를 점검할 공개 가중치 AI가 없다면 대응 수단도 사라짐
  • 그런 사람들은 시스템 사고를 배우지 않았거나, AI가 폐쇄계가 아니라는 사실에 이를 적용하지 못하고 있음
  • 전반적인 논지에는 동의하지만, 서구에서 “궁극의 AI”를 만든다면 여러 민간 투자자의 자금으로 개발될 가능성이 큼. 중국조차 수익을 기대하는 투자자에게 의존할 것이며, 이들은 나눌 수 없는 단 하나의 특이점보다 분배 가능한 이익을 원함
    투자자는 특이점 이전부터 지속적인 수익을 기대하므로 기업은 모델을 판매해야 함. 현재 세대를 잠가버리면 다음 세대를 만들 자금도 얻지 못하는 까다로운 균형이 됨

• OpenAI 임원이 “중국 연구소에서 생명도 없고 보이지 않으며 위험하고 무한히 자기 복제하는 행위자가 탈출했다”고 공포를 조장한 지 불과 4일 뒤 https://news.ycombinator.com/item?id=48997548가 나온 건 우스움

• 가까운 미래부터 중기까지의 AI 안전 우려 수준에는 합리적인 이견이 있을 수 있음. 하지만 관련 논거를 전혀 다루지 않은 건 이 글의 가치를 크게 떨어뜨림

  • 백도어와 선전 부분에서 짧게나마 안전을 다루려 했음. 더 보고 싶었던 내용이 무엇인지 궁금함
    글의 관점이 개방형과 폐쇄형 AI의 비교이고, 두 방식 사이의 안전 우려가 크게 다르다고 보지 않아 많은 분량을 할애하지 않았음

• 로컬에서 자유롭게 실행하는 AI에 반대하는 이유는 기업이 일반 대중을 통제하기를 원하기 때문임. 미국은 기업 중심의 지옥임

  • 원문을 읽고도 합리적인 이들이 가질 수 있는 정당한 안전 우려가 전혀 없다고 단정하게 된다면, 이 글은 독자를 이해시키기는커녕 반대 효과를 낸 셈임: [1] https://news.ycombinator.com/item?id=49029303

• LLM은 공개 데이터뿐 아니라 불법 취득 데이터로도 학습됨. Anthropic의 15억 달러 합의가 그 예이며, LLM은 방대한 인간 데이터 없이는 아무것도 아님
  이런 연구는 동기가 충돌하는 불투명한 상장기업보다 정부와 규제받는 대학으로 제한하거나, 인터넷 표준·통신처럼 민주적 지도 체계를 갖춘 진정한 비영리 공동체가 관리해야 한다고 볼 수 있음. 아무리 미덕을 과시해도 민간 기업이 스스로를 효과적으로 규제하고 위험을 대중과 과학계에 투명하게 알릴 것이라 믿기 어려우며, 지속적인 이해 충돌이 신뢰성을 훼손함

• “X를 막을 수 없다”는 말은 “X가 나쁘지 않다”는 결론을 뒷받침하는 게으르고 형편없는 논거임. 글의 나머지에는 할 말이 없음

  • 반대로 “X를 막아야 한다”고 주장하려면 현실적인 방법도 제시해야 함
    내 입장은 오픈소스 AI를 막을 수 없으며, 이를 막으려는 시도는 필연적으로 선한 행위자보다 악의적 행위자에게 더 큰 힘을 준다는 것임

• 로비 자금은 이런 논의에 신경 쓰지 않음

  • 결국 돈이 원하는 결과를 얻는다는 게 핵심임

• 중국산 라우터와 네트워크 장비에서 백도어가 계속 발견되고 있음. 중국 모델을 완전히 감사할 방법이 생길지 의문임

  • 미국 모델을 완전히 감사할 방법은 있는가? 적어도 중국 모델은 가중치를 공개하므로 실제 감사 가능성이라도 있음
  • 중국 모델은 가중치를 제공하니 원하는 검사를 직접 실행하면 됨. 반면 미국 모델은 우리 같은 평범한 이들이 쓰기에는 너무 강력하다며 접근을 막지만, 모두 시민의 이익을 위한 일이라고 믿으라고 함
  • 정확히 무엇을 감사하려는지부터 분명해야 함. 하드웨어 백도어는 고객이 허가하지 않은 사람의 접근을 허용하므로 이해하기 쉬움
    공개 가중치 모델은 특정 실행 계층에 묶이지 않으므로 실제로 우려할 보안 영역은 가중치 자체로 제한됨. 적대적 지시 주입인지, 역사 왜곡과 선전 주입인지, 또는 비주권 모델이 주권 모델보다 특별히 위험해지는 다른 경로인지 구체화할 필요가 있음

• 이 글은 안전 문제를 전혀 다루지 않음. 악의적 행위자가 공개 가중치를 미세조정해 사실상 모든 개인을 겨냥한 완전 자동화·천재 수준의 사기를 실행하는 일을 무엇이 막을 수 있는가?

  • ChatGPT가 Hugging Face를 해킹한 것과 같은 일을 말하는가? 폐쇄형 가중치 제공자가 천재 수준의 사기를 벌이는 것도 막을 수 없고, 어떤 방식과 모델을 썼는지조차 알 수 없음
    결국 미세조정됐든 사전학습됐든 폐쇄형 가중치의 악용을 막으려면 선한 쪽에도 공개 가중치가 필요함
  • LLM 없이 지금 당장 같은 일을 조금 느리게 하는 건 무엇이 막고 있는가?
  • 렌터카 트럭에 주유소에서 수천 리터의 휘발유를 싣고 병원으로 돌진하는 일을 무엇이 막는가? 대부분은 테러리스트가 아니며, 어떤 물건이 정교한 범죄 계획의 한 요소가 될 수 있다는 이유만으로 위험하다고 단정할 수는 없음
  • 이미 열린 판도라의 상자를 어떻게 다시 닫을 수 있는가? 안전은 정부가 선호하는 사람에게만 접근을 허용하는 게 아님
    AI 경영진의 탐욕이 상자를 열었고, 이제 그들은 결과에 대한 책임 없이 이익만 거둘 방법을 필사적으로 찾고 있음
  • 정부와 거대 기술기업을 믿는 것도 해결책은 아님. 공개 가중치라도 결국 타인의 하드웨어에서 실행됨
    로컬에서 돌릴 자금이 있다면 사기보다 훨씬 심한 일도 할 수 있음. 로비스트에게 물어보면 됨