정부·기업·비영리단체가 자유·오픈소스 AI에 투자해야 하는 이유

• 소프트웨어는 상업 자산인 동시에 공유할수록 발전하는 지식 체계이며, GCC와 GNU/Linux가 보여주듯 오픈소스는 현대 인터넷과 기술 산업을 지탱하는 기반이 됨
• 코드를 공개하면 전 세계 개발자가 결함을 찾아 고칠 수 있고 차세대 엔지니어가 최첨단 시스템의 구축법을 배울 수 있어, 투명성이 보안과 인재 양성 모두에 기여함
• 최첨단 AI가 소수 기업의 폐쇄형 모델에 집중되면 연구자가 구축 과정과 학습 데이터를 확인하기 어려워지고, AI에 의존하는 과학·의료·공학·사법 판단도 온전히 감사하기 어려워짐
• AI 소프트웨어 자체가 곧 능력이므로 공개에 따른 위험은 존재하지만, 폐쇄형 모델 역시 유출과 탈옥에 취약하고 소수 기업이 허용할 기술을 결정하는 권력 집중까지 초래함
• 모든 오픈소스 AI가 최첨단 모델의 규모를 따라갈 필요는 없으며, 정부·기업·비영리단체는 공공 컴퓨팅 지원, 대학·비영리 연구 후원, 공공 자금으로 만든 AI의 기본 공개 원칙에 투자해야 함

---

자유 소프트웨어를 둘러싼 논쟁

• 1980년대 MIT AI Lab에서 Richard Stallman과 약 2년간 논쟁할 당시에는 소프트웨어 발전에 기업의 독점적인 코드 통제가 필요하다는 통념을 따랐음
• Stallman은 소프트웨어가 지식을 담는 매체이므로 누구나 사용하고 학습하고 개선할 수 있어야 하며, 기업 내부에 코드를 숨기는 것은 지식 자체를 감추는 일이라고 봤음
• 양측 모두 컴퓨터가 인간 발전을 가속하는 핵심 수단이 된다는 데 동의했지만, 그 목표에 도달하는 방법에서는 갈렸음
• 논쟁을 거치며 소프트웨어는 단순한 상업 자산이 아니라, 공유될 때 강해지는 지식 체계라는 생각이 설득력을 얻음
• 사용자가 소프트웨어를 연구·변경·개선·공유할 자유를 보장해야 한다는 Stallman의 원칙은 자유 소프트웨어 운동과 이후 오픈소스의 토대가 됨

GCC와 GNU/Linux가 입증한 공개 개발

• Stallman이 만든 GCC는 세계의 코드를 컴퓨터가 실행하는 기계어로 변환하며, 현재까지 사용되는 핵심 프로그램으로 자리 잡음
  • 이러한 성공은 개인의 작업만이 아니라 수천 명의 기여를 통해 가능해짐
• 같은 공개 개발 정신에서 나온 GNU/Linux는 현재 인터넷 대부분을 구동함
• 현대 기술 환경은 공개 개발 원칙과 오픈소스에 크게 의존하고 있음

개방성이 보안과 학습에 미친 효과

• 초기에는 컴퓨터를 안전하게 보호하려면 소프트웨어를 숨겨야 한다는 은닉에 의한 보안 논리가 주요 반론이었음
• 투명한 소프트웨어는 전 세계 개발자 공동체가 문제를 발견하고 수정할 수 있지만, 폐쇄형 소프트웨어는 아무도 내부를 충분히 깊게 들여다보지 않기를 기대해야 함
• 오픈소스 공동체는 구축 방법에 관한 지식을 널리 퍼뜨리며, 한 세대의 엔지니어가 학습하는 사실상의 교과서 역할도 수행함
• 최첨단 시스템이 모두 감춰지면 잠긴 시스템에서 배울 수 있는 것이 거의 없어 차세대 혁신가를 훈련하기 어려움

기술 산업을 떠받친 오픈소스 생태계

• 수십 년간의 기술 발전은 민간기업과 대학, 수만 명의 자원봉사자가 공유 소프트웨어 기반에 기여하는 섬세한 생태계에서 나왔음
• 세계적으로 성공한 여러 기업은 공개된 핵심 기술 위에 서비스를 구축해 수익을 창출함
• 독점 소프트웨어에도 역할이 있지만, 오픈소스는 현대 기술 산업의 하중을 받쳐온 기반이므로 약화되지 않도록 해야 함

초기 단계부터 폐쇄되는 AI

• AI 역시 소프트웨어지만 가장 발전한 최첨단 모델은 완전히 폐쇄돼 있으며, 폐쇄 속도도 빨라지고 있음
• 실질적으로 사용할 수 있는 공개 대안은 드물고, 현재 모델은 뛰어나지만 아직 미완성이며 구축 방법도 확립되지 않았음
• 가장 깊은 돌파구가 앞으로 남아 있는 초기 과학 분야를 지금 폐쇄하면 발전에 필요한 공유 지식이 사라질 수 있음
• 대학 과학은 연구 결과를 공개하고 전 세계가 후속 연구를 수행하는 방식으로 발전해 왔음
• 미래 과학 대부분이 AI에 의존한다면, AI를 소수 기업 내부에 가두는 일이 과학 발전까지 제한할 위험이 있음

미래의 도서관을 누가 통제하는가

• 도서관은 누구나 인류가 축적한 지식을 무료로 이용할 수 있는 공유 자원임
• 소수 기업이 모든 도서관을 사들여 읽을 수 있는 책을 결정하고 내용을 조용히 고친다면 용납하기 어려움
  • 폐쇄형 AI 역시 소유자가 정한 조건으로만 접근할 수 있는 미래의 도서관과 같음
• 소수 기업이 모델의 허용 범위를 정하거나 답변 도출 방식을 조정하면, 모델에 의존하는 사람은 결과를 완전히 이해할 수 없게 됨
  • 진단에 모델을 사용하는 의사
  • 설계를 맡기는 엔지니어
  • 판단에 참고하는 판사
  • 무엇을 믿어야 할지 묻는 일반 사용자 모두가 같은 문제에 놓임

모델의 설명은 감사 기록이 아님

• 모델이 이유를 말할 수 있더라도 설명과 감사(audit) 는 같지 않음
• 모델이 내놓는 이유는 답을 만든 실제 계산의 충실한 기록이 아니라, 결과가 나온 뒤 조립된 그럴듯한 이야기임
• 같은 질문을 다음 해에 했을 때 답이 달라져도 현실이 바뀐 것인지, 공급자가 모델을 바꾼 것인지 확인할 방법이 없을 수 있음
• 이런 시스템에 의존하는 사용자는 이해할 수 있는 도구를 활용하는 대신, 내부를 조사할 수 없는 신탁 같은 시스템을 믿게 됨

공개 AI와 폐쇄 AI가 만드는 위험

• AI는 공개하기에 너무 위험하다는 반론은 진지하게 검토할 가치가 있음
• 연구 논문은 능력을 기술하지만 기반 AI 소프트웨어는 그 자체가 능력이므로, 일반 연구 공개와 AI 공개 사이에는 실제 비대칭이 존재함
• 그렇다고 폐쇄가 필연적인 해답은 아님
  • 과학적 발견도 악용될 수 있지만, 물리학 전체를 기밀화하는 대신 감시와 규칙을 적용하면서 기반 지식은 공개함
  • 폐쇄형 모델도 유출되거나 탈옥될 수 있어 단지 폐쇄됐다는 이유만으로 안전하지 않음
• 소수 기업이 나머지 사회가 무엇을 구축할 수 있는지 결정하는 권력 집중도 별도의 위험을 만듦
• 판단의 기준은 공개 모델에 위험이 전혀 있는지가 아니라, 이미 이용 가능한 능력보다 의미 있는 추가 위험을 만드는지 여부임

실행 코드와 구축 코드의 차이

• 모델 뒤에는 모델을 실행하는 코드와 모델을 만든 코드라는 두 종류의 코드가 있음
• 모델을 직접 실행할 수 있는 것도 유용하지만, 투명성을 위해 더 중요한 것은 모델을 어떻게 만들었는지 보여주는 구축 코드와 학습 데이터임
• 현재 공개 모델로 불리는 중국 주요 연구소와 일부 미국 기업의 모델은 실행 코드를 제공하지만, 구축 코드와 학습 데이터는 공개하지 않음
• 사용자가 받는 것은 지능을 만들어 내지만 형성 과정을 알 수 없는 거대한 숫자 집합으로, 실행할 수 있어도 설명할 수 없는 마법의 숫자에 가까움
• 실행 코드 공개조차 지속적인 약속이 아니라 기업의 재량에 따른 호의이며, 향후 가장 강력한 모델도 계속 공개하리라는 보장은 없음
• 언제든 중단할 수 있는 개방성은 기반이 될 수 없으므로 두 가지가 모두 필요함
  • 누구나 사용하고 확장할 수 있는 공개 모델
  • 누구나 제작 과정을 확인할 수 있는 공개 소스·학습 데이터

공공재로서의 오픈소스 AI 투자

• AI 기업의 존재나 민간 AI 자체를 반대하는 것이 아니라, 폐쇄형 민간 AI가 유일한 선택지가 되어서는 안 됨
• 미국의 민간 AI는 충분한 지원을 받고 있지만, 오픈소스 AI는 옹호 기반이 약해 정책과 투자에서 쉽게 빠질 수 있음
• 최첨단 모델은 계속 커지고 비용도 늘어날 수 있어, 해당 규모의 경쟁은 거대 기업의 영역으로 남을 수 있음
• 오픈소스 AI가 유용하려면 반드시 최첨단 모델과 같은 규모여야 하는 것은 아니며, 세계가 필요로 하는 많은 작업에는 절대적인 최첨단 성능이 필요하지 않을 수 있음
• 신뢰할 만한 공개 대안을 유지하는 데 대규모 컴퓨팅 자원이 필요하다면, 이는 비용을 지불할 가치가 있는 공공재임
• 정부·민간 부문·비영리단체가 자유·오픈소스 AI에 적극적으로 투자해야 함
  • 공개 연구를 위한 공공 컴퓨팅 보조금 제공
  • 관련 연구를 수행하는 대학과 비영리단체에 기업·자선 자금 지원
  • 공공 자금으로 구축한 AI는 기본적으로 공개한다는 원칙 도입
• 오픈소스 소프트웨어에 투자해 기술 발전을 이끈 방식을 AI에서도 이어가야 함

[GN⁺]

Hacker News 의견들

• 민간 AI 기업은 모두에게서 사실상 빼앗은 데이터로 모델을 학습하고 큰 위험까지 초래하므로, 비상업용 라이선스의 공개 가중치로 모델을 배포하도록 강제해야 함
  Dario가 추진하는 규제 포획이 아니라 이런 방향이 안전 정책의 핵심이어야 한다

  • 데이터를 훔쳤다는 주장에 어떤 선례가 있는지 모르겠다. 지난 20년간 광고를 차단하고 5TB짜리 불법 복제 영화·음악을 모으면서 “디지털 파일에는 절대 돈을 내지 않겠다”던 이들이, 이제 대규모 언어 모델이 데이터셋으로 다음 토큰을 예측하면 절도라고 비난한다
    보상 없이 모든 가용 데이터로 학습하는 데 정말 화가 난다면 자업자득이라고밖에 할 수 없다
  • 특히 이제는 경쟁자가 같은 이점을 얻기 더 어려워졌으므로 동의한다. 당장 공개하거나 세부 조정까지 내놓을 필요는 없더라도, 최소한 기초 모델 가중치는 공개해야 함
  • 감염성 생물무기 제조법을 단계별로 알려주는 위험처럼 일부 유형에서는 공개 가중치가 오히려 위험을 키울 수 있다
  • 흥미로운 발상이지만, 그러면 중국도 즉시 우리와 동급인 모델을 만들 수 있지 않을까? 모델 학습에 투자할 경제적 가치도 크게 줄어들 수 있다
  • 왜 상업적 이용을 금지해야 하나? 기업들이 어려운 원천 작업을 한 것도 아닌데, 공유 자원을 이렇게 사유화하도록 허용했다는 것 자체가 수치스럽다

• 공개 모델을 위한 목표형 유인 상금을 Nobel상 수상자 Michael Kremer의 방식처럼 공동으로 후원할 필요가 있다
  6~12개월마다 16GB·32GB·64GB·128GB VRAM과 최소 200K 문맥 길이로 5~10개의 어려운 벤치마크 및 비공개 벤치마크 하나에서 기준을 최초로 넘긴 모델에 20만 달러를 지급하고, 다음 회차에는 기준을 올리면 된다. 양자화 방식은 자유지만 기준 장비에서 정확히 해당 VRAM만 사용해야 하며 RAM이나 디스크로 넘겨서는 안 된다
  자금은 크라우드펀딩으로 모으고 PDF 처리처럼 기업 수요에 특화된 상금을 추가해 교차 보조할 수 있다. 기업 상금의 25%를 일반 상금 풀로 보내는 식이다. 공개 모델 기업에는 돈도 유용하지만, 모델을 돋보이게 하고 사용량을 높여주는 명확한 공인이 더 큰 가치일 수 있다

  • 한국 정부가 비슷한 대회를 열었던 것으로 기억한다. 지난해 다음 단계에 진출하려고 여러 모델이 동시에 공개됐지만, 모델 자체는 특별히 인상적이지 않았다
    명확한 하드웨어 등급은 좋은 차별점이지만 벤치마크는 반드시 비공개여야 한다. 각 단계마다 좋은 평가 세트를 만들고 관리하는 일은 정직한 연구소 내부 평가에서도 어려우며, 신뢰를 위해 매 회차가 끝난 뒤 이를 공개하고 다음 평가를 새로 만들어야 한다. 가능은 하지만 평가 관리 비용이 상금 총액보다 클 수 있고 계속 반복해야 한다
  • 최첨단 모델을 학습할 수는 없어도 16GB 등급이라면 나도 참가해볼 만해서 재미있겠다. 최첨단 모델은 이런 체급을 훨씬 넘기 때문에 지금까지 고려되지 않은 최적화 기법이 많이 남아 있을 듯하다
  • 재현 가능성 요건을 추가하고, 완전히 같은 벤치마크를 너무 오래 유지하지 않는 편이 좋다
  • 20만 달러로는 학습에 드는 전기료조차 충당하지 못할 수 있다

• FOSS는 잘못된 비유다. 최첨단 대규모 언어 모델 구축은 주로 공학 분야라기보다 과학 연구 프로그램에 가깝다
  대학과 CERN 같은 대형 프로젝트를 포함해 사실상 오픈소스 방식의 연구 프로그램도 존재한다. AI 역시 대학에서 성장했지만, 필요한 자본을 민간 부문에서만 조달할 수 있다는 사실이 드러났다
  제대로 된 공공 AI 연구 프로그램도 가능하지만, 대학 연구비를 조금 늘리는 수준이 아니라 최첨단 연구소들이 이미 본보기로 삼는 Manhattan 계획이나 Apollo 계획에 가까울 것이다

  • 물가를 반영한 Manhattan 계획의 총비용은 약 400억 달러였지만 Anthropic의 최근 투자 유치 한 번만으로 650억 달러를 모았다
    냉전이 절정이던 시기 Apollo 계획 전체 비용은 현재 가치로 약 3천억 달러였으며, 이는 지금까지 OpenAI와 Anthropic이 합쳐서 조달한 금액과 비슷하다. 현재의 정치·경제 환경에서 정부가 AI에 이만한 자금을 댈 수 있을지 의문이다. 비교하면 LHC는 훨씬 긴 기간에 걸쳐 100억 달러도 들지 않았다
  • 다르게 보면 AI 연구는 대학에서 발전해왔고, 최근 들어서야 민간 부문이 현대 CPU·GPU 기술과 결합했을 때의 수익 가능성을 알아본 것이다
    같은 뜻처럼 들릴 수 있지만 관점은 다르다. 학술 연구 프로그램이라면 일반 대중에게 AI를 무료로 제공하려고 데이터센터에 수십억 달러를 쓰지는 않았을 것이다

• 이미 오픈소스 AI에 투자하고 있지만 진정으로 공짜인 것은 없다. 개발자가 본업으로 일하며 보수받는 상업용 AI가 대개 우세할 수밖에 없고, 선의와 시간제 기여만으로는 생계와 이윤 동기를 안정적으로 이기기 어렵다

  • 운영체제, 데이터베이스, 컴파일러를 비롯한 복잡하고 거대한 소프트웨어 분야에서도 같은 말을 했지만, 시간이 지나며 오픈소스 소프트웨어가 점점 더 지배적인 위치를 차지했다
  • 범용 인공지능(AGI) 은 소프트웨어가 아니다
    폐쇄형 최첨단 모델을 거의 독점적으로 통제하는 Altman, Amodei, Zuckerberg, Musk 네 사람이 투자자를 속이는 게 아니라 정말 AGI를 만든다면, 폐쇄형 모델이 남기는 선택지는 강력한 정부 또는 강력한 과점·군주제뿐이다
    Musk와 Zuckerberg는 구조적으로 지휘권을 쥐고 있다. Altman은 경쟁자 숙청과 민영화 이후 사실상 지휘권과 조직의 충성을 확보했고, Amodei는 영향력이 커서 현재의 지배 구조를 뒤집을 가능성이 있다

• 소프트웨어가 비공개 소스라고 해서 지식까지 공유할 수 없는 것은 아니다. 기반 코드를 보지 않고도 아키텍처 패턴이나 모범 사례를 설명할 수 있다
  대규모 언어 모델 제공업체가 강화학습이나 Transformer 관련 질문에 답변하길 거부해야만 도서관 비유가 정확해진다
  공개 소스·공개 가중치 모델을 강하게 지지하지만, 주된 이유는 그것이 더 나은 제품이라고 보기 때문이다. 학습과 운영 비용이 훨씬 저렴하고, 대부분의 작업에는 최첨단 지능이 필요하지 않을 수 있다. 시장에 맡기면 대규모 언어 모델은 프로그래밍 언어와 비슷해지고, 대형 연구소는 특정 용도에 맞춘 미세 조정이나 고객용 배포로 수익을 낼 가능성이 크다

  • 시장에만 맡겨서는 안 된다. 고객이 항상 기술적으로 가장 우수하거나 저렴한 선택지를 고르는 것은 아니다

• AI를 밀어붙이는 논리대로라면 신중하게 고른 대규모 언어 모델 프롬프트 몇 개로 오픈소스 개발자의 작업을 재현할 수 있는데, 왜 우리가 그들에게 자금을 대야 하나? 더 많은 해법을 암기할 수 있도록 AI 기업이 FOSS에 자금을 대야 하는 것 아닌가

• 제목에서 “AI”만 빼면 된다. 정부·기업·비영리단체는 자유·오픈소스에 투자해야 한다

• 도서관 비유 자체는 들어맞지만, 불편한 부분은 대부분의 공개 모델이 도서관을 받는 것보다 컴파일된 바이너리를 받는 데 더 가깝다는 사실이다

• 대중이 조금이라도 통제권을 유지하려면 조합원 소유 협동조합이 앞으로 나아갈 길일 수 있다

• David Siegel은 약 2년 전 https://youtu.be/0z60xUDo-NI?si=PTDe11-sn2P53qo5&t=420 강연에서 AI 데이터센터 확장이 시기상조라고 했다
  현재 접근법이 계속 규모화되더라도, 이는 컴퓨팅 초기에 누군가 숫자 정렬용 버블 정렬이라는 O(n²) 알고리즘을 발명하자 기술 기업들이 O(n log n) 방식은 찾지 않고 숫자 정렬용 거대 데이터센터부터 짓겠다고 나선 것과 같다는 비유였다. 전적으로 맞는 말이며 오픈소스 AI에 대해서도 옳다

  • 시장 어디에서도 구할 수 없던 연산 자원을 얻으려고 이른바 우주인 악당에게까지 찾아간 일을 Amodei가 지금 어떻게 생각하는지 물어보라