리차드 스톨만, "ChatGPT를 사용하지 말아야 하는 이유"
(stallman.org)- Richard Stallman은 ChatGPT가 지능을 갖지 않은 시스템이며, 단지 단어를 조합할 뿐 의미를 이해하지 못한다고 지적
- 이 시스템은 진실 여부에 무관하게 출력물을 생성하기 때문에, 그는 이를 “허튼소리 생성기(bullshit generator)” 라고 부름
- 이러한 생성형 시스템에 지능을 부여하는 대중의 착각이 잘못된 신뢰를 낳고 있다고 경고
- ChatGPT는 사용자가 실행 파일이나 소스 코드를 얻을 수 없는 비공개 소프트웨어로, 오직 서버를 통해서만 접근 가능
- 타인의 서버에서 연산을 수행하는 방식은 사용자의 컴퓨팅 자유를 훼손한다는 점에서 사용을 거부해야 함
ChatGPT의 비지능적 특성
- Stallman은 ‘지능(intelligence)’을 이해하거나 앎이 가능한 능력으로 정의
- ChatGPT는 자신이 생성한 출력의 의미를 알지 못하며, 단어가 의미를 가진다는 사실조차 인식하지 못함
- 따라서 ChatGPT는 지능이 아닌 단순한 언어 조합 시스템으로 규정됨
“허튼소리 생성기”로서의 성격
- 그는 ChatGPT를 “bullshit generator” 라 부르며, 이는 진실 여부에 무관하게 결과를 생성하는 시스템을 뜻함
- 같은 이유로 다른 생성형 시스템들도 동일한 문제를 가진다고 언급
대중의 잘못된 신뢰
- 많은 사람들이 이러한 시스템에 지능이 있다고 착각함으로써 잘못된 신뢰를 보이고 있음
- Stallman은 이러한 시스템을 신뢰하지 말아야 한다는 인식 확산을 촉구
비공개 소프트웨어로서의 문제
- ChatGPT는 사용자가 복사하거나 실행할 수 없는 미공개 소프트웨어임
- 실행 파일조차 제공되지 않으며, 오직 OpenAI의 서버를 통해서만 사용 가능
- 이러한 구조는 사용자를 서버에 종속시키는 형태로, 독립적 사용이 불가능함
컴퓨팅 자유의 훼손
- Stallman은 타인의 서버에서 자신의 연산을 수행하는 행위가 컴퓨팅 자유를 파괴한다고 명시
- 그는 GNU 철학 문서를 인용하며, “그 서버가 누구를 위해 봉사하는가” 라는 근본적 질문을 제기
출처: Richard Stallman, “Reasons not to use ChatGPT”, stallman.org, 2024
저작권: 본문은 원문 고지에 따라 동일 조건 하 복제 및 배포 허용
타인의 서버에서 연산을 수행하는 방식은 사용자의 컴퓨팅 자유를 훼손한다는 점에서 사용을 거부해야 함
이건 LLM 뿐만 아니라 모든 클라우드 서비스랑 외부 서비스를 거부하자는 주장 아닌가요...? 번역이 잘못된건가요?
의도를 가지고 판단을 하는 인간은 주체이자 객체로서 의지를 형성하죠. 지능이란 그런거라 생각합니다. 지적인 활동에 유용하다고 해서, 지능이라는건 과대 해석이죠.
스톨만이 워낙 원리주의적이라 bullshit generator라고 표현한 듯 합니다. 다들 아시다싶이 "확률적 앵무새" 라는 용어와 표현하고 싶은 바가 같겠죠.
하지만 지금의 확률적 앵무새인 LLM이 인류의 생산성을 극적으로 향상시키고 있는 것도 사실입니다. 그리고 사람들은 컴퓨팅의 자유보다는 산업 혁신에 더 관심이 많겠죠. 인간 또한 확률적 앵무새가 아니라는 보장도 없구요.
Hacker News 의견들
-
Stallman이 MIT AI Lab 시절 symbolic AI를 다뤘고 GCC까지 만든 걸 보면, 기술계 유명인 중에서도 질문의 본질을 깊이 이해하고 있는 사람이라 생각함
- Symbolic AI와 neural network는 같은 문제를 전혀 다른 방식으로 푸는 기술임. 포토샵 전문가가 회화 전반을 논하는 것과 비슷한 비유임
- 현대 접근법은 Chomsky식 결정론적 방법론과는 완전히 겹치지 않음
- 그는 이번엔 빗나간 것 같음. “ChatGPT는 이해하지 못하므로 지능이 아니다”라는 식의 발언은 분석이 아니라 이념적 주장에 가까움. 사실 인간도 비슷하게 직관에서 출발해 논리를 사후에 덧붙이는 존재임. 다만 Stallman의 자유 소프트웨어 철학에는 공감함. 거대 자본의 폐쇄적 모델 독점은 분명 부작용을 낳을 것임
-
그는 틀리지 않았음. ChatGPT는 지능의 모사체(simulacrum) 일 뿐이며, 유용하지만 완전히 신뢰할 수는 없음. 자유와 개방성의 관점에서도 긍정적이라 보기 어려움
- “지능의 모사체”라는 표현은 결국 인공 지능을 좀 더 화려하게 표현한 것에 불과함
- “지능처럼 행동하는 것” 정도로 부르는 게 적절하다고 생각함
- 그 모사체가 훨씬 강력해진다면, 그때는 지능이라 부를 수 있는지 궁금함
- 사실 너도 “지능의 모사체”가 아닐까 하는 생각이 듦
-
나는 LLM이라는 용어를 선호함. 하지만 대부분은 그게 뭔지 몰라서 결국 AI라고 설명하게 됨. LLM은 bullshit generator가 아님. 의미를 모르더라도 결과물이 유용하면 충분함. 마치 요리사가 달걀의 본질을 몰라도 삶을 수 있는 것처럼. 다만 이런 모델이 자체 하드웨어나 제3자 클라우드에서 자유롭게 실행될 수 있어야 함. 지금은 중국 모델이 시장을 장악한 상태임. ChatGPT는 내부의 “code red” 상황을 해결하지 못하면 오래 못 갈 수도 있음
- 나도 내가 생성하는 것의 의미를 모를 때가 많음. 감정이나 생각 같은 내면 상태는 시간이 지나야 이해되는 경우가 많음. 그래서 저널링이란 과정이 존재함
- “의미를 모르지만 결과가 중요하다”는 말은 사실 bullshit의 정의와 비슷함
- ChatGPT가 틀린 걸 모른다는 점에서야말로 bullshit이라는 표현이 완벽함. 거짓말이 아니라, 진실 여부에 상관없이 목표 달성에 집중하는 행위임
- “결과가 중요하다”는 말은 틀림. 그 결과는 CIA에만 중요할 뿐임
-
Stallman의 사이트에 “What’s bad about” 섹션이 있는 게 웃김. 꽤 자기 인식이 있는 구성임
- “Reddit에 글을 올리려면 비자유 자바스크립트를 실행해야 한다”는 식의 주장은 존경스럽지만, 이제는 노인 잔소리처럼 들림. 비판은 더 구체적이어야 함
- 진정한 자기 인식이라면 “What’s bad about Richard Stallman / GPL / GNU / Emacs” 같은 항목도 넣었을 것임
-
계산기가 숫자를 이해하지 못한다고 해서 수학을 못한다고 말할 수 없는 것처럼, AI도 단어를 다루는 방식이 인간과 유사함. 창의성은 부족하지만 일상적 업무는 충분히 처리 가능함. 예를 들어 독일 세금 제도를 묻는다면, 약간의 부정확함이 있더라도 내가 두 시간 조사한 결과보다 정확할 가능성이 높음
- 하지만 그 비유는 적절하지 않음. AI는 이해나 추론을 하지 않기 때문에 진리를 생성하지 않음. 계산기는 수학 연산에 대해 정확히 설계되어 있지만, 세금 신고는 못 하는 것과 같음
-
지능을 “낯선 현상을 이해하고 정신적 모델을 만드는 능력”으로 정의한다면, 현재 모델은 추론 시점에 가중치를 갱신하지 못하므로 지능이 아님. gradient descent 학습은 비효율적이기에, 현재 inference 전용 모델의 지능은 사실상 0에 가까움
- 하지만 지능과 학습은 구분되어야 함. 단기 기억만 있는 사람도 여전히 지능적일 수 있음. Stallman은 단순한 시스템도 AI로 본다고 했으니, 인간형 지능만을 말하는 건 아님
-
LLM은 결국 환각(hallucination) 을 만들어내는 존재임. 다만 어떤 환각은 유용함
- 나도 인생의 많은 부분을 환각처럼 살아왔음 (약물은 아님)
- 언젠가 의식과 퀄리아 자체가 환각임을 인정하게 될지도 모름
-
“ChatGPT는 아무것도 이해하지 못하므로 지능이 아니다”라는 주장은, 오히려 ChatGPT를 인간화(anthropomorphize) 하면서 깎아내리는 논리임. 다만 “남의 서버에서 돌아가는 소프트웨어는 컴퓨팅 자유를 훼손한다”는 부분에는 동의함. 이런 AI 발전이 자유롭게 실행하거나 개발할 수 없는 환경에서 이루어지는 건 아쉬움
-
LLM은 진짜 지능은 아니지만 인공 지능(artificial intelligence) 이라 부를 수 있음. 인공 잔디가 진짜 잔디는 아니지만 여전히 “잔디”라 부르는 것처럼, 이름 자체는 타당함
- 그래서 나는 “AI” 대신 LLM이라는 정확한 용어를 씀. “인공”이란 단어는 인간이 만든 것을 뜻하지만, Stallman은 그것이 인간 지능과 같은 목적을 수행하지 않기 때문에 부적절하다고 봄. CEO가 챗봇으로 직원을 대체한다면, 그것은 인공 지능이 아니라 인공 지원 인력임
- LLM이 실제 경험이 없다고 하지만, 인간도 직접 감각하지 못한 영역이 많음. 예를 들어 오르트 구름에 대해 우리가 아는 것도 결국 간접 경험임
-
LLM의 본질은 단순함. 지능의 정의는 중요하지 않음. 나는 LLM을 “** Associator**”라 부름. 생각하거나 이해하지는 않지만, 언어적 패턴을 연관시켜 유용한 결과를 만들어냄
- 이 관점이 마음에 듦. 사람들은 LLM을 신비화하거나 지능 논쟁에 빠지지만, 그냥 있는 그대로 보면 됨. 문제는 우리가 인간을 더 잘 모른다는 점임
인공 지능이 궁극적으로 영혼을 가질 수 없다면 그들의 지능이 반드시 진실을 추구하는 인간의 지능과 닮아야 할 이유가 있을까요? 심지어 우리가 지적 활동이라고 부르는 행위 중 상당수는 거짓과 환각에 기반하고 있습니다. 현대사회의 인간들도 현상을 인식하지 못해서 (또는 일부러) 거짓으로 타인의 삶에 영향을 끼치고 있습니다.
- ”진실 여부에 무관하게 출력물을 생성“
- “사용자가 실행 파일이나 소스 코드를 얻을 수 없는 비공개 소프트웨어”
- “타인의 서버에서 연산을 수행하는 방식은 사용자의 컴퓨팅 자유를 훼손한다”
이 정의에 따르면 종업원을 비롯한 나의 손을 거치지 않고 타인의 두뇌를 거치는 서비스 업종, 클라우드 서비스, 심지어 전화까지 전부 다 쓰면 안된다는 소리나 다름없죠.
1번은 그냥 현실에 존재하는 모든 것이 진실에 무관하게 출력을 생성할 수 있습니다. 심지어 진실된 출력을 하려고 의도한 시스템 마저도 그렇지 못할 수 있지요. 우리는 이걸 “실수”라고 부릅니다.
2번. 실행파일이나 소스코드를 얻을 수 있어야만 사용할 수 있다는 것이 시스템을 사용하기 위해 그 내재된 원리를 알아야 한다고 주장하는 것이면 물리학과 전기전자공학을 전공하지 않은 모든 사람은 당장 스마트폰과 컴퓨터에서 손을 떼야 합니다. 상대성이론을 배우지 않고 위치추적 기능을 쓰면 안된다는 이야기죠. 과연 스톨먼은 자기 머리를 깎아주는 미용사의 머리속 설계도를 가지고 있을까요?
3번 말 대로라면 이 사람은 그 누구의 생각도 믿지 않는 독선주의자입니다. 자기 머리에서 생각할 자유를 침해하는 모든 타인의 생각과 그로인해 내려진 결론은 “나”의 생각할 자유를 침해하기 때문이겠죠.
생성형 인공지능이 정말로 지능을 가지고 있는가와 관련하여 섣불리 지능을 가진 존재라고 섣불리 믿지는 말자고 말할 수 있지만 그 생각과 어깨를 나란히하는 억지 논리들은 그냥 bullshit이네요.
.Stallman이 누구인지, 무엇을 주장하고자 하는지를 잘못 이해한 것 같아요.
- 이 글의 의도는 LLM의 확률적 특성 때문에 semantic grounding이 없고 틀린 말도 그럴듯하게 하는 것을 주의하라는 뜻입니다. 누구나 오류를 범할 수 있다는 이유로 LLM과 동일선상에 놓을 수는 없습니다.
- 내재된 원리를 이해하는 것과 소스코드를 얻는것은 완전히 다릅니다. ChatGPT가 proprietary software이고 이 때문에 그럴 능력이 있어도 ChatGPT를 직접 설치/수정/배포 할 수 없다는 것이 문제입니다.
- Stallman은 free software 개념을 창시한 급진적인 자유주의자입니다. 독선주의자라는 측면에도 어느 정도 동의합니다만, 타인의 서버에서 연산하는 건이 잘못되었다가 어떻게 다른 사람 머리의 생각이 자유를 침해한다로 이어지는지는 이해할 수 없습니다.
Stallman이 급진적이고 항상 맞는 말만 하는것은 아니지만 이 글에서 제기된 문제는 이미 활발히 논의되고 있는 문제입니다. 단순히 bullshit이라고 치부할 수준의 논리는 아닙니다.
근본적으로 이용자가 소프트웨어의 소스코드 혹은 복사본을 가질 수 있어야만 한다고 말하는 것의 근본적인 근거는 결국 스톨먼 개인의 신앙 아닌가요.
마치 모든 것을 무료로 공평하게 나눠가질 수 있고 그래야만 한다는 아주 급진적이고 이상적이며 순전히 이론적인 신앙을 세워놓고 그 사상누각에 조금이라도 그림자를 드리우는 것은 그것이 무엇이든 마치 이단으로 취급하는 것 같은 자세는 동의하기 어렵죠. 우리 인류는 이미 경제체제에 관해서 이와 비슷한 질병을 하나 가지고 있습니다.
생성형 인공지능의 결과물이 확률론적이며 말씀하신 semantic grounding이 없다는 것에는 동의하지만 결국은 정도의 차이일 뿐 사람과 소통하고 의논하는 것도 내용의 판단과 검증은 개인의 책임입니다. 나와 대화하는 상대가 생성형 인공지능이든 사람이든 결국은 그 상대의 대답은 학습한 배경지식과 가치관을 형성하는 학습데이터의 영향을 받습니다. 물론 이러한 공통점이 있다고 해서 인공지능이 진실된 지능을 갖는다고는 생각하지 않지만, 애시당초 생성형 인공지능이 진실 여부에 무관한 이유는 그것이 학습한 데이터가 진실여부에 무관하기 때문이고 이는 사람도 마찬가지입니다. 그러한 사실만 가지고 “쓰지 말아야 한다”라는 말은 납득할 수 없죠.
3번은 제가 섣불리 넘겨짚고 오해한 부분이 있네요. 2번의 소스코드와 마찬가지로 서버에서 무슨 일이 일어나는지 이용자가 알아야 한다는 식의 이야기였다면 어떤 지식 서비스를 제공하는 서비스 제공자로서의 타인을 서버로 비유해도 같은 맥락이 될 수 있다는 생각이었지만 그냥 제가 처음부터 잘못 이해한 것이었네요.
그러나 말씀하신대로 독선적이라는 것은 제 오해가 아닌 것 같구요.
생성형 인공지능의 소스코드나 사본을 얻을 수 있어야만 말한다면 지적재산권은 박살이 나겠죠.
타인의 서버에 데이터가 제공되는 것이 불만이라면 제공하지 않으면 됩니다. 이용을 하지 않으면 되죠. 누구에게도 비밀을 누설하지 않으면서 비밀에 관해 의논하는 방법은 없습니다. 누군가가 시간과 자원, 노력을 들여 개발한 인공지능의 소스코드나 사본을 누구나 가질 수 있어야 한다니, 그게 bullshit이 아니라면 뭔가요. 내가 내 것을 무료로 내놓는 다고 해서 타인의 것을 내가 맘대로 가질 수 있는 건 아니죠.
맨 처음 말씀하신 것처럼 저는 스톨먼이라는 사람과 그의 주장에 대해서 잘 모릅니다. 피상적으로 이름만 조금 들어봤고 자유 소프트웨어와 관련된 갈등이 있다는 것 정도는 알아요. 그러나 그의 주장과 영향력이 어디까지 뻗어있는지, 얼마나 진지하게 받아들여지는지는 몰라요. 하지만 적어도 합리성과 현실성이 결여된 주장을 bullshit이라고 말할 자유 정도는 제게 있는 것 같네요.
저는 사회에게 큰 영향을 주는 기술/지식은 사회로 환원되어야 한다는 프레임으로 봅니다. 마치 의약품의 제네릭처럼요. 제네릭이 제한되면 다라프림같은 사례가 늘어나고 일부의 이익을 위해 사회 전체가 손해를 보겠죠.
그리고 전자기학과 스마트폰을 말씀하셨는데, 전자기학과 같은 기초학문들은 지식이 제3자가 검증 가능한 형태로 개제되고 사회에 공유되지 않습니까. 그러니 전자기학 지식이 없는 일반인들도 이렇게 차근차근 쌓아올려진 신뢰에 기반해서 스마트폰 생태계에 합류할 수 있는거고, 그러니까 생태계 규모가 커지고 시장이 생기고 인류가 그 덕을 누리는 것이구요.
기업이 시장으로부터 이익을 얻은 만큼 시장에 기여하고 기술의 발전이 다시 그러한 발전이 있을 수 있게 이바지한 사회에 공헌하는 것은 저도 바람직하다고 생각합니다.
생성형 인공지능에 대한 기초적인 얼개가 이미 공개되어있고 그 중 OpenAI가 공개하지 않는 부분은 기업의 영업비밀에 속한다고 생각합니다. 기업이나 기술이 사회에 다시 기여하는 것은 표면상으로는 감사함의 표현이자 상생의 메시지이지만 실질적으로는 기업의 지속가능한 성장을 위한 시장에 대한 재투자라고 봅니다. 그러한 관점에서 보면 인공지능 기업은 벌어들인 돈으로 교육이나 사회 인프라에 기여하는 것이 바람직하지 기업이 가진 자산이나 다름없는 인공지능의 복사본을 전부 공개하라고 하는 것은 황금알을 낳는 거위의 황금알의 혜택을 무시하고 배부터 가르라고 요구하는 것으로 볼 수 있지 않을까요. 황금알은 얼마든지 나옵니다. 그것을 나눠가지면 되지 꼭 거위를 내놓아야 한다면 누가 거위를 길러낼까 싶을 뿐입니다.
인공지능이 어떻게 동작하는지는 이미 전자기학처럼 밝혀져 있습니다. 스마트폰에는 전자기학의 기초지식 뿐만 아니라 각 기업이 밝히지 못하는 영업비밀로서의 기술도 포함되어 있을 것입니다. 이 부분을 존중하지 않고 생성형 인공지능을 마녀사냥하듯이 나쁜 것으로 몰아세우는 것이 이해가 가지 않을 뿐입니다.
대댓글 달아주신 분들의 이야기 덕분에 많은 것들을 찾아보고 많은 생각을 하게 되었습니다. 감사합니다.