LLM의 L은 "거짓말(Lying)"을 의미한다

• LLM 기반 코딩 도구들의 과대 광고에도 불구하고, 실제 소프트웨어 개발 결과물의 품질은 크게 나아지지 않았으며 오히려 위조(forgery) 에 가까운 산출물이 범람하고 있음
• LLM이 하는 일의 본질은 개인이 자신 또는 타인의 잠재적 산출물을 모방하여 더 빠르게 만들어내는 것이며, 이를 진품의 대체물로 사용할 때 문제가 발생
• 오픈소스 프로젝트들은 AI 생성 저품질 PR로 인해 공개 기여를 폐쇄하거나 버그 바운티를 중단하는 등 실질적 피해를 입고 있음
• 게임 산업은 소비자 주도로 AI 콘텐츠 라벨링과 필터링을 요구하며 효과적으로 저항하고 있는 반면, 소프트웨어 엔지니어들은 무방비 상태로 수용 중
• LLM이 거짓말을 멈추려면 올바른 출처 귀속(source attribution) 이 필수이나, 현재 모델 구조에서는 기술적으로 불가능한 상태

---

AI 사용의 불가피성이라는 프레임에 대한 반론

• 업계 과대 광고에 따르면 기존 소프트웨어 개발은 끝났다고 하지만, 수년간의 LLM 기반 도구 사용에도 결과물은 이전과 거의 동일한 수준
• 기술에 대한 엄청난 양의 과대 광고가 막대한 투자를 이끌고, 그 투자가 다시 더 많은 과대 광고를 요구하는 순환 구조
• 새로운 모델들이 이미 퇴역한 모델들이 달성했어야 할 약속을 이행하기 위해 계속 훈련되고 있음
• "AI를 사용하지 않아도 완전히 괜찮다" — 이것이 구시대적 태도가 아니며, AI를 수용한 쪽보다 오히려 덜 스트레스받고 더 만족스러울 수 있음

장인정신(Craft) vs 대량생산(Kraft): 위조의 프레임

• LLM이 하는 일에 대한 다양한 프레이밍(도움, 창의성, 생산성 vs 게으름, 일회용, 도용) 중 놀랍게도 빠져 있는 단어가 바로 위조(forgery)
• Van Gogh 스타일로 그림을 그려 그의 서명을 넣으면 위조, 법률 문서를 가장하면 위조, 데이터를 조작한 연구는 위조 — 위조 여부는 객체와 그 제작 방법에 내재
• LLM은 개인이 자신 또는 타인의 잠재적 산출물의 위조품을 더 빠르게 만들 수 있게 해주는 도구
• 모방 자체는 표현의 자유로서 합법이지만, 위조품을 진품의 대체물로 사용하려 할 때 문제 발생
• 산타클로스 편지를 "위조"해도 체포되지 않지만, 극도로 정교한 "모조 화폐"를 수집품으로만 소장하는 것도 어떤 관할권에서도 허용되지 않음

원산지 보호와 품질 기준의 비유

• 프랑스 "Brie de Meaux" 같은 원산지 통제 식품은 전통 제조 방식, 고품질 원재료, 특정 지리적 원산지를 모두 요구
• 해외 생산을 허용하면 필연적으로 저가 모조품의 범람으로 이어져 정품 브랜드를 훼손하고, 세대를 거쳐 전수된 희소한 현지 전문성을 위협
• 개별 소비자의 판단만으로는 시장의 적절한 기능을 보장할 수 없으며, 매장 진열 상품의 범위는 이미 소비자 통제 밖의 요인들이 결정
• 장인 치즈의 품질은 현대적 방법으로 운영되는 전체 공급망을 대표하며, 이를 다른 곳에 이식하려면 인적 자본, 인프라, 농업에 대한 막대한 투자 필요
• 모든 사회는 "전통 장인 치즈" 와 "공업용 화학물질로 만든 가짜 달걀" 사이 어딘가에 선을 그어야 하며, 식품 장인정신의 가치를 이해하고 유지하는 사회만이 70% 이상의 비만율(Nauru 사례)을 피할 수 있음

오픈소스와 일상 코딩에서의 AI 슬롭(slop) 피해

• 오픈소스 유지관리자들이 가장 먼저 부작용을 체감 — 이미 동기 부여된 기여자를 찾고 프로젝트의 목표와 엔지니어링 사고방식에 적응시키는 데 큰 어려움이 있었음
• GitHub 이력서를 속이기 위해 슬롭 코딩된 PR을 보내는 기여자들이 등장
  • tldraw는 공개 기여를 폐쇄, curl 프로젝트는 버그 바운티를 중단, 다른 프로젝트들은 가짜 기여자를 조롱하는 방식으로 대응
• 바이브 코딩(vibe-coding) 동료와 함께 일하는 일상에서도 유사한 효과 발생 — 신입 직원이 빠르게 적응하는 것처럼 보이지만, 실제로는 초기 학습 과정을 봇에 떠넘기는 것
• 2026년 현재, 신입 직원이 매우 상세한 설명과 코멘트가 달린 PR을 제출하면 모든 단어를 의심해야 함

시니어 엔지니어와 10x/100x 생산성의 허상

• AI를 사용하는 경험 많은 베테랑이 이전보다 10배, 100배의 코드를 생산한다고 하지만, 실행하고 의존하는 모든 코드 라인은 부채(liability) 라는 점을 여전히 이해하지 못하는 것
• "AI 코딩이 훌륭한 이유는 에이전트에게 필요한 모든 것이 코드베이스에 설명되어 있기 때문"이라는 발언은 치명적으로 잘못된 주장 — 그것이 사실이라면 실제로 해야 할 코딩 작업 자체가 없을 것
• 핵심적 차이는 엔지니어가 경력 대부분을 다른 소프트웨어가 만든 문제를 해결하는 데 썼는지, 아니면 소프트웨어가 존재하기 전부터 사람들이 가진 문제를 해결하는 데 썼는지에 있음
  • 후자만이 문제의 실제 제약 조건과 사용자 니즈에 대해 생각하는 법을 가르침
• 소프트웨어를 그 자체로 목적으로 볼 때, $10/월 VPS로 충분할 것을 과도하게 엔지니어링된 인프라 클라우드로 만들게 됨

슬롭 코드의 특징과 업계 반응

• 장인정신을 갖춘 엔지니어는 리뷰 시 슬롭을 쉽게 감지 — 과도한 반복 코드, 불필요한 복잡성, 리팩토링 거부 등의 형태
• 시니어조차 수년간의 경험에도 불구하고 바이브 코딩으로 당혹스러운 실수를 범하고 그대로 전달하는 사례가 관찰됨
• Microsoft의 Co-pilot Discord에서 "Microslop"이라는 모욕어를 금지한 사건 — 사용자 반발을 "스팸"이나 "유해"로 프레이밍하여, 약속이 실제 결과보다 더 중요하게 취급되는 현상
• 이러한 도구들이 "중독적" 이거나 "가질 수 있는 최고의 친구" 라고 불리지만, 이에 수반되는 창의성과 성취의 캄브리아 폭발은 보이지 않음

소프트웨어 산업의 구조적 문제와 AI의 역할

• AI로 만들어지는 것은 대부분 PC 혁명 이후 소프트웨어 애플리케이션이 더 폐쇄적이고, 분산되고, 기업적으로 변하면서 필요해진 접착 코드(glue)
• HTTP API는 매일 밤 스키마가 바뀌는 문서화가 부실한 JSON blob을 요구하므로 진정한 개방성을 제공하지 못함
• 많은 회사가 여전히 주로 Excel로 운영되며, JSON의 Excel에 해당하는 도구는 존재하지 않음
• SQL이 비즈니스를 전용 도구 의존에서 해방시킬 것이라 했지만 실패했고, 역사는 반복 중
• 바이브 코딩 Electron 앱이 여전히 다중 플랫폼 네이티브 앱보다 선호되는 상황에서, 100배 생산성의 실체는 어디에 있는지 의문
• Apple조차 최신 OS에서 적절한 폼과 아이콘 체계를 유지하지 못하는 상황에서, 웹 슬롭으로 훈련된 AI의 가능성은 더욱 낮음

게임 산업의 효과적인 저항

• 소프트웨어 엔지니어들은 구명조끼 없이 뛰어들었지만, 게임 산업은 소비자 주도로 효과적으로 저항 중
• 다수의 게임 타이틀이 라벨 없는 AI 콘텐츠에 대해 사과하고 제거
• Steam은 AI 콘텐츠에 대한 명확한 정책을 갖추고 있으며, SteamDB는 AI 생성 게임을 필터링하는 도구 제공
  • 최근 Steam 정책이 업데이트되어, 플레이어에게 제시되는 콘텐츠를 생성하지 않는 개발 도구의 "효율성 향상" 용도는 제외
• 게임 시장이 효과적으로 저항하는 두 가지 이유:
  • 디지털 배포의 순수 D2C(직접 소비자 판매) 시장 — 게이머가 모든 선택권을 가지며, 투명성을 요구하는 테이스트메이커가 게이머 자신
  • 대부분의 게임은 예술적이며, 특정 예술적 매력 때문에 구매됨 — 예술에서 모방은 원작의 가치를 떨어뜨리고 크레딧을 훔치는 것으로 간주

코드 재사용과 예술적 독창성의 대조

• 코드는 일반적으로 재사용으로 피해를 입지 않거나, 인프라의 경우 오히려 이익이 될 수 있음
• 이것이 오픈소스 프로젝트가 재능 있는 예술적 크리에이티브를 유치하기에 특히 부적합한 이유 — 비용 없는 공유의 정신은 예술적 디자인이 원래 맥락 없이 즉시 도용됨을 의미
• 고전적 절차적 생성(procedural generation) 은 선례로서 주목할 만하며, 대체로 기대에 부응하지 못함
  • No Man's Sky(2016 버전) 사례 — 제한된 소스에서 기하급수적 콘텐츠를 만든다는 약속은 자체 산출물의 다양성을 무가치하게 만듦

생성형 AI, 해적 라이브러리, 그리고 법적 모호성

• 예술가들이 생성형 AI를 대량 표절로 규탄하는 것은 당연하며, 테크 기업가와 데이터 정리자들이 이를 이해하지 못하고 해적 섀도우 라이브러리에서 모델을 훈련시키는 것도 당연
  • Nvidia가 Anna's Archive의 방대한 해적 도서 컬렉션에 대한 고속 접근 거래를 시도했다는 혐의
• 출력물이 평범하고, 조잡하고, 의심스러운 데에는 명확한 이유 — 학습 소스의 다양한 훈련 샘플 자체가 기계를 위한 슬롭에 불과
• 이것이 무엇이 인용이고, 무엇이 환각이고, 무엇이 독창적인지 판별 불가능한 그럴듯한 부인 가능성(plausible deniability) 을 생성
• AI 콘텐츠에 AI 생성 라벨이나 워터마크를 붙이는 것은 대부분 책임 회피이며, 진정한 책임 있는 공개가 아님
• 바이브 코딩이 수용 가능하고 정당화되려면, 엔지니어 자신의 산출물이 일회용이고, 창의적이지 않으며, 크레딧 받을 가치가 없다고 간주해야 하는 역설적 위치

출처 귀속(Source Attribution)이라는 해결책

• 어떤 법원도 AI 산출물 전체에 대해 합법 또는 저작권 가능 여부를 판결해서는 안 되었으며, 소스가 없는 산출물은 위조로 취급해야 함
• LLM 문제의 해결책은 명확하지만 달성 불가능: LLM이 추론과 함께 올바른 출처 귀속을 수행하는 것
  • 이는 예술적 측면뿐 아니라, 바이브 코드의 상당 부분이 원저자, 라이선스, 링크를 생략한 채 기존 코드베이스에서 복사/붙여넣기된 것임을 드러낼 수 있음
• 현재 모델에서 실제 귀속은 기술적으로 불가능 — LLM이 출처를 언급하고 인용하는 능력 자체가 수집된 데이터의 창발적 속성(emergent property)
  • LLM은 텍스트 내 현재 위치에 적절할 때만 출처를 인용할 수 있으며, 이는 자주 올바르게 인용되는 것들을 잘 인용하는 것에 불과한 인용 역할극(citation role-play)
• 귀속 요구의 함의는 방대: 가중치가 귀속 가능하고 순전파가 감사 가능해야 한다면 역전파(backpropagation) 는 어떤 모습이 될 것인지, int4에 담을 수 없을 것
• "AI 탐지 도구" 가 역방향으로 해결하려는 문제가 바로 이것
• 월드 와이드 웹과 이를 활용하는 Google 규모 검색 엔진 이후의 차세대 기술이 정보의 출처를 설계상 알려줄 수 없는 기술이라는 것은 역설적
• 기계가 거짓말을 멈추려면 출처를 제대로 인용해야 하며, AI 기업들도 마찬가지

[hungryman]

뭐지, 나 어휘력이 딸리기 시작하네.
"창발적, 슬롭, 출처 귀속, 프레이밍 효과, 캄브리아 폭발" 찾아보고 앉아있네.

[GN⁺]

Hacker News 의견들

• 비디오 게임 시장은 소비자가 AI에 반발한 드문 사례로 보이지만, 실제로는 AI 아트 에셋에만 반발이 있었음
  코드가 AI로 작성되든 말든 아무도 신경 쓰지 않음. Steam의 AI 설문을 보면 코드 생성은 이미 허용된 상태임
  결국 LLM 코딩의 확산은 불가피함. 절차적 생성도 마찬가지로 도구의 문제라기보다 사용하는 사람의 역량에 달려 있음

  • 절차적 생성이 실패했다는 건 무지한 시각임. Elite, Powermonger 같은 고전부터 최근의 roguelike 게임들까지 성공 사례가 많음
  • LLM이 반복 코드를 줄여준다는 건 사실이지만, 그건 코드 재사용이 아님. 이미 라이브러리로 해결할 수 있었던 문제임
  • 예술가 친구가 AI를 비난하면서도 마케팅 글에는 AI를 쓰는 걸 보고 모순된 태도가 떠올랐음
  • Steam 설문을 보면 코드 생성도 포함된다고 하지만, 그건 결국 라이브러리를 쓰는 것과 다를 바 없음
  • 오픈월드 게임의 매력이 줄어든 건 신선함이 사라졌기 때문임. LLM이 시간을 절약한다는 주장도 근거가 약함. 즉각적인 결과가 장기적 이익을 보장하지 않음

• LLM 논쟁이 지겹게 느껴짐. 이 기술이 사람을 강화하기보다 통제하고, 해고를 쉽게 만들고, 부를 더 집중시키는 방향으로 쓰이고 있음
  마치 돼지들이 베이컨 기계의 효용성을 논하는 것 같음

  • 월 20달러면 누구나 쓸 수 있는 AI는 충분히 보편적 도구임. 오히려 장벽을 낮추고 있음. 변화가 두려운 사람들의 반발로 보임
  • 이런 논리는 산업혁명 이후 모든 자동화 기술에 반복되어 왔음
  • AI가 우리를 상업 의존에서 해방시킬 수도 있음. 직접 OS나 앱을 만들 수 있게 될 수도 있음
  • 완전 자동화와 기본소득 보장을 요구해야 함. AGI보다 진짜 위험은 사람임
  • 대다수가 일자리를 잃으면 시장 자체가 붕괴함. 하지만 기업은 경쟁 때문에 결국 새로운 일자리를 만들어낼 것임

• 러다이트 운동은 단순한 반기술주의가 아니었음. 그들은 품질 저하를 우려했고 실제로 맞았음
  중세 유럽의 수공예 울 스카프는 현대 공장 제품과는 완전히 달랐음. 기술 발전은 항상 1:1 대체가 아님
  지금도 비기술자가 만든 내부 툴이 수백 시간을 절약하는 걸 보며, 완벽하지 않아도 효과가 있다면 충분함을 느낌

  • 일본은 산업화된 사회이지만 여전히 수공예 전통을 존중함
  • 800년 뒤 박물관에 남을 코드는 정말 좋은 코드뿐일 것임. 과거를 미화하는 생존자 편향이 존재함
  • Jonathan Blow의 강연 Preventing the Collapse of Civilization을 추천함
  • 소프트웨어 엔지니어를 러다이트로 부르는 건 잘못임. 대부분의 엔지니어링은 사실상 수공예적 작업에 가깝고, 반복적이고 경험 기반임
  • 산업화 이전으로 돌아가자는 건 귀족주의적 향수에 불과함. 오히려 LLM은 맞춤형 소프트웨어 접근성을 대중에게 열어줌

• LLM이 드러낸 현실은 대부분의 프로그래밍이 보일러플레이트 코드라는 점임
  진짜 가치는 상위 레벨의 작은 혁신에 있음

  • 개발 속도가 중요하다면 이미 조직 구조부터 바뀌었어야 함. 현실은 비효율적 관료주의가 문제임
  • 라이브러리와 추상화는 오히려 코드 부풀림을 초래함. LLM도 이런 코드를 학습했기에 깔끔한 코드를 생성하기 어려움
  • 반복 코드에도 장인정신이 깃들 수 있음. 기초를 잘 다지는 것도 가치 있는 일임
  • 과거엔 코딩 단계를 ‘무엇을 할지 선택–작성–디버깅’으로 나눴는데, 지금 보면 시대착오적으로 느껴짐
  • 책도 결국 수백 페이지의 보일러플레이트로 채워진 단순한 논문과 같음

• LLM의 이상적인 활용은 교사 역할임. 코드 대신 개념을 빠르게 가르쳐주는 도구로 쓰는 게 좋음

  • 지금이 바로 그 시기임. “코드를 쓰지 말고 좋은 교사가 되어라”라고 프롬프트에 명시하면 됨
  • 하지만 신뢰할 수 없는 교사에게 배우는 건 불안한 경험임. 천천히 가더라도 안정적인 배움이 더 낫다고 느낌

• 장인의 치즈나 햄처럼, 미래에는 Artisanal Coding이 생길지도 모름

  • 이미 ‘Handmade Network’가 그런 철학을 실천 중임. LLM은 산업화된 소프트웨어 개발의 종착점일 뿐임
    인간 대신 스펙을 코드로 옮기는 기계가 된 셈임
  • Steve Gibson처럼 어셈블리를 직접 손코딩하던 사례가 가장 가까운 예시임. 하지만 대중적 흐름은 아니었음
  • 지리적 보호명칭 같은 전통 보호 논리는 대부분 근거가 약함

• 냉정한 현실은 아무도 우리의 코드 자체에는 관심이 없음
  대부분은 작동 여부, 속도, 비용만 신경 씀. 결국 우리는 공장 노동자에 가까움
  시계공이 자동 선반을 보고 느꼈던 상실감과 비슷함

  • 품질을 신경 쓰지 않다가 기술 부채로 시스템이 무너질 때만 놀람
  • 엔터프라이즈 소프트웨어는 ‘그냥 작동하면 충분’하지만, 소비자용 제품은 품질과 완성도가 중요함
  • 나는 코드가 부채라고 생각함. 필요 없을 때 과감히 버릴 때 즐거움을 느낌
  • 코딩은 창의적이지도, 섹시하지도 않음. 세상은 “잘 작동하고, 빠르고, 싸고, 경쟁사보다 먼저 출시되는가”만 봄
    결국 우리가 지켜온 ‘창의적 직업’이라는 낭만적 서사가 무너지고 있음

• 이 모든 논의는 결국 TTP(Time To Penis) 밈처럼 반복되는 인간 본성의 문제 같음

• 이 글은 정말 현실적이고 균형 잡힌 시각을 보여줌

[parkindani]

본문도 리플도 신기할 정도로 부정적이네요. 다들 클로드 코드 돌려본 적도 없는지..