▲

A16Z의 놀라운 주장

 (nealstephenson.substack.com)
2P by GN⁺ 6일전 | ★ favorite | 댓글 1개
  • A16Z의 추천 도서 목록에 포함된 일부 작품 설명에서 “대부분의 책이 문장 중간에서 멈춘다”는 사실과 다른 문구가 발견됨
  • Neal Stephenson은 자신의 소설들이 논란의 여지는 있어도 실제로 문장 중간에서 끝난 적은 없다고 명확히 지적
  • 그는 이 오류가 AI가 생성한 문구를 검수 없이 게시한 결과일 가능성을 가장 높게 봄
  • 실제로 GitHub 저장소 기록을 통해 Cursor IDE가 생성한 초안과 이후 인간의 부주의한 수정 과정이 확인됨
  • 이번 사례는 AI 생성 콘텐츠의 신뢰성과 검증 부재 문제를 드러내는 사례로 중요성 가짐

A16Z의 도서 목록과 잘못된 문구

  • A16Z가 공개한 추천 독서 목록에서 Neal Stephenson의 여러 작품이 포함됨
    • 목록 설명 중 “대부분의 책이 문장 중간에서 멈춘다(문자 그대로 mid-sentence에서 끝난다)”는 문장이 포함되어 있었음
  • Stephenson은 이 표현이 사실이 아니며, “literally”라는 단어가 포함된 점에서 단순한 비유가 아닌 명백한 오류라고 지적
  • 그는 일부 독자가 결말을 불만스러워할 수는 있지만, 《Snow Crash》, 《The Diamond Age》, 《Seveneves》 등은 모두 명확한 결말을 가진다고 설명

오류의 성격과 문제점

  • 이 문장은 단순한 문학적 비평(opinion) 이 아니라, 사실적 주장(factual assertion) 으로서 잘못된 정보임
  • Stephenson은 이 오류가 작가와 편집자의 성실성을 훼손한다고 언급
  • 그는 “이런 주장이 A16Z 웹사이트에 어떻게 실리게 되었는가”라는 점을 문제로 제기

가설 1: AI 생성 문구

  • 가장 가능성 높은 설명으로 AI가 작성한 문구를 사람이 검수 없이 게시했을 가능성을 제시
    • 이름 철자 오류와 문체의 특이점이 이를 뒷받침
  • 이러한 현상은 이미 법률, 학계, 언론 등 다양한 분야에서 빈번히 발생하고 있음
  • Stephenson은 이 과정을 “Inhuman Centipede” 로 비유하며, 잘못된 정보가 다음 세대 LLM에 재학습될 위험을 지적

가설 2: 인간의 잘못된 데이터 사용

  • 두 번째 가능성으로 잘못된 자료를 기반으로 한 인간의 실수를 제시
    • 하위 가설 A: 불법 복제본(bootleg PDF)을 사용해 중간에서 끊긴 버전을 참고했을 가능성
    • 하위 가설 B: 번역본의 품질 문제로 인해 실제로 문장이 중간에서 끝난 것으로 보였을 가능성

실제 원인 추적

  • Stephenson은 사이트를 조사한 결과, GitHub 저장소의 커밋 기록에서 단서를 발견
    • 2023년 7월 21일 커밋에서 Cursor IDE가 생성한 원문이 확인됨
    • 원문에는 “세그폴트(segfault)” 비유가 있었으나, 이후 사람이 “문장 중간에서 멈춘다”로 잘못된 수정을 가함
    • 이후 또 다른 사람이 요약 과정에서 오타를 추가, 오류가 완성됨
  • 그는 이를 AI 사용의 게으름과 인간의 부주의가 결합된 결과로 평가

인터넷 신뢰성과 AI 콘텐츠

  • Stephenson은 인터넷 사용자들이 여전히 온라인 정보에 대한 맹신을 보인다고 지적
  • 과거 스팸 메일에 자신의 소설 Cryptonomicon의 문장 조각이 무작위로 삽입된 사례를 언급
    • 이 조각들이 실제로 문장 중간에서 끊겨 있었으며, LLM이 이런 데이터를 학습했을 가능성을 언급
  • 그는 이번 사건을 통해 AI가 사실과 허구를 구분하지 못한 채 콘텐츠를 생성하는 위험성을 강조

결론

  • Stephenson은 A16Z의 추천에 감사 의사를 표하면서도, 잘못된 문구에 대해 명확한 사실 확인의 필요성을 제기
  • 이번 사례는 AI 생성 콘텐츠의 검증 부재와 인간의 검수 책임 문제를 드러낸 사례로 평가됨
▲
GN⁺ 6일전  [-]
Hacker News 의견

  • 커밋 히스토리가 공개되어 있어서, 그 리딩 리스트가 AI의 손을 거쳤다는 걸 쉽게 알 수 있음
    관련 커밋 링크 참고

    • 이 버전이 훨씬 자연스러움. Opus가 생성한 문장은 “좋아하는 함수 중간에서 세그폴트 나는 것처럼 갑자기 끝난다”였는데, 이후 커밋에서는 “대부분의 책이 문장 중간에서 멈춘다”로 바뀌었음
      커밋 메시지는 단순히 “stephenson”이라, 왜 바뀌었는지는 불분명함
      수정된 커밋 링크
    • “Stephenson은 단순한 SF 작가가 아니라 미래의 운영 매뉴얼을 쓰는 사람”이라는 문장이 있었는데, 정말 전형적인 AI 생성 문체였음. 그래도 수정한 건 다행임
    • 이 커밋에는 “THIS IS AI GENERATED, NEED TO EDIT”라는 주석이 있었음. 즉, 초안부터 AI로 작성된 걸 인정한 셈임
    • 아직 이 부분을 수정하는 pull request는 보이지 않음

  • LLM과의 경험이 다른 사람들처럼 긍정적이지 않음
    구글의 Gemini 프로모션 예시를 들면, 추수감사절 저녁 준비 타임라인을 제시했는데, 질문을 하자 서로 모순되는 세 가지 버전을 내놓았음
    단순히 “빵 위에 수건을 덮어 따뜻하게 유지하라” 정도면 됐을 텐데, 전혀 엉뚱한 답을 반복함
    코드 생성은 6번 중 1번만 성공, StackOverflow형 질문은 6번 중 5번 성공, 일반 질문은 들쭉날쭉함
    실패할 때는 너무 심각해서, 세상이 이렇게 대규모 LLM 사용으로 달려가는 게 무섭게 느껴짐

    • 구글이 이런 엉터리 답변 생성기를 핵심 서비스 앞단에 붙였는데도 주가가 두 배가 된 게 놀라움
      심지어 “AI Overview 출시 전날의 주가”를 물어봤더니 그것조차 틀림
    • 대부분의 LLM 팬들은 결과를 겉보기만 보고 감탄하고, 실제 내용의 오류나 코드 품질은 자세히 보지 않는 듯함
    • 나도 재미 삼아 Copilot에게 AVR-GCC용 Makefile을 써보라 했는데, 2500줄짜리 괴물이 나왔음
      코드보다 길고, 변수 선언만 반복되는 의미불명 스파게티였음. 다시는 안 쓸 것임

  • A16Z를 진지하게 받아들이면 안 된다고 생각함. 완전 사기꾼 집단 같음

    • 채용 담당자가 A16Z 투자를 자랑하면, 오히려 부정적 신호로 받아들임
    • “Software is eating the world, AI is eating the VCs”라는 말이 딱 맞음
    • “...and a conehead”라며 조롱 섞인 반응도 있었음

  • 블로그 포스트를 문장 중간에서 끝냈다면 정말 멋졌을 것 같음

    • David Foster Wallace의 첫 소설 The Broom of the System은 “I am a man of my”에서 끝남
      그의 다른 작품들도 인간의 혼돈스러운 내면을 보여주지만, 결말이나 교훈은 없음
      2000페이지 넘게 읽고도 여전히 “추천하지 않음”이라는 결론임
      Neal Stephenson에게는 “완결된 문장으로 끝내줘서 고맙다”고 전하고 싶음
    • 읽다 중간에 결말을 미리 보고 싶은 충동을 참았음
      그의 책들은 늘 너무 일찍 혹은 너무 늦게 끝나는 느낌이라, 흥미로운 설정에도 불구하고 손이 잘 안 감
    • “나도 독창적인 아이디어는 없음”이라며 농담하는 댓글도 있었음
    • “실제로 그 책은 중간에서 끝난다”고 지적하는 사람도 있었음
    • “나도 그걸 기대했는데 아쉽다”며 웃는 반응도 있었음

  • Werner Herzog의 자서전이 떠오름
    서문에서 “저격수의 총알에 맞아 생이 끊길 수도 있다”고 말하며, 책을 갑자기 끝내는 장치로 쓰겠다고 예고함
    그리고 실제로 그렇게 끝내지만, 바로 이어서 “이게 바로 내가 예고한 결말”이라고 덧붙이는 전형적인 헤어조크식 반전이 있음

  • 대기업이 연말 리딩 리스트를 내는 건 “우린 감정과 취향이 있는 사람들”이라는 PR 메시지임
    하지만 이번 사례로, 그게 단순한 홍보용 연출일 뿐임이 드러남

  • “삶의 의미는 정수(integer)였다”는 문장으로 끝나는 걸 보고, 이건 확실히 AI가 쓴 문장이라고 느낌

  • 리스트 전체가 LLM 특유의 어투로 가득함
    출처를 생각하면 놀랍지도 않음. 사실 첫 번째 가설(LLM 작성설)에서 이미 끝났어야 했음

    • 그들이 “모든 책을 읽었다”고 주장하지만, 정말 좋아한다면 몇 문장 정도는 직접 썼을 것 아닌가 하는 의문이 듦

  • Stephenson을 “문장 중간에서 끝내는 다다이스트 작가”라며 풍자함

    • “100년 후엔 나를 그런 작가로 기억하겠지”라는 식의 자기 패러디 인용이 이어짐

  • 또 다른 가설로, 단순히 기억 착오일 수도 있음
    오래전에 읽은 Stephenson의 책이 결말이 허무했다고 기억하고, 다른 책의 “문장 중간에서 끝남”과 혼동했을 가능성임

    • 회사 공식 리뷰라면, 최소한 책을 다시 펴서 몇 장이라도 읽어봤을 것 같음
    • 개인적으로는 가설 A(AI 작성설) 이 훨씬 설득력 있다고 생각함
    • 혹은 AI가 만든 Top 50 리스트에 자사 홍보용 책을 끼워 넣는 저비용 마케팅일 수도 있음
    • “Stephenson이 Dhalgren을 썼다고 착각한 인간”이라는 가설 D-for-Delany도 제시됨. “I have come to”로 끝나는 그 문장을 인용하며 말함
답변달기