GN⁺: 우리는 'Bullshit'을 자동화했습니다

AI와 관련된 논의

• AI에 대한 논의는 아프리카에서의 AI의 중요성에 대한 질문에서 시작됨.
• 최근 미국 대통령과 영국 총리가 AI에 대한 행정 명령과 정상회담을 가지면서 AI의 미래에 대한 관심이 증가함.
• AI가 실제로는 논리나 사실이 아닌 예측 텍스트에 의존하는 'bullshit'을 생성한다는 문제 제기.

AI의 작동 원리

• MIT의 AI 교수 로드니 브룩스는 ChatGPT가 "듣기 좋은 것을 만들어내는" 것으로 요약함.
• '듣기 좋은 것'은 인터넷에서 찾은 텍스트를 모방하는 알고리즘, '만들어내는 것'은 예측 텍스트에 기반한 기본적인 무작위성을 의미함.
• 다른 선도적인 AI 연구자들도 비슷한 의견을 제시하며, 이는 'stochastic parrots' 논문 등에서 더 기술적인 세부사항으로 설명됨.

AI와 진실

• AI의 '대부'인 제프 힌튼은 챗봇이 지능적이기보다는 설득력이 강하게 텍스트를 생성하는 위험성에 대해 경고함.
• 증거와 논리가 존중받지 않는 세상에서, 증거나 논리 없이 작동하는 시스템이 설득력을 통해 지배자가 될 수 있다는 우려.
• 철학자 해리 프랑크푸르트의 'On Bullshit'에서는 진실에 대한 권위를 거부하지 않고 무시하는 'bullshit'에 대해 설명함.

AI와 사회적 영향

• 영국 총리가 AI와 자동화된 'bullshit generator'에 감명받은 이유는 무엇일까?
• 데이비드 그레이버의 'Bullshit Jobs' 분석은 AI의 진정한 성격을 드러냄.
• 30% 이상의 영국 근로자들이 자신의 일이 사회에 아무런 가치를 제공하지 않는다고 믿음.
• 대학 교육의 일부는 젊은이들이 삶에서 별 기대 없이 관료적 과정에 순응하도록 준비시킴.

AI 시스템의 훈련

• AI 시스템은 Twitter, Facebook, Reddit 등의 거대한 'bullshit' 아카이브와 실제 사실을 포함한 텍스트로 훈련됨.
• ChatGPT에는 어떤 부분이 진실인지 확인하는 알고리즘이 없어, 출력물은 'bullshit'으로 정의됨.
• 트위터는 진실 여부에 관심 없는 정치인들을 장려하며, 그들의 발언 아카이브는 자동 'bullshit generator' 훈련에 사용될 수 있음.

GN⁺의 의견

• 이 글에서 가장 중요한 것은 AI가 생성하는 내용이 진실과 논리를 기반으로 하지 않고, 사람들을 설득할 수 있는 'bullshit'을 만들어낼 수 있다는 점임.
• 이는 사회적 대화와 정보의 질에 영향을 미칠 수 있으며, AI 기술의 발전과 함께 이러한 문제가 더욱 중요해질 것임.
• 사람들에게 흥미로운 이유는 AI가 우리의 일상생활과 직업 시장에 미치는 잠재적 영향을 이해하고, 기술이 가져올 변화에 대비하는 데 도움이 되기 때문임.

[neo]

Hacker News 의견

• 첫 번째 댓글 요약:

  • LLM(대규모 언어 모델)은 '정답처럼 보이는가'를 기준으로 작동하며, 전문가가 아닌 경우 LLM의 답변이 정확한지 판단하기 어려움.
  • LLM은 전문가에게 유용한 도구로, 자신의 분야에서는 LLM이 제공하는 코드 스니펫의 정확성을 판단할 수 있음.

• 두 번째 댓글 요약:

  • ChatGPT는 다양한 출처의 데이터로 훈련되어 정확한 사실과 불확실한 정보를 구분하지 않고 답변을 생성함.
  • 인간도 비슷한 방식으로 학습하므로, LLM의 출력을 전적으로 신뢰해서는 안 됨.

• 세 번째 댓글 요약:

  • LLM이 제공하는 답변은 인간의 대화 중 예측 가능한 다음 토큰을 생성하는 방식과 유사함.
  • LLM은 초기 단계임에도 불구하고 대화를 통해 문제를 해결하는 데 상당한 능력을 보임.

• 네 번째 댓글 요약:

  • LLM은 인간 언어를 모방하여 언어 구조 내에 인코딩된 추론 능력을 모방함.
  • LLM은 정확한 기억력이 부족하지만, 적절한 프롬프트를 통해 정보를 포함시키면 이를 보완할 수 있음.

• 다섯 번째 댓글 요약:

  • LLM은 문제 해결에 있어 대화를 통한 접근 방식을 사용하며, 작업 흐름에 혁신을 가져옴.

• 여섯 번째 댓글 요약:

  • LLM은 언어적 능력에 특화된 기술로, 전체적인 추론 시스템이나 사실 데이터베이스와 통합되지 않으면 문제가 발생할 수 있음.

• 일곱 번째 댓글 요약:

  • LLM은 때때로 부정확한 답변을 제공할 수 있지만, 이를 사용자가 어떻게 활용하느냐에 따라 생산성을 높일 수 있음.

• 여덟 번째 댓글 요약:

  • 언어 자체가 '진실'과 독립적으로 기능하는 'bullshit generator'로 볼 수 있으며, LLM은 이러한 언어의 특성을 활용함.

• 아홉 번째 댓글 요약:

  • 프랑스어로 'baratineur'라는 단어는 진실이나 거짓과 상관없이 듣고 싶은 말을 하는 사람을 뜻하며, LLM에 더 적합한 표현일 수 있음.

• 열 번째 댓글 요약:

  • LLM이 생성하는 코드가 요구 사항을 충족하면 'bullshit'이 아니며, 특정 맥락에서 유용하게 활용될 수 있음.