AI 답변에는 실수가 포함될 수 있음

• Google 검색의 AI 요약이 존재하지 않는 IBM PS/2 Model 280에 대해 그럴듯한 사양을 지어내며, 같은 질의에서도 답이 계속 바뀜
• 오답은 Model 280을 ISA 기반 286 시스템으로 설명하면서 1987년 출시, 1MB RAM, 640KB RAM, VGA, 1.44MB 드라이브 같은 세부 정보를 뒤섞음
• 일부 답변은 286 시스템이 128MB RAM까지 확장된다고 했지만, 286의 구조적 한계는 16MB라서 답변 내부에서도 모순이 드러남
• 같은 질의를 여러 번 반복하면 “Model 280은 PS/2 시리즈의 특정 모델이 아니다”라는 정답도 나오지만, 그 비율은 약 10% 에 그침
• AI 검색 요약은 세부 정보가 많을수록 비전문가에게 더 설득력 있게 보일 수 있어, “AI responses may include mistakes” 경고를 가볍게 보기 어려움

---

존재하지 않는 PS/2 Model 280 사례

• 1992년 무렵의 IBM PS/2 Server 시스템을 찾기 위해 모델명을 Google에 입력했지만, 실제로 찾던 기계는 여러 개의 486 프로세서와 Microchannel(MCA)을 쓰는 시스템이었음
• 검색 결과의 AI 요약은 처음부터 대상과 어긋난 답을 냄
  • PS/2 Model 280을 286 기반 시스템처럼 설명함
  • Microchannel이 아니라 ISA 기반인 것처럼 서술함
• 같은 질의를 다시 실행해도 답변 문구만 달라질 뿐, 여전히 Model 280을 ISA 기반 286 시스템으로 설명함

반복할수록 바뀌는 가짜 사양

• AI 요약은 질의를 반복할 때마다 서로 다른 사양을 내놓음
  • 한 답변은 Model 280이 1MB RAM을 갖고 6MB까지 확장된다고 함
  • 다른 답변은 기본 RAM을 640KB라고 함
  • 1.44MB 드라이브와 VGA 그래픽을 갖춘 것처럼 반복해서 설명함
• 또 다른 시도에서는 Model 280을 128MB RAM까지 확장 가능한 286 시스템으로 소개함
  • 286은 구조적으로 16MB 한계가 있어 이 설명은 기술적으로 맞지 않음
• AI 요약은 Model 280이 IBM 개인용 컴퓨터 라인에서 중요한 진전이었고, PS/2를 인기 있고 신뢰할 수 있는 플랫폼으로 자리 잡게 했다고도 함

핵심 오류: Model 280은 없었음

• 가장 큰 문제는 PS/2 Model 280이라는 모델 자체가 존재하지 않았다는 점임
• 잘못된 모델 번호를 입력했는데도 Google AI는 처음 보기에는 그럴듯한 설명을 만들어냄
• 이런 답변은 세부 정보가 많고 문장도 자연스러워, 사실이 아닌 내용도 쉽게 믿을 만한 정보처럼 보일 수 있음

가끔만 나오는 정답

• 같은 질의를 충분히 반복하면 올바른 답도 나오긴 함
  • “Model 280은 PS/2 시리즈의 특정 모델이 아니었다”
  • 질의 자체에 오류가 있었다는 취지의 답을 냄
• 그러나 반복 질의에서 올바른 답은 약 10% 정도에 그치며, 대부분의 시도에서는 AI가 내용을 만들어냄
• 환각 답변은 유용하지 않을 뿐 아니라, 틀린 답이 정답보다 더 “진짜”처럼 보일 수 있음

AI 검색 요약이 위험해지는 순간

• 전문가라면 답변 속 불일치를 비교적 빨리 알아차릴 수 있음
  • 예를 들어 Wikipedia의 List of IBM PS/2 Models를 확인하면 Model 280이 없다는 점을 확인할 수 있음
• 비전문자는 AI 검색 요약에서 도움을 받을 가능성이 큰 동시에, 오답에 속을 가능성도 큼
• 매번 다른 답을 내놓고 가끔만 맞는 연구 보조자는 신뢰하기 어려움
• Google의 “AI responses may include mistakes” 문구는 단순한 주의 문구가 아니며, AI 생성 요약은 현실과 무관한 완전한 허위 정보일 수 있음

[ndrgrd]

LLM에게는 요약만 시키는 것이 좋은 것 같아요. 데이터의 출처를 찾고 검증하는 과정이 반드시 필요합니다.

[GN⁺]

Hacker News 의견들

• Google 검색의 Gemini는 문맥과 정확성은 신경 쓰지 않고, 검색어를 지지하는 것처럼 보이는 내용을 임의로 지어냄. 완전한 작화(confabulation) 에 가깝고, 직접 해보면 황당함
  찾는 결과를 이미 알고 있을 때 기억 보조용으로는 쓸 수 있지만, 모르는 상태라면 전혀 믿기 어렵다
  Google Veo 출력도 자세히 보면 비슷하게 구멍투성이이고, 출력에 추론이 개입된 흔적이 전혀 없어 보임
  Veo의 우스꽝스러운 오류: https://arstechnica.com/ai/2025/05/ai-video-just-took-a-star...
  Tesla FSD가 이상하게 동작한 사례: https://electrek.co/2025/05/23/tesla-full-self-driving-veers...

  • 이건 어떤 기술보다도 이해가 안 됨. Google이 자기 핵심 사업을 심각하게 결함 있는 기술에 걸고 방향 전환을 하고 있음
    Ben Evans도 말하듯 “나아질 것”이라는 약속은 한계가 있고, 결국 공허한 약속임
    어제 AI Overview는 베를린 공연장에서 열리는 추모 행사를 찾았더니, 이미 세상을 떠난 이탈리아 음악가의 존재하지 않는 앨범을 통째로 만들어냈음
    그냥 공연장 이름을 가져와서 그 아티스트의 가장 중요한 작품이라고 주장한 셈임
    재미있게도 그 답을 ChatGPT에 붙여넣었더니 AI Overview의 실수를 신랄하고 냉소적으로 까서 웃음이 나왔음
  • 갑자기 이런 품질이 정상이고 받아들일 만한 것으로 여겨지는 건가? 아무도 제대로 불평하지 않는 듯함
    예전 같으면 절대 통과 못 했을 텐데, 요즘은 대충 괜찮은 분위기임
    왜 거짓이거나 부정확한 결과를 받아들여야 하는지 모르겠음
  • 검색에서 Gemini 응답을 지우려고 uBlock을 씀. 잠깐 보기만 해도 찾고 있는 것에 대한 내 가정이 오염될 수 있기 때문임
    정보 위생은 원래도 중요했지만, 앞으로는 정말 필수적인 기술이 될 것 같음
  • 차에 대해 궁금한 게 있어서 [연식] [제조사] [모델] [기능]으로 Google 검색을 했음. 예전 Google이라면 완벽하게 처리했을 법한 검색인데, 이제는 페이지의 90%가 잘못된 모델, 잘못된 연식, 심지어 잘못된 제조사에 대한 AI 찌꺼기였음
    그나마 어느 정도 도움이 되는 YouTube 하나는 있었지만, 페이지 맨 아래에 가서야 완전히 다른 차 포럼에 있는 예전식 Google 검색 답을 찾았음. CamaroZ28.com 고마움
  • 얼마 전 Blue Prince 게임의 카지노 방 힌트를 찾아봤는데, Google의 AI 결과가 근처에 있는 Blue Prince Casino에서 가능한 게임을 줄줄이 설명했음
    실제로 그 근처에는 감옥, Costco, 몇몇 시골 주택, 그리고 아무것도 없는 공간뿐이라는 걸 알고 있음
    검색 페이지 맨 위에 완전히 거짓이고 조작된 쓰레기를 채워 넣는 모습이 놀라움
    고용법 같은 주제나 다른 검색에서도 자주 나쁜 정보를 반환함
    사람들이 실제로 의존하지만 않았다면 웃겼을 일임

• 이 현상이 정말 답답함. LLM의 확률적 특성과 한계는 이해하거나 최소한 알고 있는데, 아내나 친구들이 LLM에 맞지 않고 신뢰할 수 없는 작업에 잘못 쓰는 걸 지적하면 그냥 손사래 치며 내가 AI 냉소주의자라고 넘겨버림
  여전히 LLM에 계산을 시키고, 예를 들어 계산서 나누기 같은 일을 맡기며, 사실 데이터 조회 결과도 100% 신뢰하고 정확하다고 취급함

  • 아, 그렇지. 낮은 기술 문제에 고급 기술 해법을 쓰는 것임. 숫자 문제에 단어 기계를 쓰자고!
  • 일상적인 사용에서는 충분히 자주 “그럭저럭 맞는” 결과를 내기 때문에, 사람들이 그걸 중심으로 습관을 만들기 시작한다는 점이 까다로움
  • 간단한 계산에 쓰는 건 꽤 웃김. 혹시 Python을 쓰게 시키는지 모르겠지만… 그랬으면 좋겠다는 꿈만 꾼다
  • LLM이나 플랫폼 전반을 쓰는 건 다른 사람이 있는 밀폐 공간에서 담배 피우는 것과 조금 비슷함. 민폐가 됨
  • 난 그렇게 하지는 않지만, 사실 계산서 나누기 정도는 대체로 괜찮지 않나 싶음. 주요 챗봇들은 이제 그 정도는 맞게 할 수 있을 것이라고 봄
    핵심은 챗봇이 넓은 범위의 작업을 할 수 있으니, 이런 일 때문에 완전히 다른 앱으로 문맥 전환할 이유가 있느냐는 것임
    다른 사용 사례에서도 이런 일이 더 자주 생길 것 같고, 결국 사용성이 모든 걸 이김

• “AI 응답에는 실수가 포함될 수 있습니다” 같은 단순한 면책 문구나 ChatGPT 하단의 “ChatGPT는 실수할 수 있습니다. 중요한 정보는 확인하세요” 같은 문구는 이제 명백히 부족함
  사실 특정 분야에서 LLM 환각 때문에 피해 보는 뉴스가 몇 년째 이어졌는데도 사람들이 계속 당하고 있으니, 제공자들은 환각을 완전히 고칠 수 없는 이상 사용자에게 오류 가능성을 훨씬 더 적극적으로 교육해야 함
  마찰이 늘어나더라도 필요함

  • 그건 별로 말이 안 됨. LLM 제공자에게 모델 출력에 대한 법적 책임을 지우거나, 지금 같은 모델을 유지하거나 둘 중 하나임
    마찰은 이미 존재함. AI 회사와 클라우드 제공자들은 모두 “검열된 모델”을 운영하고 있고, 각 계층마다 더 많은 검열이 추가되고 있음
    여기서 더 큰 마찰이란 게 뭘까? 팝업을 더 띄우는 것인가?
    전자를 택하면 사실상 모델 호스팅 사업을 죽이는 것과 같음
    회사들은 모델을 개발해 내부에서 쓰고 직원에게 제공할 수는 있겠지만, 공개 API는 없어질 것임
    회사끼리는 법적으로 구속력 있는 계약으로 서로 모델을 사용하거나 라이선스하겠지만, 일반 대중은 법적 위험을 완화하는 장치 없이는 접근하지 못하게 됨
    몇 년 뒤 태도가 누그러지면 일부 회사가 경계를 밀어붙이기 시작할 수는 있음. 법무 승인 절차를 자동화하거나 가입을 여는 식으로
  • 예전에 Apple Maps가 잘못된 길 안내를 할 때마다 엄청나게 욕먹었던 것 기억남
    Google Maps가 이상한 동네 같은 잘못된 장소로 데려갔을 때도 뉴스가 됐고, PR 위기 대응을 해야 했음
    이제는 저런 면책 문구 하나 붙이면 끝임
    이 기술들이 받는 여론의 관대함은 불균형적이고 낙담스럽다
  • 사용자를 오류 가능성에 대해 더 적극적으로 교육해야 한다는 건, “직접 당해보는 게 최고의 선생”인 상황일 수도 있음
    한 번 물리는 것만큼 효과적인 면책 문구를 만들기는 꽤 어려울 듯함
  • LLM 제공자들이 그렇게 할 수는 없음. 이 붐의 전제 자체가 인간 지적 노동의 대체이기 때문임
    Anthropic CEO가 최근 대량 실업에 대해 말한 것처럼, 그들은 여러 번 그런 식으로 말해왔음
    오류 가능성을 강조하는 것과 인간 노동 대체라는 약속이 어떻게 공존할 수 있는지 모르겠음
  • 면책 문구는 맨 위에 굵은 빨간 글씨로 있어야 함

• 언어 모델은 무언가를 알도록 설계된 게 아니라 무언가를 말하도록 설계된 것임. 그래서 지식 모델이 아니라 언어 모델이라고 부름
  이미 생성된 단어들이 주어지면, 그다음 단어를 그 순서가 얼마나 흔한지에 따라 계속 추가함
  매번 답이 달라지는 이유는 다음 단어를 고를 때 의사난수 생성기가 영향을 주기 때문임
  모델은 가장 가능성 높은 다음 단어들의 확률 분포를 보고, temperature라는 설정값이 0이면 무작위 영향이 없어서 항상 가장 가능성 높은 다음 단어, 즉 top-1 MLE가 선택됨
  GUI에서는 실제로 0으로 설정할 수 없는데, 이렇게 하면 우리가 “매우 지루하다”고 분류할 출력이 나옴
  따라서 모델은 IBM, PS/2, 80286과 80486, CPU, 280, 특정 모델 자체에 대해 아는 게 없음
  어떤 답변 하나는 모델 280이 없다고 암시하는 듯한데, 그게 다른 과정으로 생성된 건지, 사용자 피드백을 강화학습으로 반영하는 방식 때문인지, 아니면 같은 무작위 다음 단어 선택에서 운 좋게 나온 결과인지 궁금함

  • 꼭 그렇지는 않음. 로컬 모델에서 temperature 0으로 설정해 쓰는데 잘 동작함
    클라우드 UI가 temperature 0을 허용하지 않는 이유는 모델이 가끔 토큰 무한 반복에 빠지기 때문이고, 대중이 그걸 보면 몰입감이 깨질 수 있어서라고 봄
  • 이 말은 맞음. 하지만 Google에 가는 이유는 “대화”하려는 게 아니라, 겉으로는 지식에 기반한 무언가를 배우려는 것임
    Google은 지식 제공을 단어 제공으로 바꾸는 오류를 범하는 것처럼 보임
    다만 실제 사업인 광고 매출 관점에서는 차이가 없을지도 모름

• Google 검색 웹사이트에서는 “AI 응답에는 실수가 포함될 수 있습니다”라는 약한 면책 문구가 작은 글씨로, 그것도 Show more 버튼 뒤에 숨겨져 있음
  OpenAI가 ChatGPT를 출시했을 때, 컴퓨터과학 전공이 아닌 교수에게 이건 사람들이 생각하는 그런 AI가 아니라, 현재로서는 AI처럼 보이는 계산적 장난기에 더 가깝다고 설명해야 했음
  그런데 이 장난기가 숙제 부정행위에는 아주 훌륭하다는 게 드러남
  품질이나 저작권을 크게 신경 쓰지 않는다면 다른 여러 종류의 일에서도 속임수로 쓰기 좋음

  • “AI처럼 보이는 장난기”라는 관점은 잘 이해가 안 됨. “코드를 작성할 수 있는 것”이 아니라 “코드를 작성할 수 있는 것처럼 보이는 것”이라 해도, 실제로 코드를 쓸 수 있다면 결국 코드를 쓸 수 있는 것임
    내부에서 무엇을 하는지 두고 “진정한 Scotsman은 아니다” 같은 논쟁을 하는 건 무의미함
    인간 뇌가 내부에서 무엇을 하는지도 우리는 모르기 때문임
  • 유연한 입력·출력 인터페이스를 가진 기억 증강/정보 검색 도구임

• Gemini는 사람들이 보통 입력하는 질문에는 답하도록 조정된 것처럼 보이지만, 더 전통적인 방식의 검색어를 넣으면 조작된 헛소리가 나옴
  많은 사람들이 AI Overview를 신탁처럼 믿는 걸 봤음
  직접 LLM을 쓰지 않는 “일반적인” 사람들이 AI와 상호작용하는 방식이 이렇다고 봄
  뉴스 신뢰처럼 나이대에 따라 갈리는 것도 아니고, AI 출력 신뢰는 대부분의 인구집단을 가로지르는 듯함
  인간이라는 종은 근거 없이 자신감 있는 컴퓨터 답변을 좋아하는 것 같음

  • Google은 여기서 특히 나쁜 상황에 놓여 있음
    10년 넘게 검색 페이지의 그 위치에는 “페이지에서 발췌한 내용” UI가 있었고, 그건 말이 됐음
    클릭 한 번을 줄여줬고, 원본 사이트를 신뢰하고 Google의 발췌 추출 기술도 어느 정도 믿는다면 의심할 게 별로 없었음
    예를 들어 간단한 의학 질문을 검색했을 때 Mayo Clinic 발췌문이 나오면, Mayo Clinic을 신뢰하니 충분했음
    가끔은 Google 발췌문을 복사한 뒤 페이지에 들어가 ctrl-f로 찾기도 했음
    Google은 평판 좋은 출처를 꽤 잘 골랐고, 발췌문도 항상 페이지 안에서 맥락을 왜곡하지 않는 형태로 발견됐기 때문에 신뢰를 쌓기에 충분했음
    시간이 지나며 그 시스템은 신뢰할 만한 출처를 고르는 능력이 나빠졌고, 아마 SEO에 공략당했기 때문일 것임
    그런데 이제 그 자리를 AI Overview가 대체했음
    AI 자체에 반대하는 건 아니지만, AI는 “신뢰하는 출처에서 가져온 검증 가능한 관련 발췌문을 밀리초 안에 보여주는 것”과 근본적으로 다름
  • 내 매니저는 직접 LLM을 쓰는 사람인데, 최신 모델로 자기 가정을 확인받는 데 씀
    첫 시도에서 확인되지 않으면 원하는 답이 나올 때까지 질문을 다르게 구성함
  • 우리는 근거 없이 자신감 있는 답변 자체를 좋아함. 컴퓨터든 아니든
  • 이제는 예전처럼 뭔가를 사람들에게 말해주고, 그들이 웹 검색으로 배울 수 있으리라 기대할 수 없다는 걸 깨달은 지 좀 됐음
    모든 것이 신뢰할 수 없고 오해를 부르는 SEO 스팸 찌꺼기가 되었기 때문임
    AI Overview가 들어오면 이게 얼마나 더 나빠질지 생각만 해도 소름 끼침
    “프린터는 어떻게 작동하나”를 검색했더니 도르래와 밧줄 시스템으로 만들어졌다고 알려주고, 사람들이 그걸 맹신하는 시대에 들어가는 건가 싶음
    내가 관심 있는 분야에서 수십 번 검색하며 본 오류의 규모가 딱 그 정도였고, 모두가 훨씬 더 황당하거나 대놓고 위험한 답변 스크린샷도 봤을 것임

• “AI 응답에는 실수가 포함될 수 있습니다”는 AI 논쟁 전체에 외치고 싶은 가장 중요한 한 문장임
  에너지와 기후 영향과 함께, AI 윤리나 AI 안전 논의의 중심 문제도 이것이어야 함
  이 과열이 제어되지 않고 계속되면 우리에게 가장 큰 피해를 줄 두 가지가 바로 이것들임

  • 문제는 실수가 “있을 수 있다”가 아니라 반드시 실수한다는 데 있음
    하지만 사람들은 이를 깨닫지 못하고 전능한 신탁처럼 대함
    결국 통계 모델이므로, 원숭이가 Shakespeare 작품을 만들어낼 확률도 0은 아님

• 그래서 Google은 검색을 근본적으로 잘못 잡았음. 더 이상 결과의 정확성에는 신경 쓰지 않고, 빠른 답변과 그 아래의 스폰서 링크 묶음을 제공하는 데만 주로 관심이 있어 보임

  • 문제는 그 “빠른 답변” 10개 중 6개는 미묘하게 틀리고, 2개는 심각하게 틀리며, 1개는 대놓고 위험하다는 것임
    사람을 죽게 하거나 법적 문제에 빠뜨릴 만한 내용의 스크린샷도 봤음
  • Eric Schmidt의 “결과가 없는 것보다 많은 결과가 낫다”는 생각을 계속 이어가는 것임
    이제는 “부정적인 답을 내는 것보다 환각을 만드는 게 낫다”로 진화한 듯함

• AI는 어떤 주제든 엄청난 자신감으로 뭔가 말할 수 있는 그 한 사람과 같음. 그래서 술집 대화 이상으로 왜 믿어야 하는지 잘 모르겠음

  • 심리적인 문제라고 봄. 대부분의 사람은 상대가 답에 자신이 없는지 판단할 때 시각적 몸짓 신호를 사용함
    AI에는 자신감 부족을 보여주는 신호가 없고, 전통적인 알고리즘은 항상 올바른 답을 준다는 경험 때문에 사람들은 기계 출력을 높게 신뢰함
    비판적으로 보는 사람의 비율은 미미할 것임
  • 아직 어떤 “AI” 회사도 자기 제품 이름을 Cliff Clavin으로 붙일 용기는 없었음
    여러 의미에서 용기가 필요하긴 함. John Ratzenberger에게 소송당할 위험도 있으니까
  • 정말 왜 믿는지 모르겠나? “세계의 정보를 정리한다” 같은 사명을 가진 회사들이 이걸 AI라고 홍보하고 있고, 사용자 질문에 정확한 정보를 제공하려고 수십 년을 보낸 회사들이 내놓았기 때문일 수 있음

• 며칠 전 ChatGPT와 Python 코드로 겪은 일이 있음
  Gunicorn의 로거 클래스를 수정해서 특정 URL 경로를 걸러내고 싶었음
  모든 요청마다 실행되는 뜨거운 코드 경로라서, 3가지 해법을 만들었고 어느 쪽이 가장 빠른지 보고 싶다고 말했음
  startswith를 쓰는 리스트+루프, 컴파일된 정규식, 그리고 경로 튜플을 넘기는 startswith를 비교했음
  ChatGPT는 벤치마크 코드와 결과를 만들어줬고, 정규식 해법이 Python 표준 라이브러리에서 가장 좋고 빠르다고 했음
  믿기지 않아서 직접 벤치마크를 돌렸더니, 튜플 버전이 정규식보다 5배 이상 빨랐음
  그 결과가 다르다고 말하자 거의 그대로 “아 맞다, 정정해줘서 고맙다. 튜플 버전이 실제로 가장 빠르다!” 같은 식으로 답했음
  벤치마크 코드를 쓰는 몇 분은 아껴줬지만, 내가 100% 확신하지 못하는 내용에 대해서는 출력물을 거의 믿지 않음