GN⁺: 구글, 검색에서 이상한 AI 답변을 수동으로 제거하느라 고군분투중
(theverge.com)- SNS에서 Google의 새로운 AI 개요 제품이 이상한 말을 하는 예시들로 떠들썩함
- 사용자에게 피자에 접착제를 바르라고 하거나, 돌을 먹으라고 제안하는 등
- 이러한 혼란스러운 출시로 인해 Google은 특정 검색에 대한 AI 개요를 수동으로 비활성화하기 위해 분주함
- 다양한 밈이 게시되면서 사용자가 소셜 네트워크에 게시된 후 곧 사라지는 것을 목격하게 됨
Google의 AI Overview
- Google은 AI Overview를 1년 동안 테스트해왔음
- 2023년 5월에 Search Generative Experience로 베타 출시
- CEO 순다르 피차이는 그 기간 동안 10억 개 이상의 쿼리를 처리했다고 언급
- 피차이는 또한 AI 답변 제공 비용을 80% 절감했다고 밝힘
- 하드웨어, 엔지니어링 및 기술적 돌파구에 의해 이루어짐
- 그러나 이러한 최적화가 기술이 준비되기 전에 너무 일찍 이루어졌을 가능성이 있음
AI 품질 문제
- 한 AI 창업자는 Google이 이제 저품질 출력을 내놓는 것으로 알려져 있다고 언급함
- Google은 AI 개요 제품이 주로 "고품질 정보"를 제공한다고 주장
- Google 대변인 메건 판스워스는 이메일을 통해 일부 쿼리에 대한 AI 개요를 제거하기 위해 신속한 조치를 취하고 있다고 확인해줌
- 이러한 예시를 사용하여 시스템의 광범위한 개선을 개발 중이라고 밝힘
AI 전문가의 의견
- 뉴욕 대학교의 신경 과학 명예 교수인 Gary Marcus는 많은 AI 회사들이 기술이 80%에서 100%로 갈 것이라는 꿈을 팔고 있다고 언급함
- 초기 80%는 많은 양의 인간 데이터를 근사화하는 것이 비교적 간단함
- 마지막 20%는 매우 어려운 과제임
- 실제로는 인공지능 일반 지능(AGI)이 필요할 수 있음
Google의 경쟁 상황
- Bing은 Google보다 먼저 AI를 도입함
- OpenAI는 자체 검색 엔진을 개발 중임
- 새로운 AI 검색 스타트업은 이미 10억 달러의 가치를 지님
- 젊은 세대는 최고의 경험을 원하며 TikTok으로 전환 중임
- Google은 경쟁 압박을 느끼고 있으며, 이는 혼란스러운 AI 출시로 이어짐
- 2022년 Meta는 Galactica라는 AI 시스템을 출시했으나, 유리 먹기를 권장하는 등 문제로 인해 곧 철회됨
Google의 AI Overview 계획
- Google은 AI Overview에 대한 큰 계획을 가지고 있음.
- 현재 기능은 회사가 지난주에 발표한 것의 일부분에 불과함.
- 복잡한 쿼리에 대한 다단계 추론, AI가 조직한 결과 페이지 생성, Google Lens에서의 비디오 검색 등
- 그러나 현재 회사의 평판은 기본적인 것들을 제대로 처리하는 것에 달려 있는데, 상황이 별로 좋아보이지 않음
Gary Marcus - "[이 모델들은] 근본적으로 자신의 작업에 대한 Saniny Check를 할 수 없는데, 이것이 이 업계의 발목을 잡게 된 것"
GN⁺의 의견
- AI의 신뢰성 문제: AI 시스템이 자체 작업에 대한 검증을 할 수 없는 구조적 한계가 있음. 이는 사용자에게 잘못된 정보를 제공할 위험이 있음.
- 경쟁 압박: Google이 경쟁사들로부터의 압박을 느끼고 있으며, 이는 제품 출시의 품질에 영향을 미칠 수 있음.
- 기술적 도전: AI 기술이 80%에서 100%로 가는 과정은 매우 어려운 과제임. 이는 AI의 한계와 도전 과제를 잘 보여줌.
- 사용자 경험: 젊은 세대는 최고의 사용자 경험을 원하며, 이는 Google이 지속적으로 개선해야 할 부분임.
- 다른 대안: AI 검색 엔진을 고려하는 사용자에게는 Bing이나 새로운 AI 검색 스타트업도 좋은 대안이 될 수 있음.
Hacker News 의견
해커뉴스 댓글 모음 요약
-
Google의 검색 제안 수동 제거 접근법
- Google이 과거에 수동으로 검색 결과를 조정하는 대신 알고리즘 자체를 조정하려 했던 사례를 떠올리게 함.
- 2002년 Froogle 테스트 중 "running shoes" 검색 시 정원 요정 조각상이 상위 결과로 나오는 문제 발생.
- 한 엔지니어가 해당 제품을 구매해 문제 해결. 알고리즘을 변경하지 않고도 올바른 결과를 반환하게 됨.
-
AI의 정확성 문제
- 초기 80%의 정확성은 비교적 쉽게 달성 가능하지만, 마지막 20%는 매우 어려움.
- 100% 정확성은 인간도 달성할 수 없는 목표임.
- 목표는 명백히 어리석은 답변을 줄이는 것임.
- LLMs(대형 언어 모델)는 좋은 텍스트를 생성하지만, 명백히 어리석은 답변을 제거하는 것이 항상 좋은 것은 아님.
-
Google의 검색 품질 문제
- Google이 AI 전쟁으로 인해 방향을 잃었다는 논란이 있음.
- 현재 Google의 검색 결과는 스팸, 클릭베이트, 선전물로 가득 차 있음.
- 검색 결과가 적어도 널리 인정된 진실을 반영해야 한다고 주장.
- 명백한 트롤링, 클릭베이트, 악의적인 콘텐츠를 식별하는 것이 중요함.
-
검색 엔진과 질문 엔진의 차이
- 검색 엔진은 인터넷을 검색하는 도구이지 질문을 하는 도구가 아님.
- AI를 통해 무언가를 묻는 것은 인터넷을 검색하는 것과는 다른 작업임.
-
Google의 AI 통합 문제
- Google이 AI를 통합할 때마다 반복되는 문제 발생.
- 문제 발생 시 고위 임원이 문제를 해결하겠다고 발표하지만, 같은 문제가 반복됨.
-
Google의 데이터셋 문제
- 25년 동안 검색 결과를 미세 조정해 온 Google이 좋은 데이터셋을 가지고 있지 않다는 점에 충격을 받음.
- 오래된 백과사전 CD를 사용해 훈련 데이터를 만드는 것이 필요할 수도 있음.
-
LLM을 활용한 이상한 쿼리 생성 및 테스트
- Google이 LLM을 사용해 이상한 쿼리를 생성하고 테스트하지 않았다는 점에 실망.
- 깨끗한 배포에서 얻을 수 있는 이점이 많음.
- 현재의 AI 경주는 바닥을 향한 경주일 수도 있음.
-
AI의 초기 버전 문제
- 현재의 AI는 전통적인 검색보다 모든 면에서 더 나쁨.
- AI가 생성한 이미지의 손가락이 인상적임.
-
LLM의 환각 문제
- 사람들은 LLM이 가끔만 환각을 일으킨다고 생각하지만, 실제로는 더 자주 발생함.
-
수동으로 AI 결과 제거의 아이러니
- 수동으로 잘못된 AI 결과를 제거하는 것이 아이러니함.