Gemini “오리” 데모, 실시간이나 음성으로 진행되지 않아

 (twitter.com/parmy)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Google의 인상적인 Gemini 오리 데모는 공개 영상이 암시한 것과 달리 실시간 대화나 음성 입력으로 수행되지 않았음
  • 모델에는 비디오를 그대로 처리하게 한 것이 아니라 장면에서 뽑은 정지 이미지가 제공됐음
  • 사람의 프롬프트가 함께 사용됐고, 영상 속 음성 내레이션은 나중에 추가됐다고 대변인이 밝힘
  • 실제 진행 방식은 최종 영상에서 보이는 실시간·음성 상호작용과 차이가 있음
  • Gemini 데모를 평가할 때는 연출된 영상과 모델에 실제 들어간 입력을 구분해야 함

Gemini 오리 데모의 실제 진행 방식

  • 오리가 등장하는 Google의 Gemini 데모는 실시간으로 진행된 것이 아니었음
  • 모델은 비디오를 직접 실시간 처리하지 않고, 비디오 장면에서 가져온 정지 이미지를 입력받았음
  • 사람의 프롬프트가 모델에 제공됐으며, 해당 프롬프트의 내레이션은 사후에 추가됐음
  • 이 진행 방식은 대변인을 통해 밝혀짐

관련 링크

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 대학에서 이런 식으로 해본 적이 있음
    첫 컴퓨터과학 수업에서 Raspberry Pi를 받았고, 코딩 경험이나 지침 없이 “뭔가”를 만들라는 과제였음. 제출물은 코드가 아니라 작동 시연뿐이었음
    우리 3명은 습도 센서를 사서 Pi에 연결하고, 다리 아래에 설치해 홍수 직전에 관계자에게 이메일을 보내는 홍수 감지 시스템을 만들겠다고 했음
    실제 시연에서는 교실 뒤에 Gmail을 열어둔 친구가 “홍수 경고” 이메일을 보낼 준비를 하고 있었고, 스크립트는 그냥 wait 사이에 문장을 출력할 뿐이었음. “수분 대기 중”을 출력한 뒤 3초 후 “수분 감지”를 찍는 동안 센서를 물컵에 담갔고, 이어 “xxx@yyy.com으로 이메일 전송 중”을 출력하면 뒤쪽 친구가 보내기를 눌러 이메일이 도착했으며 만점을 받았음

    • 산업 제어 시스템 쪽에서는 이런 걸 연기와 거울(smoke and mirrors) 이라고 부름
      큰 프로젝트가 준비되기 전인데도 고객이 일부라도 완성된 것처럼 보고 싶어 할 때가 있고, 사용자가 볼 수 없는 작업이 90%라는 점을 이해하지 못한 채 완성 상태를 기대함
      더미 HMI를 세팅해 누군가 데모 중 버튼을 누르고, 옆방에서는 다른 사람이 출력과 입력을 수동으로 조작해 실제로 동작하는 것처럼 보이게 만드는 일이 꽤 흔함
    • 학교 다닐 때 지역 내비게이션 시스템을 만들며 비슷한 일을 했음
      과정 중에 손에 있던 GPS 수신기를 전부 망가뜨렸는데, 그 RS-232 GPS 모듈 모델이 정말 약했음. 그래서 실제 실시간 내비게이션을 시연할 수 없었고, 어차피 완성도 덜 된 상태였음
      그래도 GUI는 마무리한 뒤 “내비게이션 중에는 이렇게 보인다”고 가장했고, 내비게이션 코드는 실제로 돌리지 않았음. 성적에 반영되는 활동은 아니었지만 아직도 좀 찜찜함
    • 나중에 이른바 테크 업계에서 필요한 사기 기술을 배우고 있었던 셈임
    • 이건 부정행위 아닌가? 부정행위처럼 들리고 본인에게도 꽤 안 좋게 보임
    • 그래도 말 그대로 백엔드는 있었네

  • 이건 정말 이상함. Google이 이 모든 모델의 기반인 트랜스포머를 발명했는데, 어떻게 이렇게 계속 헛발질할 수 있는지 모르겠음
    Google Docs는 2006년에 나왔지만 Microsoft가 점심을 빼앗아 먹고 있음. Google은 VM을 제자리에서 바꾸는 기능과 완전 자동화 데이터센터를 만들었지만, 클라우드에서는 Amazon과 Microsoft가 앞서감. 자율주행도 누구보다 오래 했는데 Tesla가 따라잡고 아마 이길 가능성이 큼
    헛발질의 규모가 엄청남

    • 2008년 9월 Microsoft에 있었는데, 내부에는 이미 아주 예쁘고 잘 작동하는 웹 Office가 있었음
      이름은 달랐고 SharePoint는 아니었던 것 같으며, 비용 보고서 같은 것과 관련 있었던 듯함. 지금의 Google Docs도 부끄럽게 만들 정도였지만, 자기 제품을 잠식하고 싶지 않았던 거임
    • Google은 그 밖의 일을 할 줄 모름
      제품에는 헌신과 반복 작업이 필요하고, 마지막 10% 가 가장 중요함. 그런데 Google은 제품을 결승선 너머로 밀어붙이길 계속 거부하고 포기해서 악명 높은 Google Product Graveyard에 추가함
      솔직히 무슨 의미가 있나 싶음. 핵심 검색/광고만 유지하고, 엉터리 면접 과정을 거쳐 들어온 비싼 엔지니어 수만 명에게 수십억 달러를 쓰지 않아도 됨
    • 놀랍긴 하지만 아주 의외는 아님. Google은 기술력만큼이나 제품 무능으로도 악명 높아졌음
      생성형 AI의 기초 연구를 지배하면서도 소비자 제품에서 정면으로 넘어지는 건 Stadia, GMail/Inbox, 17개의 채팅 앱을 만든 회사다운 흐름임
    • Google Docs 기술은 인수한 회사 기반이었고, Google은 검색 독점을 이용해 더 인기 있게 만들었을 뿐임. YouTube에도 같은 전략을 썼음
      Google이 자체적으로 괜찮은 제품을 출시한 건 Gmail 이후로 거의 없고, Gmail조차 검색 독점을 무료 광고판처럼 써서 키웠음
      “Google Docs는 2005년 8월 소프트웨어 회사 Upstartle이 출시한 웹 기반 워드프로세서 Writely에서 시작됐다”는 내용도 있음
    • 헛발질을 말하지만, Google은 전 세계 어떤 회사보다 10억 명 이상 사용자를 가진 제품이 많음
      Google이 늘 신경 써온 건 수십억 사용자에게 애플리케이션을 가져가는 일이었음
      지금 Google이 세계에서 가장 수익성 높은 AI 회사라는 점도 잊히고 있음. 모든 제품이 기계학습과 AI를 사용함
      그러면 누가 지고 있는 건가? Gemini의 목표는 Bard가 있음에도 ChatGPT 같은 챗봇을 만드는 게 아니라, 10억 사용자 제품 10개에 통합하는 것임

  • Gemini 웹페이지와 콘텐츠 전체가 이상하게 느껴졌음. Apple 마케팅 자료처럼 보이고 느껴지려다 불쾌한 골짜기에 들어간 느낌이었음
    과장된 문구, 수술처럼 정확히 맞춘 인종/성별 다양성, 불필요한 애니메이션, CEO의 영업식 발표까지 이 분야의 작은 플레이어가 큰 플레이어처럼 보이려는 듯했음

    • 이제 OpenAI 키노트는 5년 전 Google 키노트를 흉내 내는 것 같고, Google 키노트는 5년 전 Apple 키노트를 흉내 내는 것 같음
      Apple 키노트는 불쾌한 골짜기를 막 빠져나온 로봇들이 인간인 척하는 것처럼 보임. 5년 뒤 키노트가 AI로 만들어지면 이런 모습일 수도 있으니, Apple은 키노트 트렌드에서도 늘 앞서가는 셈임
    • 같은 느낌을 받았음. Ultra와 Pro 같은 이름도 그렇고, 아직 쓸 수도 없는데 Gemini 시대를 선언하는 게 촌스럽게 느껴짐
      Google은 자신들이 같은 경기장에 서 있다고 보이고 싶어 하는 듯함
    • 제품 관리자들이 모든 보여주기식 체크박스를 채웠다고 서로 등을 두드리며, 그 자체가 완전한 풍자처럼 보인다는 걸 못 보는 장면이 상상됨
    • “수술처럼 정확히 맞춘 인종/성별 다양성”이 무슨 뜻이고 왜 나쁜지 모르겠음
      마케팅에서 다양성을 쓰는 이유는 원하는 시장 자체가 다양하기 때문임. 다만 그게 “수술처럼 정확하다”는 게 무슨 의미인지는 잘 모르겠음

  • Sundar가 모델에게 참/거짓이 갈릴 수 있는 사실을 많이 말하게 프롬프트를 넣은 게 큰 위험 신호였음
    공개한 벤치마크 수치를 보면 대부분 근소한 개선이었고, 즉 환각 문제는 해결되지 않았다는 뜻임. 그런데 데모는 마치 해결된 것처럼 보였음. 결국 모델이 우연히 맞거나 일관된 정보를 말한 사례를 주로 골랐다고 봄
    능력을 과장했지만, 여러 양식에 걸쳐 실제 관찰될 법한 현상에 대해 일관된 개념으로 수렴하려면 다중모달 모델이 필요해질 것 같긴 함. 좋은 진전이지만, 이제 특정 구조가 실제로 인과성을 모델링한다는 걸 설득력 있게 보여줘야 함

    • Mark Rober 홍보 영상[1]에서도 종이비행기가 왜 실속했는지 물으면서 노골적으로 유도 질문을 하는 장면이 있었음
      “뜨거운 공기 주머니가 낮은 기압을 만들어 비행기가 실속했다고 믿나요?” 같은 식이었고, 질문 자체도 너무 어색해서 제대로 말하기 힘들어 보였음. 정말 민망했음
      [1] https://www.youtube.com/watch?v=mHZSrtl4zX0&t=277s
    • 검색 증강 생성(RAG) 방식으로는 환각 문제가 해결되지 않음. 근본적으로 다른 구조가 필요하다는 건 내 말이 아니라 Yann LeCun의 말임
      직접 써보면 쉽게 이해할 수 있음. 자기회귀적 성격 때문에 LLM은 답하기 전에 내부적으로 일관된 모델을 만들 수 없음. 사고 사슬 같은 접근이 있지만, 임시방편일 뿐 문제를 표면적으로만 다룸
    • “확률적 앵무새”와 “초강력 자동완성” 비판 이후로, LLM의 환각이 원리적으로 해결 가능한지 자체가 질문이 됐음
      만약 해결 가능하다면 아주 기초적이고 근본적인 과학적 중요성을 가진 일이라 AI에서 또 하나의 작은 돌파구가 될 것 같음
    • 이런 LLM은 사실적 정확성이라는 개념이 없고 그렇게 학습되거나 최적화되지도 않았음. 사람들이 이것들이 퀴즈 봇처럼 행동하길 기대하는 건 생성형 LLM의 본질을 완전히 오해한 거라 우스움
      입력 시퀀스 뒤에 가장 그럴듯하다고 느끼는 출력 시퀀스를 뱉을 뿐임. “가장 그럴듯함”을 어떻게 정의하는지는 많은 연구의 대상이지만, 사실적 정확성에 최적화하는 건 완전히 다른 일임
      코딩 문제처럼 특정 경우에는 똑똑해 보일 수 있는데, 특정 프롬프트에 대해 인터넷 텍스트의 대략적 합의가 꽤 사실에 가깝고 비전문가의 쓰레기 콘텐츠로 덜 오염되어 있기 때문임. 일반적인 푹신한 “콘텐츠” 생성도 잘하지만 그 가치가 뭔지는 모르겠음
      결국 돌아오는 정보의 품질은 꼼꼼한 Google 검색의 품질보다 낫지 않고, 단지 더 빠르고 간결하고 보기 좋게 정리된 답을 줄 뿐임
    • 데모라는 게 원래 다 어느 정도 그렇지 않나 싶음

  • 속았음. 모델 출시 발표에는 비디오와 오디오 다중모달 입력을 받을 수 있다고 되어 있었음
    편집과 컷이 많다는 건 알았지만, 실제로 비디오와 오디오 입력 사례를 보고 있다고 믿었음. 텍스트와 정지 이미지에서 “눈과 귀”로 넘어가는 건 큰 도약이라 완전히 감탄했음. 악기를 그리고 음악이 생성되는 부분도 있어서, 특화 모델들처럼 언어 프롬프트로 음악을 만드는 모델을 보는 줄 알았음
    그런데 전부 가짜였음. 선별된 프롬프트 엔지니어링 예시들을 모아 주주 흥분을 극대화하도록 극화한 것임. 음악 예시는 우리가 영상에서 들은 음악을 생성한 게 아니라, 곡 설명을 출력했을 뿐이었음
    “이런 게 가능해질 수 있다”는 과장 영상과, 새 다중모달 모델이 최고라고 주장하면서 벤치마크를 조작하고 데모를 속이는 건 전혀 다름
    Google은 악한 단계에 들어간 것처럼 보임. OpenAI와 Microsoft는 꽤 흐뭇해하고 있을 듯함

    • 정확함. 개인적으로는 둘 다 괜찮다고 봄
      아직 도달하지는 않았지만 그 방향으로 가고 있음을 분명히 하면서 제품의 미래를 보여주는 미래지향 데모, 또는 현재 기능을 가장 좋게 보이도록 스크립트와 편집을 거친 데모는 표준 관행이고 받아들일 수 있음
      하지만 Google이 한 건 그냥 잘못됐음. 이에 대한 반발을 받아도 됨
    • 이런 종류의 도덕적 사기와 비윤리적 행동이 어떤 이유로든 용인됨
      투자자들이 속고 싶어 하는 것 같기도 함. 실사할 여지는 없고, 거짓말을 들으면서도 Taylor Swift 팬처럼 신나서 비명을 지름
    • “단계”라고?
      이런 대기업들은 가능한 한 오래, 가능한 한 많이 빠져나갈 수 있는 만큼 빠져나감. 마치 우리가 할 일은 그들이 언젠가 “악하지 않은 단계”를 베풀어주길 기다리는 것뿐이라는 뉘앙스인데, 실제로는 지난 30년 동안 체계적으로 해체된 반독점 규제를 복원해야 함
    • 나도 비디오를 입력으로 받을 수 있다고 생각했음
      비디오의 데이터량이 엄청나니까 초당 한 프레임 정도를 추출해 이미지로 처리하되, 초기 입력은 전체 비디오로 받는 식이라고 예상했음
      알고 보니 그조차도 아니었음
    • Google 내부 선도 연구 부서가 사실은 애니메이션 스튜디오라는 식의 영상을 떠올리게 함. 어떤 영상이었는지 더 기억나면 좋겠음
      주주를 만족시키기 위해 이런 과장 영상을 만드는 건 연구 부문에 대한 신뢰를 잃게 만듦. Bert를 발표했을 때는 이런 일을 하지 않았던 것 같음

  • T9 시절부터 Swype 입력을 써왔음
    QWERTY 키보드에 익숙한 사람에게 내가 일상에서 쓰는 방식 그대로 Swype 입력을 시연하면 아무도 채택하지 않을 것임
    잘못된 단어로 추정하거나 수정해야 하는 비율이 아마 10~20%는 됨. 하지만 고치기 쉬워서 문제가 되지 않고 전혀 느려지지 않음. 여러 텍스트 입력 방식 중에서는 개인적으로 가장 좋지만, 사용하는 법을 익히는 데 시간이 걸림
    모든 제품이 이렇다고 봄. 100시간 동안 습관화하고 엣지 케이스에 보정한 뒤 실제로 어떻게 작동하는지를 그대로 보여주면 아무도 아무것도 채택하지 않을 것임
    둘 다 나쁘기 때문에 해결책은 잘 모르겠음
    수정: 휴대폰에서 Swype으로 쓰는 중이라, 이 맥락에 맞게 오타를 그대로 두겠음

    • 제품을 가장 좋게 보여주는 것과, 존재하지 않는 작동 방식을 시연하는 건 완전히 다름
      Swype 키보드 데모에 오류 수정을 위한 텔레파시 정신 조종이 들어간 것과 같음
    • Swype은 편집을 더 쉽게 해주나? iOS 맞춤법 검사는 가치가 음수임. 몇 년 전에 껐더니 오류가 줄었지만 여전히 고칠 오타는 있음
      안타깝게도 iOS 텍스트 편집도 완전히 쓸모없음. 이상한 선택 영역을 강제하고, 수정한 텍스트를 어색한 방식으로 삽입함
      나는 QWERTY로 문자를 치지만 iOS의 텍스트 입력은 완전한 재앙이고 시간이 갈수록 더 나빠졌음
    • 그건 LLM 환각과는 다른 문제임
      Swype에서는 이미 올바른 출력이 어떤 모습인지 알고 있음. 출력이 원하는 것과 다르면 즉시 알아차리고 고침
      LLM에 질문할 때는 반드시 정답을 아는 게 아님. 출력이 충분히 자신 있어 보이면 사람들은 그걸 진실로 받아들임. 실험과 테스트를 제외하면, 사람들은 이미 정답을 아는 질문을 LLM에 묻는 게 아님
    • 여기서 핵심은 수정 속도가 인터페이스 기술의 장기적 가치 인식에 결정적이라는 점임
      필기 인식이 키보드를 대체하지 못한 주된 이유도 이것임. 필기가 텍스트로 변환된 뒤에는 포인터와 키보드로 오류를 고치는 편이 더 쉬움. 몇 번 반복하면 대부분 “그냥 처음부터 포인터와 키보드로 시작해서 시간을 아끼자”라고 생각하게 됨
      그러면 생성형 AI 출력에서 오류를 발견하고 고치는 일이 얼마나 쉬운지가 질문임. 안타깝게도 답을 이미 아는 경우가 아니라면 오류를 골라내기가 매우 어려울 수 있음
    • 마케팅은 마케팅이라는 걸 알지만, 실제 사용 방식과 완전히 동떨어진 방식으로 “데모”하는 건 나쁜 형식이라고 봄
      Swype 키보드는 익히는 데 연습이 필요하지만, 그런 입력 방식의 데모는 보통 시연자가 “전문가”라 해도 현실적인 사용을 보여줌
      이런 데모는 사람들이 제품이 실제로 무엇을 할 수 있는지 오해하게 만들고, 결국 불가피한 냉소적 반발을 키움. 제품이 정말 훌륭하다면 현실적인 기능 데모만으로도 사람들이 알아볼 수 있음

  • Twitter에 링크된 Bloomberg 페이지가 지금은 내려갔음.[1] 대체 페이지는 [2]이고, 새 페이지에는 일부가 가짜였다고 되어 있음. 예전 페이지는 아카이브에서 찾지 못했음
    [1] https://www.bloomberg.com/opinion/articles/2023-12-07/google...
    [2] https://www.bloomberg.com/opinion/articles/2023-12-07/google...

  • 이건 진짜 영상, 오디오, 이미지, 회사 마케팅에 대한 신뢰를 의심해야 하고, 검증 전에는 생성된 것으로 가정해야 한다는 훌륭한 예시 같음
    음성, 이메일, 채팅, 곧 비디오까지 전부 실시간 또는 거의 실시간으로 생성될 수 있다면, 원격 직원이 실제로 완전하거나 부분적으로 생성된 존재가 아니라고 어떻게 확신할 수 있을지 궁금함
    검증할 때 공유 비밀은 좋지만, 몸이 완전히 원격에 있을 때는 해법이 뭘까?
    지금 여행 중인데, 가족이 분실 수하물을 주장하며 Venmo 요청을 보내는 사람이 나라는 걸 어떻게 확인할 수 있을까?

    • 직원이 AI인지 확인할 수 없다면, 해고하고 AI로 대체하면 됨
    • PGP
    • 실제 사람만 알 수 있는 정보를 물어보면 됨
    • 긴급 상황용 암호 문구/단어를 만들어 가족과 공유하고, 이런 상황에서 사용하면 됨
    • 이런 일을 잡아냈을 때 커뮤니티가 목소리를 내야 하는 이유이기도 함. 저들이 기술 데모의 신뢰를 떨어뜨리고 있기 때문임
      거짓말은 진실이 출발선에서 나오기 전에 이미 전 세계를 돌겠지만, 그렇다고 그냥 방치할 수는 없음

  • 영상 자체와 영상 설명에 그런 취지의 면책 문구가 있음. 그래도 일부 사람들은 Gemini가 어떻게 작동하는지 잘못 이해하고 돌아갈 수 있다는 데는 동의함
    실시간 상호작용이 곧 앱의 일부가 되면 좋겠음. 기술적 장벽이 그리 많아 보이지는 않음

    • 면책 문구 전체가 화면 아래 아주 작은 글씨로 2초 동안 나온 “시퀀스는 전반적으로 단축됨”뿐이었음
      다른 곳에서는 대부분의 세부 내용을 공개했지만, 영상 자체는 매우 오해를 부르도록 제작되고 편집됐음. 단순한 음성 프롬프트와 비디오 피드에 복잡하게 반응한다고 믿게 만들고 싶어 한 것이고, 실제로는 그렇지 않았음
    • 설명의 면책 문구는 “이 데모를 위해 지연 시간을 줄였고 Gemini 출력은 간결하게 줄였다”였음
      이건 “Gemini에는 비디오가 아니라 선별된 정지 이미지가 입력됐다”와는 다름
    • 사람들은 면책 문구를 잘 보지 않음. Google은 사람들이 면책 문구가 아니라 과장된 인상을 기억할 걸 알고 선택한 것임
    • 아니, 면책 문구는 전혀 충분하지 않았음
      그 영상은 나를 포함해 많은 사람을 속였음. 이건 흔한 초고도 최적화·스크립트 데모가 아니었음
      존재하지 않는 기능을 보여준 명백한 허위 광고였고, 솔직히 Google의 부끄러운 행동임
    • Google 검색 광고도 아주 작디작은 “광고” 표시가 붙어 있을 뿐이고, 광고를 더 노골적으로 만들면서도 덜 구분되게 해온 긴 흐름이 있음
      AI 생성 콘텐츠와 전반적인 조작 맥락을 고려하면 이 영상은 기만적이었다고 봄. 내게 영상에서 유일하게 인상적인 점은 실시간으로 비디오를 처리하는 듯한 빠르고 유연한 반응성이었는데, 그중 아무것도 진짜가 아니었음. 거의 사기에 가까움

  • 나도 Gemini가 정지 이미지와 텍스트 프롬프트를 받는 게 아니라, 비디오/오디오 피드를 통해 보고 들었다고 생각하도록 속았음
    정지 이미지와 비디오 피드 사이 차이가 커 보이지 않을 수도 있지만, 실제로는 봇이 계속 멍청하게 떠들지 않으려면 변화하는 맥락을 많이 이해해야 함
    또한 실시간 비디오 피드 대화에서는 적절히 침묵하기 위해 아직 모른다는 상태를 인식해야 하는데, 생성형 AI에서는 이게 악명 높게 어려움
    물론 몇 가지 해킹과 휴리스틱을 넣어 쉽게 만들 수는 있겠지만, 봇이 대화에서 인간 파트너처럼 보이게 만드는 건 정말 어려움. 그게 영상 속 “대화”에서 가장 인상적인 부분이었는데, 안타깝게도 전부 가짜였음 :(

답변달기