Show HN: 가짜 Google Gemini 데모를 GPT-4를 사용하여 재제작, 이번엔 실제로 구현

 (sagittarius.greg.technology)
2P by GN⁺ | ★ favorite | 댓글 1개

GPT-4를 이용한 구글 제미니 가짜 데모의 리메이크, 이번엔 진짜임

  • 구글 제미니의 가짜 데모를 GPT-4를 사용하여 리메이크한 프로젝트.
  • 실제로 작동하는 데모가 제공되며, 관련 코드는 GitHub 레포지토리에서 확인 가능.
  • 프로젝트는 Greg Technology에 의해 만들어짐.

GN⁺의 의견

  • 이 기사에서 가장 중요한 점은 GPT-4를 활용하여 과거의 가짜 데모를 실제로 구현한 프로젝트의 존재.
  • 인공지능 기술의 발전이 실제로 사용 가능한 혁신적인 결과물을 만들어내는 과정을 보여주는 사례로서 흥미로움.

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 가짜 Gemini 데모의 마법처럼 보였던 부분은 LLM이 오디오와 비디오 입력을 계속 받고 있다가 언제 끼어들어 답해야 하는지 아는 것처럼 보였다는 데 있었음
    사용자가 그림을 다 그릴 때까지 기다리거나, 끝나기 직전에 끼어드는 것처럼 보였고, 답변 중간에 사용자가 오리를 파란색으로 칠하자 파란 오리처럼 보인다고 말하기도 했음
    사용자가 그냥 동의만 할 때는 응답이 필요 없다는 것도 아는 것처럼 보였음
    소스 코드를 확인해보니 데모는 비디오 피드에서 800ms마다 스크린샷을 찍고, 사용자가 말하기를 끝낼 때까지 기다린 뒤 마지막 스크린샷 3장을 보냄
    이 데모 자체는 인상적이지만, 연속적인 오디오·비디오 입력이 없을 때 이런 방식으로 LLM과 상호작용하는 게 얼마나 부자연스러운지도 보여줌
    기술적으로는 한동안 가능했던 일이지만, 아무도 제품처럼 내세우지 않은 데는 이유가 있음

    • 이 데모는 2~3시간 만에 만들었고, “받아쓰기 결과가 확정될 때까지 기다리는” 기법을 썼음
      이 방식은 받아쓰기 전사가 더 안정적이라 안전하지만 느림
      다른 데모인 https://www.youtube.com/watch?v=fxS7OKh_4vc에서는 “진행 중” 전사 결과를 계속 GPT에 넣었는데, 정말 빠르고 훌륭했음
      다만 사람의 실제 발화, 전사 시간, GPT 요청 전송, GPT가 답할 시점의 사용자의 말과 사고 위치에 맞추는 동기화 등 여러 타이밍을 처리하려면 작업이 더 필요함
      그래도 실시간·연속 대화가 확실히 핵심이고, GPT가 웹소켓으로 제공되면 좋겠다는 생각이 듦
    • 청각장애인으로서 실시간 음성 인식 데모를 20~30년 동안 봐왔는데, 전부 데모에서는 좋아 보임
      하지만 일상에서 쓰면 10단어에 1번만 틀려도 시간이 지나며 극도로 짜증나는 수준으로 누적됨
    • 친구와도 연속 스트림 입력을 받는 다중모달 LLM에 대해 얘기했음
      예를 들어 기타 연습을 듣고 있다가 특정 지점에 이르면 “좋아, 그 부분으로 돌아가서 다시 연습하자”고 말하는 식임
      연속적인 토큰 스트림이 들어오고 출력은 가끔만 필요할 때, 일반적인 다음 토큰 예측 방식은 잘 맞지 않아 보임
      문헌에서는 이런 입력을 뭐라고 부르고, 어떤 연구가 되어 있는지 궁금함
    • 이런 경우에는 일시정지 토큰 같은 것으로 학습하는 게 핵심일 것 같음
      어쩌면 꼭 필요하지 않을 수도 있음
      GPT-4에게 응답을 기다려야 한다고 판단할 때마다 .... 같은 것을 출력하라고 지시하면, 사용자가 끝날 때까지 기다릴 필요가 없어져 훨씬 매끄러워질 수도 있음
    • GPT-4 챗봇을 그룹 채팅에 붙여서 사람들이 하는 말에 반응하게 만들고 싶었지만, 언제 말해야 하고 언제 사람들끼리 대화하게 놔둬야 하는지 판단하기가 너무 어려워 결국 포기했음

  • 회사들이 왜 이렇게 거짓말을 하는지 모르겠음
    얻을 수 있는 게 얼마나 크길래 그러는지 모르겠고, 오히려 잃을 게 많아 보임
    더 이상한 건 이런 도구들이 과장 없이도 이미 엄청나게 인상적이라는 점임
    기계학습 연구자로서 멋진 성과가 많다고 보지만, 논문부터 제품까지 거의 모든 것이 과도하게 부풀려져 있음
    단기적으로는 일부에게 도움이 될지 몰라도, 모두에게 좋지 않은 하향 경쟁을 만들어낸 것 같음
    특히 Google 같은 회사가 단기 게임을 하는 건 똑똑한 선택이 아니며, 어쩌면 내가 우리가 사는 환경을 완전히 잘못 이해하고 있는지도 모르겠음
    이 스레드[0]의 논의를 보면, 윤리적으로 너무 망가져서 자신들이 하는 일이 기만적이라는 것조차 모르는 사람들도 많은 듯하고, 그건 전혀 다른 더 나쁜 문제임
    [0] https://news.ycombinator.com/item?id=38559582

    • 같은 날 영상이 나오자 CEO가 Google의 새 기술이 GPT-4보다 훨씬 낫다며 우리도 바로 써야 한다고 메시지를 보냈음
      데모는 회의적으로 보지만, 이 분야의 모든 발전처럼 출시되면 직접 써보겠다고 답했음
    • “Google 같은 회사가 단기 게임을 하는 건 똑똑하지 않다”는 건 주인-대리인 문제일 수 있음
      대리인인 직원과 경영진은 단기 커리어 이익을 최적화하고, Google 주주에게 충성하지 않음
      3년 뒤 퇴사할 수 있으니 Google의 평판 손상은 그들에게 그렇게 중요하지 않을 수 있음
      반면 주주는 평판 같은 장기 요소를 최적화하길 원함
      좋은 지배구조와 주가에 묶인 베스팅 보상으로 맞추려 하지만, 어느 정도 불일치는 계속 생김
      이 지점에서 사명에 대한 컬트 같은 정렬 문화가 가치를 낼 수 있음
      직원들이 실제로 사명을 믿도록 설득하거나 그런 사람을 뽑으면 정렬이 따라옴
    • 기업들이 왜 그러는지 궁금하다면 Business Today가 낸 제목만 봐도 됨
      “Google Gemini Outperforms Most Human Experts & GPT-4 I Artificial intelligence I Google’s DeepMind”
      전부 마케팅임
      Satya가 OpenAI 일이 잘 안 되면 sama와 다른 사람들이 MSFT의 새 팀에 합류해 계속 이어간다고 공개적으로 올린 것과 같은 이유임
    • 데모 뒤 Google 주가는 바로 움직이진 않았지만 대략 5% 상승했고, 조작 소식이 나온 뒤 약 1%를 반납했음
    • 이번 일은 Google이 이제 기술을 이해하는 사람이 아니라 비기술 비즈니스 인력에 의해 운영된다는 느낌을 어느 때보다 강하게 줬음
      이 기술이 어떻게 돌아가는지 조금이라도 아는 사람들, 즉 이 기술과 다른 Google 제품을 쓸지 결정하는 과정에 들어갈 가능성이 큰 사람들은 조작을 바로 알아볼 수 있음
      그런 사람들은 이런 기만적 행태에 매우 부정적으로 반응하는 유형인 경우도 많음

  • Gemini 출시 때 하고 싶었던 말이 바로 이 데모였음
    그 난리는 다 불필요했음
    GPT-4V는 정말 강력하고, 비전이나 다중모달에 관심 있는 사람이라면 LLaVA도 진지하게 써보길 권함(https://github.com/haotian-liu/LLaVA)
    최근 며칠간 7B q5_k 변형을 써봤는데 꽤 인상적이었고, 회사용 데모 앱이나 개념증명까지 만들어볼 정도로 좋았음
    다만 먼저 라이선스를 확인해야 하고, 아니면 내부 데모로만 써서 요점을 전달할 생각임

  • GPT-4V로 충분히 가능했던 일이었음
    말 그대로 스크린샷을 찍어 이미지와 텍스트를 채팅 형식, 즉 인터리브 방식으로 넣으면 됨
    최근 해커톤에서 비슷한 걸 만들었음(https://x.com/swyx/status/1722662234680340823)
    이상한 점은 Google도 그렇게 할 수 있었고, 그러면 모두 적절하게 감탄했을 텐데, 대신 일반 대중용으로 오해를 부르는 마케팅 영상을 만들었다는 것임
    덕분에 나머지 답답한 너드들이 “아직 TV에서 본 것처럼 되는 기술은 아니다”라고 설명해야 하는 지저분한 일을 떠맡게 됐고, 마치 우리 잘못처럼 보이게 됨
    이런 걸 돌리는 비용도 궁금함

    • 이걸 개발하고 데모하는 동안 GPT-vision API에 77번 요청했고, 청구액은 0.47달러였음
      꽤 합리적임

  • 이제 Google DeepMind가 최첨단 LLM 쪽에서 실제로 가진 게 없었고 그냥 허세를 부렸다고 확신하게 됨
    ChatGPT가 출시됐을 때 Google은 AI 안전 때문에 공개하지 않는 훨씬 더 좋은 모델이 있다고 했던 기억이 남
    이후 PaLM과 PaLM 2를 내면서 ChatGPT를 이기기 위해 공개할 때가 됐다고 했지만, 좋은 모델은 아니었음
    그다음 Gemini를 크게 띄웠고, Gemini Ultra가 가진 것 중 최고라면 더 나은 모델이 있다고 믿기 어렵다
    1년 전에는 Google이 최고 모델을 갖고 있지만 공개하지 않을 뿐이라고 생각했는데, 이후에는 인프라와 데이터와 인재가 있으니 최고의 모델을 만들 수 있다고 기대하게 됐음
    그런데 실제로 가진 건 아무것도 아니었던 셈임

  • 최근 Google이 예전에 공개하고 이후 여러 업데이트와 반복을 거친 AI 대화형 번역 앱을 실제로 써보려 했음
    실제 대화에는 완전히 쓸 수 없는 수준임
    정말 도움이 될 수 있는 상황에 있어서 기대했는데, 예전 데모에서 굉장히 자연스럽게 보였던 기억이 있었지만 직접 써본 적은 없었음
    지금 써보고 원래 데모를 다시 봤더니, 전부 또는 일부가 조작됐다고 100% 확신하게 됨
    이게 실제로 작동했을 리가 없음
    그림으로 오리 그리는 것보다 훨씬 유용한 실시간 대화 번역도 제대로 못 만든다면, 이번 새 AI도 크게 의심됨
    완전히 같은 상황처럼 보이고, 이런 걸 통째로 조작하려면 얼마나 뻔뻔해야 하는지 이해가 안 됨

    • 그 앱 이름이 뭐였음?

  • 이 멋진 데모와는 약간 별개로, JPEG 이미지만 GPT-4에 넣을 수 있는 인터페이스라는 건 낭비처럼 느껴짐
    사람 눈은 이미지 자체보다 프레임 사이의 차이를 처리함
    고해상도 실시간 비디오 처리를 가능하게 할 다음 큰 단계는 MPEG 같은 비디오 코덱처럼 모델 내부 상태가 키프레임과 델타를 다루도록 하는 것일 수 있겠다는 생각이 듦

    • Google이 Gemini의 다중모달을 말할 때 모드 목록에 “비디오”를 포함
      실제로 비디오를 뜻하는 게 아니라, 이 데모처럼 프레임을 의미할 가능성도 충분함
      내가 본 범위에서는 어디에서도 자세히 설명하지 않았음

  • 이름을 Sagittarius로 고른 게 웃김
    황도대에서 Gemini의 정확히 반대편에 있음

    • Facebook이 예전에 실체 없는 암호화폐 Libra, 이후 “Diem”을 그렇게 이름 붙인 게 오랜 경쟁자인 Winklevoss 쌍둥이가 Gemini라는 암호화폐 거래소를 만든 것에 대한 견제였다는 추측이 있었음
      점성술적으로 얼마나 재치 있는지는 모르겠음

  • 코드상으로는 음성-텍스트 변환과 텍스트-음성 변환이 브라우저 내장 기능을 쓰는 것처럼 보임
    그런 기능이 있다는 걸 자꾸 잊게 됨

  • 이건 API를 거치기 때문에 지연 시간은 이해할 만함
    로컬 인프라에서 추론하면 거의 즉각적이므로, 이 사람이 접근 권한만 있었다면 이 데모가 다른 것들을 압도했을 것임

답변달기