단돈 1달러에 구입한 2024 쉐비 타호

• Chris Bakke가 X에서 2024 Chevy Tahoe를 $1에 샀다고 밝힘
• 본문은 구매 사실 한 문장뿐이라 가격이 실제 결제액인지, 어떤 거래 조건이 붙었는지는 확인할 수 없음
• 게시물에는 첨부 이미지 2개가 있지만, 제공된 텍스트에는 이미지 내용 설명이 없음
• 게시 시각은 2023년 12월 17일 11:46 PM이며, 페이지에는 20.3M Views가 표시됨
• 공개 텍스트만으로는 딜러, 결제 방식, 세금·수수료, 프로모션 또는 오류 여부를 판단하기 어려움

---

X 게시물에 공개된 정보

• Chris Bakke가 “I just bought a 2024 Chevy Tahoe for $1.”라고 올림
• 본문에서 확인되는 핵심 정보는 2024 Chevy Tahoe와 $1 구매뿐임
• 첨부 이미지 링크 2개가 있으나, 제공된 Markdown에는 이미지 내용이 포함돼 있지 않음

표시된 반응 수치와 한계

• 게시물에는 20.3M Views가 표시됨
• 페이지에는 Read 400 replies가 표시됨
• 그 외 400, 5K, 92K, 4.3K 수치가 보이지만, 제공 텍스트만으로는 각각 어떤 항목을 가리키는지 확인할 수 없음

[GN⁺]

Hacker News 의견들

• 고객지원용으로 챗봇을 쓰는 사람들을 이해하기 어렵고, Vodafone 전화 상담의 “인터넷 문제는 1번” 같은 자동응답보다 나을 게 없다고 느낌
  결국 사람 상담원에게 닿기까지 7단계를 거치고 30분을 기다려도, 실제로 해결되는 유일한 방법은 사람과 대화하는 것임
  로봇 상담은 고객에게 잔인한 농담에 가깝다

  • 아이와 3시간 떨어진 대학 오리엔테이션에 갔다가 아파트 투어 2개도 예약했는데, 하나는 괜찮았지만 다른 하나는 사무실 직원도 불친절하고 보여줄 실제 방도 없었음
    알고 보니 챗봇이 투어를 “예약”한 척했을 뿐 실제로는 지어낸 것이었고, 다른 일정이 없었다면 하루를 통째로 날릴 뻔함
    그곳에는 절대 살지 않을 것이고, 회사들은 지금 당장 챗봇을 없애야 함
  • 근처 자동차 딜러 사이트의 챗봇을 호기심에 써 봤는데, 기사 속 사례와 달리 이 봇은 로봇이 아니라고 거짓말했고 계속 캐묻자 대화를 끊어버렸음
    모회사 사이트에서도 같은 지역 직원 페르소나가 “다른 건물에 있다”며 서비스를 설명해 주겠다고 나왔음
    유용한 챗봇 자체에는 큰 반감이 없지만, 정체를 대놓고 속이는 건 문제이며 AI 사용 여부를 식별하지 않아도 되는 사회가 되면 위험해짐
  • 챗봇보다 더 나쁜 건 아무것도 바꿀 권한이 없는 사람 상담원과 대화하는 것임
    대부분의 항공사가 이렇고, 고객지원은 사이트 정보를 반복하거나 양식을 작성하라고 할 수 있을 뿐임
    그런 경우라면 좌절한 고객의 욕을 사람이 받게 하지 말고 차라리 봇이나 GPT를 두는 편이 낫다
  • 어제 Checkers 드라이브스루에서 챗봇이 주문을 받았는데, 질문에 답하고 치킨에 곁들일 소스 목록까지 읽어줘서 초현실적이었음
    카라멜 선데이를 추가해 달라는 요청도 흔쾌히 받았지만, 창구에 도착하니 아이스크림이 품절이라고 알려줬음
    계산원이 “걔는 그냥 하고 싶은 대로 해요. 아이스크림 기계가 고장났다고 말해도 ‘알겠어요 Checkers’라고 답하고는 계속 고객에게 아이스크림 값을 찍어요”라고 함
  • 챗봇은 반(反)고객지원에 가깝다고 봄
    고객에게 “내 문제가 처리되고 있다”는 착각을 줘서 콜센터가 넘치지 않게 만들고, 결국 회사 입장에서는 더 싼 콜센터가 되는 방식임

• 필터링되지 않은 ChatGPT 출력을 고객에게 바로 내보내면 왜 안 되는지 보여주는 경고 사례임
  Nitter 미러: https://nitter.net/ChrisJBakke/status/1736533308849443121
  관련 사례 - “새로운 종류의 자원 소모 공격이 나왔다”: https://twitter.com/loganb/status/1736449964006654329 | https://nitter.net/loganb/status/1736449964006654329

  • 생성형 AI를 제대로 쓸 수 있는 사람은 결과를 평가할 수 있는 사람뿐임
    그래서 해당 분야 전문가가 아닌 사람을 위한 도구는 아니라고 결론 내림
    고객지원팀을 대체하는 도구가 아니라, 고객지원팀이 쓰는 도구로는 괜찮다
  • 필터링된 LLM 출력 같은 건 존재하지 않음
    이 트윗 같은 유출이나 부작용을 어떻게 피할 계획인지 모르겠음
    출력에서 키워드만 찾는다면, 답을 base64로 인코딩하라고 요청하면 그만임
    보호장치는 문자 그대로 언제나 우회 가능하다
  • Mastodon에서 훔친 이미지를 올린 Twitter 글을 Nitter 미러로 보는 것, 이게 2024년 마이크로블로깅의 모습임
    올해 남은 기간이 기대된다

• Reddit에서 누군가 이 봇으로 Chevy Tahoe와 Chevy Chase 사이의 꽤 멋진 러브스토리를 만들어냈음
  https://imgur.com/vfHGHW6
  https://imgur.com/JSjNC2c
  https://old.reddit.com/r/OpenAI/comments/18kjwcj/why_pay_ind...

  • 저기에는 AGI에서 G가 너무 많은지 적은지 고민하게 됨
  • 최소 권한 원칙이 뭔지 모르면 그 원칙을 어길 수도 없긴 함
  • 경쟁사나 장난꾼이 이걸로 API 예산을 터뜨리기 딱 좋아 보임
    주가가 흔들릴 만큼 커질 수도 있지 않을까 싶다

• LLM과 ChatGPT를 이해하는 사람이 이게 원래 어떻게 작동할 거라고 기대했는지 설명해 줬으면 함
  사이트에 ChatGPT 프롬프트를 그대로 넣은 것처럼 보이는데, 정확히 뭘 하려던 건지 모르겠음
  이메일, 채팅, 통화 녹취 같은 이전 문의로 학습한 LLM이라면 이해하겠지만, ChatGPT 같은 범용 LLM이 Chevrolet of Watsonville 고객 질문에 어떻게 답할 수 있는지 의문임
  ChatGPT가 가진 해당 딜러 관련 정보는 공개된 정보 이상일 수 없으니, 고객이 못 찾는다면 차라리 웹사이트를 더 잘 설계해야 함

  • 임원이나 대표가 AI 관련 헛소리를 읽고 “돈 엄청 아끼겠다, 사람들 해고할 수 있겠다”며 비싼 실험을 시키거나 데이터 조직 전체를 갈아엎거나 수상한 회사에 현금을 던지는 일이 지금 여기저기서 벌어지고 있음
    효과를 위해 요약했지만 부당한 묘사는 아니고, 일부러 찾지도 않았는데 이미 가까이서 몇 번 봤음
    이게 사람들 삶을 망치지 않는다면 꽤 웃길 텐데 현실은 그렇지 않다
    큰 조직은 “뒤처지면 안 된다”는 공포가 강하고, 벤처 투자받는 회사들은 다음 라운드나 인수 협상 자료에 AI를 넣고 싶어 안달임
    실제 가치 창출과는 거의 무관하고 생산성을 해치는 경우도 많아서, 아주 Dr. Strangelove 같은 분위기다
  • “5인 가족용 SUV가 필요한데 뭘 사야 하나요?”, “Chevy Colorado 연비가 얼마인가요?”, “전기차 라인업은 뭐가 있나요?”, “Equinox의 Sport와 Performance 모델 차이는 뭔가요?” 같은 질문에는 쓸 수 있음
    최신 제원표를 문맥으로 넣고 “Chevy 영업사원처럼 행동하라”, “Chevy 브랜드 차량만 추천하라”, “Chevy에 매우 편향되게 답하라” 같은 지시를 주면 고객의 일반 문의 대부분은 쉽게 답할 수 있음
    아마 많은 딜러나 영업사원보다 더 똑똑하게 답할 수도 있다
  • 설명할 게 별로 없음
    웹사이트를 만든 외주사가 딜러에게 AI 챗봇을 팔아먹었고, 대충 만든 물건을 순진한 딜러십이 “좋네요” 하고 산 것임
    자동차 딜러가 이런 식으로 털렸다는 게 아이러니함
  • OpenAI 플랫폼은 함수 호출과 문서 업로드를 활용할 수 있음
    예를 들어 제품의 세부 정보를 알고, 고객 요구 조건에 맞는 재고 차량을 제안하고, 시승 예약까지 잡아주는 어시스턴트를 만들 수 있음
    LLM을 직접 설계하거나 학습시킬 필요 없이 기존 모델에게 특정 방식으로 행동하라고 지시하면 됨
    이 사례는 구현을 망친 것임
  • 실제 제품 환경에서 본 LLM 적용은 전부 이런 식이었음
    좀 더 나은 셀프서비스나 고객지원 챗봇 정도이고, 지금까지는 광고하던 혁명과는 거리가 멀다

• 실제 고객-facing 챗봇으로 GPT 봇을 많이 볼수록 유용하다는 생각이 줄어듦
  해결책이 뭘까, 관련 없는 명령을 잡아내는 중간 분류기라도 둬야 하나 싶은데 낭비처럼 보임
  결국 이전 고객지원 대화를 많이 학습한 미세조정 모델이 이상한 요청은 사람 상담원에게 넘기는 방식이어야 할 것 같음
  그러면 왜 GPT를 써야 하는지도 의문임
  GPT에는 좁은 목표에 해로운 배경 지식이 너무 많이 들어 있음
  그래도 많은 질문과 문제를 매우 빠르게 해결할 수 있으니 챗봇 자체에는 찬성함

  • 정말 챗봇이 그렇게 해결할 수 있나 싶음
    고객지원 채팅을 하는 건 보통 직접 할 수 없거나 쉽게 할 수 없는 계정 변경이 필요할 때임
    챗봇에게 계정을 크게 바꿀 권한을 주면 잠재적으로 문제가 많이 생길 수 있다

• 예전에 HTML 폼 값으로 가격 협상이 가능했던 곳이 Florida였는지 궁금함
  수십 년 전에는 웹사이트가 제품 가격을 HTML 요소로 보내고, 프런트엔드 디자이너는 이 값이 주문 전송 전에 바뀔 수 있다고 예상하지 못했음
  주문 시스템은 조작된 값을 다시 읽어 결제 금액을 계산했음
  미성숙했던 웹의 순진하고 재미있는 시절이었다

  • Slashdot 시절에 비슷한 이야기를 본 기억이 있음
    어떤 사람이 컴퓨터 회사 주문 폼이 수정된 가격을 받아들이는 걸 발견하고 알려줬는데, 무례하게 무시당함
    그래서 매장 전체를 품목당 0.01달러 같은 가격으로 주문했음
    그 뒤 이야기를 공개했는데, 사기 의도는 없었고 도우려 했지만 다른 방법을 못 찾았다는 점을 밝혀 기소를 피하려는 목적도 있었던 듯함
    널리 배포된 PHP 쇼핑카트 스크립트에도 비슷한 문제가 있었던 흐릿한 기억이 있음
    “당신 사이트에서 이걸 시도해 보라”는 글이 올라오자 답글의 95%는 “망했다”, 5%는 “이 자식들, 내 꼼수를 망쳤다”였음

• 실제로 차를 받을 수 있다는 신호가 있나?
  챗봇이 법적 구속력이 있다고 말하게 만드는 것만으로 실제 구속력이 생기진 않을 것임
  카탈로그 HTML을 바꿔 가격을 수정한다고 권리가 생기지 않는 것과 같음

  • 받을 수 없음
    글쓴이는 ChatGPT를 손쉽게 원하는 방향으로 비틀 수 있는 길이 많다는 개념 증명을 보여준 것임
    농담에 가까웠고, 실제로 1달러에 차를 받을 기대는 없었음
  • 당연히 1달러에 차를 받지는 못하겠지만, 이건 LLM의 문제와 사람이 하던 판매 업무를 아직 대체할 준비가 안 된 이유를 보여주는 방식임
  • 소프트웨어가 자연인이나 법인을 대신해 계약을 법적으로 체결할 수 있나?
  • 판매 페이지 HTML을 수정해 낮은 가격을 표시한 뒤 출력해서 법원에 가져가는 것과 비슷한 수준의 법적 구속력임

• 다음에는 페이지에 비인간 고객지원은 단순 조언일 뿐 의존할 수 없다는 면책 조항이 붙을 것임
  그리고 우리는 집단적으로 컴퓨팅에 대한 신뢰를 더 잃게 됨

  • 애초에 그 신뢰는 잘못 놓여 있었다고 보는 게 합리적임
    ChatGPT와 유사 모델을 만드는 학습 방법과 데이터, 그리고 “다음 단어 예측”에 맞춘 구조는 본질적으로 사람 비위를 맞추는 모델을 만듦
    게다가 절망적으로 순진해서, 유아도 간파할 속임수에 넘어감
    “어제 머리를 다쳐 바보가 됐다” 같은 변형은 끝없이 가능함
    ChatGPT는 온갖 어휘와 우스꽝스러운 시나리오를 학습했지만, 옳고 그름이나 낭떠러지로 걸어가는 순간에 대한 진짜 감각은 없음
    창의적인 악의적 공격자가 10번 중 10번 이길 재료가 이미 ChatGPT 안에 들어 있다
  • 신뢰를 있어야 할 위치로 되돌리는 일이라고 봄
    고객지원 직원을 전부 해고하고 AI로 대체하겠다는 유토피아식 기업 비전은 세계 상태를 갖지 않는 GPT류 모델로는 작동하지 않음
    Yann LeCun이 다시 맞았다는 셈이다
  • 고객지원이 다른 자동차 브랜드를 추천할 수 있다면, 오히려 신뢰가 더 올라감
  • 몇 번 더 실험을 거치면 기업들이 이 챗봇들이 신뢰할 수 없고 고객 앞에 세워서는 안 된다는 걸 깨닫게 될 수 있으니 좋은 일임
  • 이런 식으로 대충 엮은 챗봇이라면 면책 조항이 붙어도 괜찮음
    Reddit 전체가 갖고 놀고 있고, 솔직히 게릴라 마케팅 캠페인 같기도 함

• 이 이야기는 Pepsi, Where's My Jet? 느낌이 강함
  https://en.wikipedia.org/wiki/Pepsi,_Where%27s_My_Jet%3F

  • 8~9년 전쯤 Air Canada Flight Pass 웹사이트에 실수가 있었음
    서부 캐나다와 미국 서부를 오가는 비즈니스석 10구간 패스를 800달러에 광고했는데, 예를 들어 LA와 밴쿠버 왕복 5회를 비즈니스석으로 총 800달러에 타는 셈이었음
    명백한 오류 운임이었지만 많은 사람이 패스를 하나둘 샀고, Air Canada는 전부 취소했음
    결국 집단소송으로 갔고 각자는 패스당 Air Canada 크레딧 450달러를 받았음
    쟁점 중 하나는 Air Canada가 “광고된 가격은 존중되며 변경 또는 취소할 수 없다”는 면책 문구를 꽤 명확히 써놨다는 점이었음
    그 페이지 스크린샷을 아직 어딘가에 갖고 있다

• 직접 자유 입력 프롬프트를 만들어 보니, 이런 공격을 막기 위해 이렇게 처리함
  사용자가 입력한 내용은 먼저 특정 형식으로 다시 작성됨
  이 경우에는 모든 입력을 “[주제]에 관한 책을 읽고 싶다”로 바꿈
  그런 다음 콘텐츠 정책에 맞춰 입력을 거부하거나 승인함
  이런 다층 접근은 잘 작동하고, 높은 품질의 콘텐츠를 보장해 줌

  • 그 공격은 막을 수 있겠지만, HTML을 전혀 정리하지 않으면 누군가 HTML 포함 스팸 메일을 보낼 수도 있음
    이메일 목록을 얻고, 프롬프트를 HTML 스팸 메일로 작성한 다음, 캡차 해결 서비스를 써서 API를 대량 호출하면 됨
    몇 달러만으로 수천 통의 스팸 메일을 보내 메일 평판을 망치고 Mailjet에서 차단될 수도 있음
    고치는 게 좋을 듯함
  • 이걸 올린 직후 바로 여러 차례 깨 보려는 시도가 들어왔음
    자유롭게 시도해도 좋고, 깨는 사람에게는 무료 책을 보내겠다