▲

모든 것의 미래는 거짓말인가 – 5부: 짜증

 (aphyr.com)
1P by GN⁺ 3시간전 | ★ favorite | 댓글 1개
  • 기업들이 고객 지원 자동화를 위해 LLM 기반 챗봇을 도입하면서, 인간 상담 접근이 제한되고 거짓 응답과 오류가 일상화됨
  • 이러한 시스템은 경제적 계층에 따라 차별적으로 작동하며, 일반 고객은 자동화된 응답에 갇히는 반면 고가 고객만 인간 지원을 받음
  • LLM은 보험 심사·가격 책정 등 모호한 판단 영역으로 확산되어, 사람들은 기계와의 논쟁과 설득에 더 많은 시간을 소비하게 됨
  • ML 시스템의 책임 불분명성과 사회적 편향은 부당 구금, 오인식 등 실제 피해를 초래하며, 복잡한 구조로 인해 책임 추궁이 어려움
  • LLM이 결제와 구매를 자동화하는 Agentic commerce가 확산되면, 조작·사기·비용 전가가 심화되고 ‘짜증의 불평등’이 고착될 가능성 있음

고객 서비스 자동화의 불편함

  • 기업들은 고객 지원 비용 절감을 위해 LLM 기반 챗봇으로 문의를 전환 중이며, 인간 상담원과의 연결은 점점 어려워지는 추세
    • 음성 모델의 발전으로 전화 상담도 자동화될 가능성 존재
    • LLM은 공손하고 인내심 있는 응답을 제공하지만, 거짓말과 오류를 반복해 문제 해결을 지연시킴
  • 이러한 시스템은 경제적 계층에 따라 차별적으로 작동함
    • 고가 고객은 여전히 인간 상담원에게 접근 가능하지만, 일반 고객은 LLM과의 대화에 갇히게 됨
  • LLM은 예측 불가능성과 주입 공격(injection attack) 에 취약해 시스템 외부에서 행동할 권한이 제한됨
    • 단순한 문제에는 유용하지만, 복잡한 행정 오류나 시스템적 문제에는 오히려 좌절을 유발함

모델과의 논쟁

  • LLM은 고객 지원을 넘어 보험 심사, 가격 책정, 법적 판단 등 모호한 업무 영역으로 확산 중
    • 정확성보다 비용 효율성이 우선되어, 잘못된 판단이 발생해도 시스템 전체 수익이 유지되면 그대로 유지됨
  • 이러한 환경은 새로운 형태의 노동 낭비를 초래함
    • 항공권 구매 시 브라우저·기기·계정별로 가격이 달라지는 알고리듬 가격 책정이 대표적 사례
    • 의사들은 보험사의 LLM을 설득하기 위한 특정 문구를 학습해야 하고, 소비자는 카메라 인식에 맞춰 외모를 조정해야 하는 상황 발생
  • 개인들은 기계와의 논쟁에 더 많은 시간을 소비하게 됨
    • LLM은 이해하지 못한 채 응답을 생성하는 ‘중국어 방’ 과 같아, 인간적 이해가 결여됨
    • 미래에는 “보험료를 낮추는 8가지 채소” 같은 기계 대응 요령 콘텐츠가 범람할 가능성 존재
  • 사람들은 LLM을 이용해 관료제에 맞서는 도구로도 활용 중
    • 보험 청구 거절 대응, 구독 취소, 가격 협상 등을 자동화하는 개인용 LLM이 등장
    • 그러나 기업과 개인 간 비대칭성은 여전하며, 개인은 LLM의 오작동으로 인한 금전적 위험을 감수해야 함

책임의 확산

  • “컴퓨터는 책임질 수 없으므로, 관리 결정을 내려서는 안 된다”는 IBM의 1979년 내부 지침이 인용됨
  • ML 시스템은 무고한 사람에게 피해를 주는 사례를 낳고 있음
    • 얼굴 인식 오류로 Angela Lipps가 4개월간 부당 구금된 사건
    • 감시 카메라가 Taki Allen의 과자 봉지를 총기로 오인해 무장 경찰이 출동한 사례
  • 이러한 사건은 단순한 기술 실패가 아니라 사회기술적 시스템의 실패로 분석됨
    • 인간의 판단 부재, 절차적 오류, 조직 간 단절이 복합적으로 작용
  • ML 모델은 사회적 편향을 통계적 객관성으로 포장함
    • 흑인 대출자 신용도 과소평가, 여성 의료 서비스 축소, 흑인 얼굴 오인식 등의 사례 존재
    • 모델의 불투명성과 자기모순적 설명은 검토자의 판단을 왜곡시킴
  • 대규모 모델은 수많은 인력과 조직이 분리된 상태에서 제작되어 책임 소재가 모호함
    • 병원, 보험사, 모델 공급사, 데이터 제공자, 하청 인력 등 다층적 구조로 구성
    • 결과적으로 개인 단위의 책임 인식과 수정 가능성이 약화됨
  • 자율주행차 사고, Copilot 기반 인사평가 해고 등 자동화된 결정의 피해자가 늘어날 전망
    • 기업은 벌금이나 계약 조정으로 대응하지만, 개별 수준의 책임 추궁은 어려움
  • 이는 현대 공학 전반의 구조적 문제로, 복잡한 시스템일수록 사고 원인 규명이 어려움
    • 항공 사고처럼 대규모 조사가 필요한 수준의 복잡성이 일상적 결정에도 확산됨

시장 메커니즘과 ‘Agentic Commerce’

  • Agentic commerce는 LLM이 사용자의 결제수단을 대신 관리하며 자동 구매를 수행하는 개념
    • LLM이 가격 비교, 보험 재계약, 구독 갱신 등을 자동화해 중간 유통 단계를 제거함
  • McKinsey는 인간 중심 광고 감소를 예상하며, 챗봇 내 광고 삽입과 LLM 간 협상 구조를 제시
    • 그러나 이는 LLM 행동을 조작하려는 강력한 유인을 만들어냄
  • LLM 대상 광고와 SEO 조작 경쟁이 새로운 형태의 알고리듬 전쟁으로 발전할 가능성 존재
    • 특정 픽셀·폰트·색상으로 LLM 반응을 유도하거나, 학습 데이터 오염을 통한 판매 유도 시도
    • OpenAI 등 플랫폼은 생산자와 소비자 간 중개자로서 양측에서 수익을 얻는 구조 형성
  • LLM 간 자동 협상은 ‘다크 패턴’의 상호 공격전으로 변질될 위험
    • 허위 신호, 주입 공격, 과도한 거래 로그 등으로 혼란스러운 상호작용 발생 가능
  • 일부 연구기관은 암호화폐 기반 결제로의 전환을 예측하지만, 이는 오류·사기·환불 문제를 심화시킬 가능성 존재
    • LLM이 잘못된 구매를 하면 책임 주체 불명확성이 발생
    • 결제사·은행·LLM 간의 복잡한 분쟁 구조가 형성될 전망
  • 이러한 불확실성은 결제 수수료 인상과 사기 방지 비용 증가로 이어질 가능성
    • 결국 일반 소비자가 위험 비용을 분담하게 됨
  • 소비자는 LLM을 속이거나 협상하기 위해 가짜 프로필·자동화 도구를 사용해야 할 수도 있음
    • 이는 피로감과 비효율을 초래하지만, 시장 전체가 LLM을 채택하면 회피 불가능한 구조로 고착될 가능성
    • 부유층만이 인간 중심 서비스를 유지하며 ‘짜증의 불평등’ 이 심화될 전망

함께 보면 좋은 글 β

▲
GN⁺ 3시간전  [-]
Hacker News 의견들

  • 나는 하루에 1000건의 거래를 할 필요가 없음
    모든 구매를 승인해야 하는 게 치명적인 불편이 될 거라고는 생각하지 않음
    LLM에게 내 신용카드를 맡길 생각은 전혀 없음. 인젝션 취약성 같은 구조적 문제 때문임
    앞으로의 AI 아키텍처에도 마찬가지로 신뢰를 두기 어렵다고 봄
    다만 고객 지원 자동화 같은 건 결국 피할 수 없는 흐름임

    • 기사에서 기계와 논쟁해야 하는 걸 새롭고 짜증나는 일처럼 묘사한 게 불만이었음
      이미 Costco 약국에 전화할 때마다 0번을 누르며 자동응답 지옥을 피하려고 함
      결국 이런 시스템으로 이득 보는 건 주주와 경영진뿐임

  • 요즘 세상은 점점 더 조작과 진실 부재를 중심으로 돌아가는 느낌임
    LLM은 놀라운 기술적 성취지만, 문제는 그것이 계급 격차를 확대하는 방식으로 쓰이고 있음
    앞으로 신뢰할 수 있는 건 대기업도, 국가도, LLM도 아님
    우리가 믿을 수 있는 집단과 공동체를 중심으로 다시 조직해야 함

    • 기술은 중립적이지 않음. 구조적 제약 없이 사용된다면 통제권을 잃게 됨
    • 세상이 조작 중심으로 돌아간 건 예전부터였음. 과거엔 정보 유통이 더 비쌌기에 오히려 더 쉬웠음
    • 신뢰할 수 있는 공동체를 만들자는 말에 공감하지만, 결국 공공 제도와 사회, 시민 정부가 그 역할을 했었음
      문제는 제도가 아니라 환경의 오염이었음. SNS의 관심 경제가 신뢰를 무너뜨렸음
    • 인터넷 이전 사회는 신뢰를 관리하는 시스템을 구축했지만, 지금은 인센티브 구조가 완전히 달라졌음
      정보 오염은 모두에게 영향을 미치며, 결국 봇이 주도하는 정보 생태계로 가고 있음
      사람과 봇이 함께 참여하더라도 규칙 기반의 상호작용이 중요해질 것임
    • 지역 모델과 강력한 소비자용 하드웨어, 그리고 STEM을 싫어하지 않는 대중이 필요함
      하지만 주주 가치는 그걸 원하지 않음. 결국 비용 상승과 기술 혐오의 모순 속에서 진화해야 함

  • 아버지가 AI 도움으로 자동차 키 배터리를 교체했는데 아주 만족했음
    보험 규정도 AI에게 물어봤는데, 직접 검색할 때보다 더 나은 결과를 얻었음
    나도 단순한 질문은 이제 구글 대신 AI에게 묻는 편임
    대부분의 경우 AI가 충분히 ‘쓸 만한 수준’ 이고, 종종 더 나음
    사람들은 그게 단순한 토큰 예측기인지 신경 쓰지 않음. 결과만 좋으면 됨

    • 하지만 이런 건 예전에도 가능했음. 단지 검색 품질이 망가졌기 때문에 LLM으로 옮겨간 것뿐임
      기업들이 문제를 만들고 해결책을 파는 구조 같음
    • 문제는 의료 현장에서도 이런 일이 일어난다는 것임. 간호사가 AI 스니펫을 그대로 믿고 백신을 맞히는 사례도 있었음

  • 고객 지원팀과 함께 일해본 경험상, 기술 개선의 목표는 항상 티켓 수 감소와 비용 절감임
    만족도도 측정하지만 핵심은 티켓 볼륨임
    LLM 이전에도 챗봇은 이런 이유로 쓰였음
    하지만 고객 지원은 기업의 조기 경보 시스템 역할도 하기 때문에, 사람과의 접점을 줄이면 사용자 고통을 파악하기 어려워짐

    • Amazon과 Chewy의 지원을 비교해보면 차이가 큼. Amazon은 사람과 연결되기 어렵게 만들지만 Chewy는 바로 전문가가 응대함
    • ISP의 챗봇이 문제를 해결 못 해서 사람에게 연결됐는데, 그 사람도 LLM 복붙을 하고 있었음
    • 나는 챗봇과 대화해야 하는 순간 다른 보험사로 옮길 준비가 됨

  • “A COMPUTER CAN NEVER BE HELD ACCOUNTABLE”이라는 IBM의 1979년 내부 교육 문구를 떠올림
    오늘날 “컴퓨터가 안 된다고 하네요”라는 말이 반복되는 이유가 여기에 있음
    관리자가 책임을 피하고 싶다면, 컴퓨터에게 결정을 맡기면 됨
    결국 책임 회피의 자동화가 AI를 통해 강화되고 있음

    • 하지만 원래 의미는 반대였음. “컴퓨터는 책임질 수 없으니, 관리 결정은 인간이 해야 한다”는 뜻이었음
    • YouTube 밈 영상 “computah says noooooo”를 떠올리게 됨

  • 내가 가장 우려하는 건 책임의 확산과 희석임
    이미 중간 규모 조직들은 이런 구조로 운영되고 있고, LLM이 그걸 더 악화시킬 것 같음

    • 결국 LLM으로 LLM을 상대해야 하는 시대가 올 것 같음. 자동화한 쪽이 승리하는 세상임

  • Aphyr의 글 시리즈를 친구들에게 보냈는데, “요약해줘”라는 답이 돌아왔음
    예전엔 깊이 있는 토론을 하던 친구들이 이제는 AI 요약본만 보내며 얕은 대화만 함
    주의력 감소가 눈에 띄게 느껴짐

    • 어쩌면 그들이 처음부터 그렇게 똑똑하지 않았던 걸지도 모름
      많은 사람들이 단지 ‘스마트 유튜브 영상’ 을 인용하며 지식을 흉내 냈던 것 같음
    • 나도 비슷한 실망을 느꼈음. 그래서 일부 친구들과 이메일 서신 교환을 시작했음
      긴 글을 주고받으며 깊이 있는 대화를 나누는 게 훨씬 신선하고 의미 있었음
    • 물론, 바쁜 사람들은 8편짜리 논문을 읽을 시간보다 다른 우선순위가 있음
    • Aphyr의 글이 너무 부정적이고 비관적이라 공감이 안 됨.
      AI는 아직 초기 단계이고, 매주 새로운 연구와 모델이 등장함. 미래는 아직 미정임
    • 친구끼리는 AI 요약본을 보내지 말자는 말에 완전 공감함

  • archive.is 링크를 공유함

    • 왜 직접 Aphyr 사이트를 방문하지 않느냐는 질문이 나옴

  • “Burger King의 모델을 토큰 낭비시켜버리는 개인 모델 보이콧” 아이디어가 흥미로움

    • 하지만 CPU 낭비로 항의하는 건 비생산적임. 기업은 그걸 핑계로 고객 서비스를 없앨 것임
    • AI를 싫어하는 사람들은 이미 체제에서 배제된 계층임. 목소리가 미디어에 닿지 않음
      그래서 나는 그냥 ‘트릴리언 파라미터의 지배자들’ 을 받아들이기로 함

  • Aphyr의 글은 흥미롭지만, 전형적인 미국식 논조로 느껴짐
    “이건 나쁘다 → 기업은 규제 없이 남용할 것이다 → 우리는 망했다”의 패턴임
    하지만 막상 규제(law) 를 만들자고 하면 모두 뒤로 물러섬
    미국은 원래 이런 나라였음. 기업은 규제가 없으면 착취함
    단기적으로 돈을 덜 벌더라도 규제가 있는 사회가 장기적으로 더 살 만함

    • 문제는 사람들이 규제를 싫어하는 게 아니라, 부자와 기업이 법을 조종하기 때문임
      헌법 개정이 필요하지만, 지금의 정치 구조에서는 거의 불가능함
    • “과거는 진실했는데 지금은 거짓뿐”이라는 말은 환상임
      예전에도 사기꾼과 스네이크 오일 판매가 넘쳤음
      결국 신뢰는 반복적 관계에서만 생김. 온라인에서는 불가능함
      앞으로는 브랜드 신뢰가 더 중요해질 것 같음
    • 규제가 생기면 기술 노동자의 수익이 줄어듦. 그래서 다들 문제를 인식해도 남의 일로 미룸
    • “그럼 어떤 규제를 제안하겠느냐”는 질문이 나옴
    • 규제를 요구하는 사람들은 결국 불완전한 정치인에게 권력을 주자는 말이 됨
      그래서 다른 나라에 뒤처지는 결과를 낳기도 함
답변달기