우리가 악당인가?

 (geohot.github.io)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Hinge의 boosts 경험을 계기로, 일상 서비스가 심리 기법과 알고리듬으로 매 상호작용에서 더 많은 가치를 뽑아내는 구조를 비판함
  • 팁 화면, Uber 알고리듬, 커피 구매, 데이트, 차량 호출, 친구 간 결제까지 중개자가 끼어들며 사용자를 조금씩 더 압박함
  • 시장이 조작에 지친 사용자를 보호할 것이라는 기대와 달리, 기업은 대시보드와 AI로 고객 생애 가치를 더 정교하게 최적화함
  • 참여도를 극대화하지 않으면 경쟁에서 밀리는 Red Queen’s race가 벌어지고, 사회적 자본과 가치까지 Moloch에게 소모됨
  • 광고, 가격 차별, 빅데이터·머신러닝·심리학을 이용한 대규모 조작은 정당화되기 어렵고, 현대 자본주의는 wireheading에 가까워졌다고 봄

일상 서비스가 가치를 추출하는 방식

  • Hinge 가입 후 접한 boosts가 문제의 출발점임
  • 팁 화면, Uber 알고리듬, 여러 제로섬 상호작용은 심리 기법을 통해 사회의 매 순간에서 조금씩 더 많은 가치를 뽑아내는 사례로 이어짐
  • 커피 구매, 데이트, 차량 호출, 친구에게 돈 보내기 같은 정상적인 사회 활동에도 중간자가 생김
    • 이 중간자는 최신 AI 알고리듬으로 사용자를 더 많이 짜내는 역할을 함
  • 사용자가 조작당한다고 느끼면 시장이 고칠 것이라는 기대는 약함
    • 기업은 대시보드로 이런 반응을 먼저 파악함
    • AI를 조정해 사람들이 덜 조작당한다고 느끼게 만들 수 있음
    • 목표는 단기 추출을 넘어서 고객 생애 가치 극대화에 있음

경쟁과 개혁 가능성에 대한 회의

  • 경쟁에서 빠져나오기도 어려움
    • 경쟁 사업을 운영하려면 참여도 지표를 극대화해야 함
    • 모든 지표가 목표가 되고, 참여도를 극대화하지 않으면 참여도를 잃는 Red Queen’s race가 됨
    • 사회적 자본과 가치까지 Moloch에게 바치는 상황으로 이어짐
  • 개인의 선택 거부만으로는 해결하기 어렵고, 이는 집단행동 문제에 가까움
  • 민주주의적 개혁 가능성에도 회의적임
    • 알고리듬이 자신들을 없애는 투표를 허용하겠느냐는 의문을 던짐
    • 투표와 행동의 분리는 Uber가 운전자에게 지급하는 금액과 승객 요금이 분리되는 구조에 비유됨
    • 개혁은 없고 혁명만 있다는 강한 표현까지 사용함
  • 금융 붕괴, World War 3, 대규모 기아 같은 극단적 사건 이후에도 대규모 조작을 괜찮다고 여길 수 있는지 질문함
  • 광고, 가격 차별, 빅데이터·머신러닝·심리학을 이용한 대규모 조작은 괜찮지 않다고 단정함
  • 현대 자본주의는 wireheading이며, 고객 다수를 Moloch에게 먹인 뒤에야 이 교훈을 배우게 될 것이라고 봄

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 어떤 사람들에게는 돈을 더 내고 줄을 건너뛰는 것 자체가 목적임. 하지만 모두가 프리미엄을 내게 되면 줄이 다시 자기 앞에 생긴다는 걸 예상하지 못했음
    호주 항공 마일리지 이용자들이 대체로 이런 상황인데, 예전에는 진입 장벽이 높아 혜택이 있었지만 FIFO 근무가 클럽 등급을 범용화하면서 탑승 이점은 거의 사라졌고 포인트 항공권도 거의 없음
    그래서 지위 추구와 차등 가격 추구가 소비자에게 무기화되면 반사회적 패턴이 맞다고 봄. Uber는 법 위반을 감수하는 사람들에게 보증까지 해주며 시장에 들어왔고 이익을 계속 해외로 빼돌려 싫어했지만, 택시 서비스가 너무 나빠진 덕분에 이제는 Uber와 할증 요금에 익숙해져 버렸음
    호주에서 PayWave와 음식 서비스에 팁 기능이 들어온 것도 다들 꺼림칙하게 느낀다. 호주답지 않음. 법정 최저임금과 가산수당이 있으니 그 기능은 꺼야 함
    유럽에서 항공권에 수하물 포함을 의무화하려는 움직임에도 조롱이 꽤 있는데, 깨끗한 속옷이 필요하다는 걸 나약함으로 보는 진성 신봉자들이 아직도 있음

    • 비미국인들은 팁 문화 확산에 맞서야 한다고 봄. 모든 팁을 거부해야 함
      직원들이 저임금인 건 알지만, 팁을 주기 시작하면 임금은 더 내려가고 모두가 더 나빠지는 미끄러운 경사로임
    • Uber와 Lyft는 비싸지만, 예전 택시 전성기를 제대로 기억한다면 이들이 대체한 것보다 더 나쁘다고 말하긴 어려움. NYC 같은 대도시는 택시를 쉽게 잡을 수 있었지만, 그 외 지역은 전화번호부에서 찾아낸 수상쩍은 업체에 의존해야 했고 차가 온다는 보장도 없었음
      지금은 어디서든 비교적 빠르게 차를 부를 수 있음. 운전자나 승객을 상대로 한 약탈적 사업 관행은 심각하고 더 강한 규제가 필요하지만, 예전 방식으로 돌아가고 싶지는 않음
    • EU의 저가 항공사, 특히 Ryanair나 EasyJet에서는 이제 우선 탑승 줄에 거의 모두가 서고 일반 줄에는 나 혼자 있는 경우가 있음. 예전에는 돈을 더 내면 먼저 탔지만, 이제는 일반 줄에 있어도 우선 탑승 줄의 2/3보다 먼저 들어가곤 해서 이상함
      Uber 할증도 여기서는 몇 분 사이에 40→50→38유로처럼 크게 움직이므로 앱을 잠깐 보다가 좋은 가격에 잡으면 됨. 택시는 거의 항상 두 배, 공항에서는 세 배까지 비싸고, 무례한 경우도 많으며 평점도 줄 수 없어 잘 안 탐
      최근 택시를 탔을 때는 공항까지 10분 거리에서 Uber가 15유로였고, 실제 택시 기사가 그냥 15유로를 내라고 해서 탔는데, 같은 차 뒤에 탄 다른 승객에게는 72유로를 받았음. 10분 운행으로 거의 90유로를 번 셈
      Uber를 싫어해서 안 쓰는 건 얻는 것에 비해 삶을 너무 불편하게 만듦. 택시 업계는 충격이 필요했고 아직도 배운 게 없어 보임. 미리 예약해야 하고 앱은 별로이며 훨씬 비쌈. 2명 이상이면 기차보다 싼 경우도 많아서, “가능하면 기차를 타야 한다”는 나라에서는 꽤 이상한 일임
    • 시장 순수주의자라면 이건 단지 상품 가격이 잘못 책정됐다는 뜻이라고 말할 것 같음. 실제 표 가격은 프리미엄을 더한 가격이어야 하고, 표 가격과 줄을 건너뛰는 가격을 모두 올려야 한다는 식임
    • 신경 쓰지 않고 그냥 내가 줄 맨 뒤라는 걸 받아들이면 자유가 생김. 프리미엄을 내지 않고 로비에서 쉬다가, 돈 낸 사람들이 줄에서 기다린 뒤 거의 빠져나가면 그때 내 차례가 됨

  • 조작당했을 때 인간이 보이는 오래된 반응인 이탈을 과소평가하면 안 됨
    이건 이론이 아니라 지금 벌어지는 일임. 디지털 디톡스의 유행, 젊은 층의 피처폰 부활, 공개 피드에서 비공개 DM으로의 이동, “방해 금지” 세대는 모두 같은 현상임. 사람들은 조작을 느끼고 알림 하나씩 끄며 빠져나가고 있음

    • 그 이탈 지표도 가치가 있으니 더는 공짜로 넘겨주지 않겠음. 일부러 무작위로 참여하고 이탈해서 무엇이 먹히는지 아무도 모르게 만들 수 있음
      디지털 디톡스와 피처폰 부활도 이제 시장이 됐고, 그냥 “라이프스타일”일 뿐임. 사람들은 조작을 느끼지 못함. 조작 인식조차 시장이 됐고, 분명 그걸로 잘 나가는 YouTuber들도 있을 것임
      흥미로운 질문은 프로파일링 알고리즘을 어디까지 속일 수 있는가임. 내가 아닌 무언가라고 믿게 만들 수 있는지, 얼마나 망가뜨릴 수 있는지가 더 중요함
    • 자본주의에서 이탈할 수는 없음. 그런 요령은 무리에서 가장 느린 영양이 되지 않는 데는 도움이 될 수 있지만, 착취에서 완전히 자유롭다는 뜻은 아님
    • 결국 잡기 힘든 이탈 달러를 노리게 될 것임
      watch?v=9h9wStdPkQY는 언어와 내용 때문에 링크 머리를 뺐지만, 뭘 해야 하는지, 아마 누구 영상인지도 알 것임
    • 2012년부터 삶의 사소한 부분까지 상품화하고 수익화하는 소셜 미디어와 앱에서는 오래전에 빠져나왔음
    • “이탈”이 “신경 끄기”와 같지는 않고, 그게 좋은 인간적 반응인지도 걱정됨
      “신경 끄기”는 개인 수준에서 작동하지만, 이탈은 집단 수준에서 작동해야 하는 것으로 보임. 사회과학 전문가는 아니지만, 이탈이 긍정적 변화로 이어지려면 깨진 유리창 이론과 결합되어야 한다고 봄. 문제는 이미 많은 사람이 그 이탈 단계에 있다는 점임
      모두에게 불쾌한 분위기 속에서 환경은 함께 쇠퇴하지만, 유도된 집단적 변화는 일어나지 않음. 피처폰과 디지털 디톡스는 예외에 가깝고, 실제로는 받아들일 수 있는 기준이 체계적으로 낮아지고 있음. 더 나쁜 건 그게 평등과 포용의 이름으로 진행되는 동안 집단 간 불균형은 더 커진다는 점임
      Occupy Wall Street와 아랍의 봄 이후 “신경 쓰지 않기”가 유행이 됐음. 이는 기업 마케팅에 가까운 자기 최적화, 성장 해킹, 데이터 기반 라이프스타일과 대비됐고, 80~90년대 경제 호황에 대한 향수에서 hyper/super/über 같은 형태소도 되살아났으며, 신자유주의적 자유시장 가속주의와 Bitcoin도 그 흐름에 맞아떨어짐
      “신경 쓰지 않기”는 시민의 개성을 강조하기 위해 관심을 빼앗는 기존 시스템을 비판한 것이었지만, 정치인과 기업 운영자들은 이를 현재 역할의 책임보다 자기 경력에 더 집중하는 것으로 오해했음. 점점 더 연결되는 세계에서 그들도 더 이상 “신경 쓰지 않게” 됐음
      https://en.wikipedia.org/wiki/Broken_windows_theory
      https://en.wikipedia.org/wiki/The_Subtle_Art_of_Not_Giving_a...

  • 정부가 모든 사람에게 출생 시 1,000달러짜리 S&P 500 계좌를 열어주면 사회보장 재원이 된다는 발상은 좋은 지점임. 결국 그 돈은 최대 기업들과 언젠가 커질 것이라고 여겨지는 기업들로 보장된 유입이 되고, 공공 현금을 민간 기업으로 재배분하는 또 하나의 방식임
    비슷한 예로 기본소득은 역동적이지 않은 경제의 증거처럼 보임. “당신과 가족을 부양할 품위 있는 일자리를 아마 찾지 못할 테니, 정부가 존재하는 동안 편안하게 지내게 돈을 주겠다”는 사실상의 승인과 인정임

    • 그런 식의 기본소득을 지지하는 사람은 많지 않다고 봄. 내가 보는 기본소득은 최저 생계 보장이고, 그 이상을 벌어도 생계 보장이 줄지 않아야 한다는 개념임
      민주화된 시장경제에는 기본소득에 가까운 무언가가 필요하다고 생각하며, 스칸디나비아 국가들이 그 주장을 뒷받침한다고 봄
    • S&P 500 투자는 어느 시점이든 가장 큰 기업들에 배분되는 것임
      ETF는 리밸런싱을 해야 하므로 특정 주식을 늘리고 줄이며, 때로는 제외도 함. SPY를 사면 현재 편입 기업뿐 아니라 앞으로 들어올 기업에도 노출됨
      어떤 기업이 지수에서 제외되면 ETF가 기계적으로 움직이기 때문에 주가가 크게 떨어질 수 있음. “크다”는 상대적이지만, 지난주 PLTR가 Russell 2000에서 빠진 뒤 꽤 하락한 것이 예임
    • 미국이 인플레이션 수출국이라는 증거임. 기본소득은 전 세계 규모의 전략적 인플레이션과 경쟁할 수 없음
    • S&P 500 기업들은 자기 주식이 매수된다고 해서 현금 유입을 받지는 않음

  • George의 비기술 글은 대체로 영감이 없어 보여 피하는 편인데, 이번 글은 실제로 말이 됨
    물론 그가 평소 칭찬하고 어울리는 사람들과의 관계를 돌아보는 자기 성찰까지 이어지지는 않겠지만, 적어도 다른 사람들은 내면을 들여다보고 다르게 행동할 수 있을지도 모름
    뭔가 바뀌어야 함. HN에서도 지난 몇 년간 이런 정서가 늘어난 것 같음. 내가 더 잘 보게 된 것일 수도 있지만, 문제는 Grape의 존재 자체라기보다 그것이 어디서 나왔는지일 수도 있음

    • 제목을 “Are we the baddies?”로 붙였길래, 이 모든 일에서 자기 역할을 조금이라도 돌아볼 줄 알았지만 그러지 않았음
    • 일부는 그저 유행을 따라가려는 것 아닌가 싶음. 성찰 방식이 “대시보드에 휴대폰 카메라를 붙여 자율주행차를 만들자”는 접근처럼 읽힘
    • geohot은 Advent of Code 순위표에 오르려고 LLM을 쓴 그 사람임
    • 이 링크를 그냥 남겨둠: https://x.com/ns123abc/status/1940980667455836578

  • 저자는 자기 제품부터 시작해야 함. 그 제품은 최소 14일마다 인터넷에 연결하지 않으면 작동을 멈춤
    https://github.com/commaai/openpilot/blob/a8ec08e5bbc2be0a32...

  • 초기 브라우저와 현대 인터넷 인프라에서 일했고, 지금의 인터넷을 가능하게 한 초대규모 클라우드 인프라 구축에도 참여했음. 벌어지는 일 상당수에 손이 닿아 있었고, 진심으로 더 나은 무언가를 만든다고 느꼈음
    그러다 제품 관리자 역할이 생겼고, 내가 해온 모든 일을 후회하게 됨

    • 좀 더 풀어줄 수 있는지 궁금함
      작은 사업을 오래 운영하면서 실행 가능한 회사를 만들었고, 나중에는 유혹에 넘어가 꽤 큰 기술 회사에서 제품 관리자로 일했음. 훌륭한 제품을 만드는 것에 대해 내가 알던 것과는 너무 동떨어져 있었지만, 작은 회사에서 “모든 것”을 해보며 배운 방식으로 일을 밀어붙이는 데는 아주 잘 맞았음. 성과는 많았지만 거의 계속 번아웃과 불안에 시달렸음
      매우 인기 있는 클라우드와 오픈소스 소프트웨어에도 참여했지만 대부분 싫었음. 특히 제품 관리와 제품관리 산업복합체가 그 역할을 현실에서 분리시키면서도 창업자, C레벨, 구세대의 헛짓을 고치라고 요구하는 방식이 싫었음. Miro 보드와 끝없는 GDocs 댓글 스레드도 지쳤음
      그래서 높은 보상까지 포기하고 제품 조직을 떠나 다시 만드는 일로 돌아갔음
      동의하지 않는 게 아니라, 제품 관리자 역할의 부상에 대한 개인적 경험을 더 듣고 싶음. 다만 PM과 PM 중심 문화만 탓할 수는 없다고도 봄. 아직 존중하거나 감당할 수 있는 행동과 결정을 하는 리더십 팀을 만나본 적이 없고, 물론 내가 문제일 가능성도 큼

  • 제목은 영국 쇼 That Mitchell and Webb Look의 스케치에서 온 것임: https://www.youtube.com/watch?v=h242eDB84zY

  • 밖에 나가 사람들과 말하면 됨. 데이팅 앱 주위에 해자가 있는 것도 아니고, 인간은 여전히 현실 공간에 존재함
    데이팅 앱 계약서가 낯선 사람이 가볍게 접근하는 걸 금지하는 경우는 아직 못 봤음. 중매인도 여전히 있음

    • 그렇게는 못 함. 90년대처럼 낯선 도시 사람에게 가볍게 “안녕”이라고 말했다가는, 잘해도 TikTok에서 소름 끼치는 사람으로 낙인찍힐 가능성이 큼
    • 안타깝지만 그런 건 신뢰 수준이 높은 작은 마을에서나 가능함

  • 이런 글은 일종의 인구통계적 열지도로 흥미롭다고 봄. 예전에는 geohot의 해킹처럼 자기 관심사만 좇던 사람이 이제는 문제를 인식하고, 글을 쓸 만큼 동기부여가 됐다는 뜻이기 때문임
    geohot은 내가 보기에는 그 지도 한가운데 꽤 깊이 들어와 있음

    • 사회 문제를 분산된 방식으로 가리킬 수 있게 된 건 좋은 면임. Trevor Noah나 소셜 미디어 전반을 봐도, 지금 우리 사회에는 절실하게 공동체가 필요하다는 점이 드러남
      현대판 마을이 필요함. 모든 결정을 개인주의적이고 자기중심적으로만 하지 말고, 서로의 요구와 필요에 맞춰야 함. 부모가 틀렸다는 걸 알아도 때로는 자기주장을 밀어붙이지 않을 필요가 있음. 완전히 쪼개져 거래적인 존재가 되기보다, 상호의존적 사회를 길러야 할 때임
    • George Hotz에게서 급진적 반자본주의처럼 들리는 내용이 나올 줄은 예상하지 못했음
      다만 이 글에서 Hotz가 표현한 감정과 같은 감정을 느껴왔고, 그가 그것을 말한 점은 높이 평가함

  • 답은 “그렇다”이고, 얼마나 나쁜지에 대한 답은 정말 나쁘다임. 인간은 타고난 협력이 얼마나 필수적인지, 또 얼마나 취약한지 이전에는 이해한 적이 없음
    개미 군집에서 페로몬 길을 사용할 능력을 없애면 어떻게 될까
    개미 군집의 페로몬 길을 이용해 일부 개미가 다른 개미를 희생해 “이익”을 얻도록 만들면 어떻게 될까
    개미는 자기의식이 거의 없을지 모르지만, 거기에 의식까지 더해져 조작당하고 있다는 사실을 알려준 뒤 위 두 실험을 다시 하면 어떻게 될까
    인간이 사용하는 것 같은 복잡 적응계를 이해하는 좋은 방법은 직접 그런 시스템을 만들어보는 것임. John Holland의 “Hidden Order”가 그 방법에 대한 힌트를 줌

답변달기