우리가 악당인가?

• Hinge, Uber 등 주요 앱에서 고도화된 알고리듬과 심리적 기법이 사용자로부터 이익을 극대화하는 방향으로 작동함
• 사회의 일상적인 상호작용마다 AI 기반의 중개자가 관여해 추가 이익 추출 구조를 만듦
• 기업은 Lifetime Customer Value 극대화를 위해 사용자 반응에 맞춰 알고리듬을 빠르게 조정함
• 경쟁에서 뒤처지지 않으려면 이 추세에 편승해야 하므로, 집단적 문제로 간주할 수 있음
• 데이터, 머신러닝, 심리 기법을 동원한 대규모 조작이 일상화되어, 근본적인 변화 없이는 개선되기 어려움

---

문제 제기: 알고리듬과 심리 기법의 일상화

• Hinge, Uber 등 주요 서비스는 부스트, 팁 화면, 영업 알고리듬 등 다양한 수단으로 사용자로부터 이익을 최대한 이끌어내는 구조임
• 일상생활의 거의 모든 영역에 중개 AI가 개입하며, 첨단 AI 알고리듬을 통해 "조금 더"를 끌어내는 방식이 사회 전반에 퍼짐
• 커피를 사거나, 데이트를 하고, 친구에게 돈을 보내는 등 일상적 활동에서 악의적 중개자가 자동화되어 수익을 추구하게 됨

시장 자정 가능성 및 알고리듬의 적응

• 많은 사람들이 조작에 피로감을 느끼고 스스로 회피할 것 같지만, 기업들은 이미 이를 예측하여 데이터 대시보드를 통해 즉각적으로 대응함
• AI는 사용하는 이가 불편함을 느끼기도 전에 감정 조절 및 추가 보상 제공으로 이탈을 방지하는 식으로 작동함

경쟁과 집단적 행동 문제

• 이런 시스템에서 벗어나려 해도, 경쟁 상황에서는 모든 사업자가 참여하지 않으면 불리해지는 현상이 심화됨
• 모든 지표(메트릭) 이 경쟁의 대상이 되고, ‘Red Queen’s Race’ 처럼 뒤처지지 않기 위해 사교 자본과 가치관도 희생하게 됨

현실의 사회 구조와 변화의 어려움

• 사회 전체가 이 구조에 매몰되어, 개인의 탈퇴로는 근본적 변화를 이루기 어려운 집단행동문제가 존재함
• 알고리듬 주도의 민주주의에서는 선택권(투표) 역시 실제 변화와 동떨어져 있고, 기존 구조에서 개혁이 아닌 근본적 변화(혁명) 만이 실질적 해결책임을 시사함

결론 및 문제의 본질

• 광고, 가격차별, 대규모 데이터 기반 조작 모두 본질적으로 옳지 않음
• 현대 자본주의는 '와이어헤딩(wireheading)' 현상처럼 인간의 행동을 극단적으로 유도하며, 본질적으로 이 문제는 규모와 무차별적 조작이라는 새로운 수준에 이르렀음을 강조함

[GN⁺]

Hacker News 의견

• 일부 사람들에게 프리미엄을 내고 줄을 건너뛰는 것 자체가 목적이었던 상황 설명, 하지만 모두가 프리미엄을 내기 시작하면 결국 줄이 그대로 남아있는 현실 언급, 이런 현상은 호주 상용 비행에서 두드러지는 형태, Fly in Fly out 근무 덕분에 클럽 등급이 흔해졌고, 탑승 우위나 포인트 항공권도 거의 없어지는 현상 공유, 요컨대 차별적 가격 책정과 지위 추구는 소비자를 대상으로 할 때 사회적으로 해로운 패턴이 된다는 점 강조, Uber를 싫어했던 개인적 경험 및 택시 서비스가 나빠진 현실, 불법적 진입을 묵인한 Uber의 사업 방식 비판, 그러나 이제 Uber가 너무 익숙해져 요금 폭등도 별로 신경 안 쓰는 상태 인정, 호주에서 팁 문화가 도입되는 것에 대한 불쾌감 표현, 법으로 보장된 최저 임금과 페널티 레이트가 있으니 팁 기능은 꺼야 한다는 입장, 유럽 항공에서 수화물 포함 의무화 논란 사례, 깨끗한 속옷이 약한 거라고 조롱받는 분위기까지 유럽의 특이한 문화 설명

  • 비미국인이 팁 문화에 대해 단호하게 거부해야 한다는 입장, 팁을 받기 시작하면 임금이 더 내려가 상황이 더욱 악화된다는 경고와 함께 팁 자체를 아예 받지 않아야 한다는 주장

  • Uber와 Lyft 가격이 비싸긴 하지만, 과거의 택시 서비스와 비교할 때 지금이 훨씬 나은 점 강조, 뉴욕 등 대도시 제외하면 예전에는 전화번호부에서 이름을 찾아 의심스러운 업체와 예약해야 했고, 차를 잡기도 힘든 시절 회상, 지금은 어디서든 앱으로 바로 차를 부를 수 있고 속도도 빠르며, 운전자나 승객 대상 불공정한 상술은 분명 문제이긴 하지만, 과거 방식으로 돌아가고 싶은 생각 전혀 없다는 강조

  • 특히 유럽 할인 항공사에서는 우선 탑승권을 거의 전원이 사는 현상 체험, 예전에는 추가 요금 내고 앞서 가는 것이 의미 있었으나, 이젠 우선 탑승 대기열이 더 길기도 한 아이러니 강조, Uber의 요금 폭등 구간에서는 앱 가격 변동을 잠깐 지켜보다가 저렴할 때 잡는 방식, 택시 요금이 Uber보다 2~3배 비싸고 친절하지도 않으며, 평가 기능도 없어 택시 이용을 꺼리는 경향, 실제 사례로 공항까지 Uber보다 싸게 택시를 탔던 경험 공유, 택시 기사가 Uber 요금만큼 현장 결제로 태워주고, 다른 승객에게는 5배 요금 받아버린 황당 경험, Uber를 쓰지 않겠다는 태도는 인생을 더 힘들게 만들 뿐이라는 결론, 유럽에서는 2명 이상만 돼도 기차보다 Uber가 싸지는 경우가 많다는 얘기도 덧붙임

  • 모두가 프리미엄을 내놓고 다시 대기열이 생기면, 시장 논자라면 결국 프리미엄이 포함된 실제 가격이 진짜 가격이 되어버린다는 주장, 줄서기 비용이 더 높아져야 해결된다는 관점 공유

  • 대기열을 신경 쓰지 않고 맨 마지막에 들어가는 편안함을 오히려 즐긴다는 시각, 프리미엄을 안 내고 로비에서 여유롭게 기다리다가 줄이 거의 다 빠질 때 들어가도 된다는 개인 태도

• 기술 발전과 조작에 대한 인간의 타임리스한 대응 방식이 이탈(disengagement)이라는 주장, 이건 이론이 아니라 이미 일어나고 있는 현상으로 디지털 해독, 젊은층의 덤폰 사용 부활, 공개 피드 대신 프라이빗 DM, ‘방해금지’ 세대 등 실제 사례 언급, 사람들은 조작을 체감하며 하나씩 옵트아웃해 간다는 진단

  • 나의 이탈 수치는 이제 공짜로 줄 생각 없음, 일부러 랜덤하게 이탈해서 어느 쪽도 효과를 예측 못하게 만드는 전략 활용 의견, 덤폰 열풍이나 디지털 해독조차 이제 단순히 하나의 라이프스타일 시장이 되어버린 현실, 조작 인식조차 새로운 비즈니스 소재가 됐음을 꼬집음, 알고리즘을 얼마나 해킹할 수 있을지, 본인과 다르게 프로파일링하게 만들 수 있을지 실험적인 질문을 던짐

  • 2012년 이후 앱과 소셜미디어 등 삶을 상품화/수익화하는 서비스를 완전히 끊은 경험

  • 기업은 이제 ‘이탈 수익’을 노리게 될 거라는 씁쓸한 전망, 유튜브 watch?v=9h9wStdPkQY (링크는 언급만) 등 참고자료 공유

  • 자본주의로부터의 완전한 이탈은 불가능하다는 의견, 언급된 여러 이탈 행동(디지털 해독, 덤폰 등)은 단지 덜 당하는 정도이지 진짜 착취로부터 자유롭지 않다는 현실 인식

  • 이탈은 무관심(nonchalance)과는 다르며, 이게 꼭 좋은 인간적 대응이 아닐 수 있다는 우려, 무관심은 개인적 차원의 태도지만 이탈은 집단적 효과를 목표로 하는데, 대부분의 경우 긍정적 변화로 이어지지 않음을 걱정, 오히려 공동체적 악화와 기준치 하락이 이어지는데, 평등과 포용의 이름으로 이루어지지만 실상 양극화가 심화되는 현실 지적, ‘Occupy Wall Street’와 ‘아랍의 봄’ 이후 무관심(hyper-individualism)이 유행하면서 정치인이나 경영진까지도 책임 의식을 잃고 본인 커리어에 더 집중하게 된 배경 설명, 참고로 Broken Windows Theory 위키피디아, The Subtle Art of Not Giving a F*ck

• 저자가 만든 제품(openpilot)은 14일마다 인터넷 연결이 안 되면 작동이 중단되는 문제 지적, 관련 코드 링크 공유

  • 저자가 Twitter에서 자발적으로 일한 전력도 문제로 삼음, Musk 이후 Twitter가 궁극의 프로파간다 추천 알고리즘이 된 사실 비판, 관련 기사 링크 공유

• George의 기술적이지 않은 글을 대체로 피하지만 이번 글은 의미 있다고 평가, 보통은 자아성찰 부족하고 필요한 반성이 안 이뤄지나 이번에는 자기성찰을 자극할 기회로 삼을 수 있음, 최근 HN 커뮤니티에서도 비슷한 분위기가 늘어난 것을 느낀다고 피력, 변화의 필요성에 대한 위기의식 공유

  • "Are we the baddies?" 라는 제목을 보고 개인적 역할에 대한 성찰이 나올 줄 알았으나 그렇지는 않아 아쉬움 표출

  • 어떤 사람들은 그저 유행을 따라가는 것 아닌가 하는 의문, 깊은 성찰 없이 표면적으로 흉내만 내는 듯한 글의 뉘앙스에 대해 언급

  • geohot이 LLM을 이용해 Advent of Code 순위권에 오른 사례 언급으로 다소 비꼬는 반응

  • 참고로 관련 트윗 링크 남김

• "정부가 모든 이에게 $1000로 시작하는 S&P 500 계좌를 열어주면 사회보장이 해결된다"는 주장 인용하며, 이것이 본질적으로 단순히 대형 기업(또는 그 계열)으로 지속적 공적 자금 유입을 보장할 뿐이라고 지적, UBI(기본소득)도 본질적으로 역동성 없는 경제 현상의 방증, 정부가 일자리를 제공하는 대신 존재 자체에 대한 급여를 제공함을 묵인하는 구조적 문제 설명

  • 기본소득(UBI)에 대해 ‘존재만으로 편안하게 해준다’는 식의 해석에는 동의하지 않음, UBI는 최소한의 생존을 보장하고 그 이상 추가 소득은 본인이 벌 수 있다는 점 강조, 스칸디나비아 국가의 사례를 UBI가 필요한 시장경제 구조의 근거로 제시

  • S&P 500 기업은 주식이 매수되어도 실제로는 자금 유입이 발생하지 않는 구조임을 설명

  • ETF(지수추종펀드)는 갱신과 리밸런싱 과정에서 특정 기업이 빠지면 주가가 큰 폭으로 떨어지기도 함, 예로 최근 Pltr이 Russel2000 지수에서 제거된 후 큰 하락했다는 사실 공유

• 인터넷 브라우저, 현대적 인프라, 하이퍼스케일 클라우드 구축 경험 공유, 처음에는 더 나은 무언가를 만든다는 자부심이 있었으나, 제품 관리자(Product Manager)라는 역할이 생기고 나서 모든 것을 후회하게 됨

  • PM 경험자 입장에서 제품관리 역할이 최근 어떻게 현실과 멀어지게 변질됐는지 확장해서 설명요청, 스타트업과 차이가 크고, 미로 보드와 끝없는 GDocs 덧글 대화에 치여 현실과 동떨어진 방식에 상처 받았던 경험 공유, 높은 연봉도 포기하고 다시 빌딩 영역으로 돌아가게 한 배경, 다만 제품관리와 PM 중심 문화만 탓할 수는 없고 대부분의 경영진 결정에 공감이나 존경을 느끼기 어려운 현실이 자주 발생했다고 고백

• 영국 TV쇼 "That Mitchell and Webb Look"의 스케치 장면이 제목의 원조임을 밝히고 유튜브 링크 공유

  • 해당 쇼의 재치있는 풍자력 언급, Dr Death 에피소드 또한 현대 과학기술을 풍자하는 데 매우 적합하다고 평, 관련 영상 링크

  • 슬프지만 웃긴 또 다른 에피소드 링크 추천

  • 고전적 명장면 링크 언급

  • 이젠 공식적으로 나이 들었다는 농담

• 인간의 협력성이 얼마나 본질적이고, 동시에 얼마나 취약한지 인류가 제대로 이해해 본 적이 없다는 의견, 개미의 페로몬 신호를 제거하면 Colony가 어떻게 망가질지, 일부 개미에게 ‘이득’을 몰아주면 어떻게 시스템이 변하는지에 대한 사고실험 제안, 자의식이 추가된 개미에 실험을 반복하면 결과가 또 다르다는 상상, 복잡적응 시스템에 대한 이해는 직접 만들어 보면서 익힐 수 있다는 조언과 함께 John Holland의 "Hidden Order" 추천

• George가 NVidia 독점에 대항해 AMD를 시도하려는 모습에 호감이 생긴다는 반응, 시장 독점 해소를 바라는 태도 긍정적 평가

  • 그러나 AMD 칩을 사용하던 도중 버그 탓에 장시간 안정 작동이 어려워 포기했던 듯하다는 지적

  • 성공적이고 열정적인 George Hotz조차 이성 문제에서 초보자의 길을 걷는 모습을 보면 자신처럼 특출나지 않은 사람은 더 고생할 수밖에 없다는 연민 표현

• 이런 포스트를 인구통계적 히트맵으로 보는 관점, 이제는 단순히 흥미를 쫓던 좀 더 주변인(geohot 해킹 등)도 이 문제의 심각성을 깨닫고 공개적으로 발언하기 시작했음을 의미한다는 분석, geohot이 현상 한가운데에 위치함을 암시

  • "언젠가 사람들은 우리가 사회라는 공동체에서 살아감을 깨달아야 함, 무엇이 계기가 될까?"라는 질문 인용, 사회적 문제에 대한 분산적 지적이 가능해진 팟캐스트·SNS 환경 등 평가, 우리가 진정으로 필요한 것은 현대적 의미의 마을 공동체, 지나친 개인주의와 자기중심적 결정에서 벗어나 타인의 필요와 상황에 맞춰 배려하는 관계성 회복 중요성 강조

  • George Hotz에게서 근본적 반(反)자본주의에 가까운 메시지를 듣게 되리라 예상하지 못했는데 이런 감정을 솔직히 표현한 용기에 박수 보냄