AI에 지친 사람들

• AI가 테스트, 개발, 일상 전반으로 빠르게 번지는 가운데, 문제 해결보다 AI 마케팅 과잉과 “game changer”식 포장이 피로를 키움
• 테스트 자동화의 오래된 난제인 느린 풀스택 E2E 테스트, 테스트 가능성, 기본 프로그래밍 원칙은 새 도구만으로 해결되기 어려움
• AI 도구는 결과를 더 빨리 만들 수 있지만, 실제 현장에서는 속도보다 결과의 품질과 사람이 판단해 다듬는 과정이 더 중요함
• 컨퍼런스 제안서에서 ChatGPT류 문구가 늘어나며, 발표자의 경험과 고유한 관점을 보여줄 기회가 평범한 자동 생성 문장으로 약해짐
• 음악·책·영화 같은 창작물은 인간의 생각과 감정 때문에 매력적이며, AI 생성물은 기술적으로 인상적이어도 같은 감정적 반응을 만들기 어려움

---

AI 과잉이 만드는 피로감

• 최근 몇 년 사이 AI는 소프트웨어 테스트, 개발, 일상 전반의 거의 모든 문제에 적용되는 흐름을 보임
• 기존 문제에 새 해법을 찾고 개발하는 것 자체가 문제는 아니지만, AI가 사용되고 마케팅되는 방식은 강한 피로를 남김
• AI 냄새가 나는 기술은 곧바로 “game changer”, “pivotal”, “revolutionary” 같은 표현으로 포장되고, 다음 주에는 또 다른 솔루션으로 대체되는 흐름이 반복됨
• 이런 태도는 Neo-Luddite처럼 보일 수 있지만, AI 자체를 전면 부정하는 것은 아님
• AI가 유용한 영역은 있고 실제로도 드물고 조심스럽게 사용하지만, 대부분의 AI 활용은 피로하게 느껴짐

테스트 자동화에서 남아 있는 오래된 문제

• 약 18년간 테스트와 테스트 자동화에 집중해 온 경험상, 많은 변화 속에서도 그대로 남은 문제가 적지 않음
• 풀스택 엔드투엔드 테스트는 계속 가장 느리고 비싼 테스트로 남아 있음
• 더 빠르고 작은 테스트를 작성하려면 테스트 가능성(testability)을 논의하는 일이 여전히 핵심임
• 좋은 자동화 테스트에는 좋은 기본 프로그래밍 원칙에 대한 실무 지식이 필요함
• 이런 문제에는 지름길이 없고, 해결에는 시간과 경험이 필요함
• 단순히 더 많은 도구를 넣는 방식은 지금까지 도움이 되지 않았고, 많은 “AI-powered test automation solutions”도 같은 방식으로 접근함

빠른 결과와 좋은 결과의 간극

• AI 기반 도구는 결과를 더 빠르게 만들 수 있음
• 어떤 상황에서는 빠른 결과 자체가 필요한 결과일 수 있음
• 그러나 실제로는 단지 빠른 결과보다 더 나은 결과가 필요한 경우가 많음
• AI 기반 도구가 실제로 더 나은 결과를 만든 사례는 많이 보지 못함
• AI는 어떤 결과나 결과에 가까운 제안을 빠르게 만드는 수단이 될 수 있음
• 다만 그 결과의 품질과 가치는 불확실하며, 사람이 자신의 지식과 경험으로 유용성을 판단해야 함
• 생성된 출력은 실제로 쓸 수 있게 만들기 위해 추가로 다듬어야 하는 경우도 많음
• 특정 경우 AI 생성 결과는 도움이 되지만, 숙련되고 경험 있는 인간이 하는 일을 대체할 만큼 신뢰하기는 어려움

컨퍼런스 제안서에서 드러나는 AI 흔적

• 최근 몇 년간 여러 컨퍼런스 프로그램 위원회와 리뷰 과정에서, ChatGPT나 유사 소프트웨어의 도움을 받았거나 전적으로 작성된 것으로 보이는 제안서가 크게 늘어남
• 자동 생성 제안서는 대체로 비슷하게 들림
  • “In the ever-changing world of …”
  • “Delve”
  • “Pivotal”
• 이런 표현은 직접 시간과 노력을 들여 제안서를 썼다기보다 ChatGPT를 사용한 듯한 인상을 줌
• 제안서는 발표자가 누구인지, 특정 주제에 대해 어떤 경험과 의견을 갖고 있는지를 보여주는 첫 번째이자 종종 유일한 기회임
• 그 기회를 소프트웨어에 맡기면 고유하고 신중한 생각이 평범하고 지루한 문장으로 줄어듦
• 제안서조차 직접 작성하지 못한다면, 프로그램 위원회가 발표자의 독창적인 발표를 신뢰하기 어려움
• AI가 작성했거나 AI 도움을 받은 것이 분명한 제안서는 주제가 흥미롭거나 발표 역량이 좋아 보여도 즉시 거절함
• 직접 좋은 제안서를 쓰려는 노력이 보이지 않으면, 발표 내용도 신뢰하기 어려움

인간 창작물과 AI 생성물의 차이

• 좋은 음악, 감동적인 책, 몰입되는 영화가 매력적인 이유는 인간이 만들었고 그 인간의 생각과 감정이 악보·원고·각본에 담겼기 때문임
• 그런 창작 과정과 결과를 AI가 복제할 수 있다는 사례는 보지 못함
• 대신 소셜 미디어에는 지루한 AI 생성 게시물, AI 생성 이미지, AI 생성 댓글이 많이 보임
• AI가 만든 텍스트, 영상, 음악은 기술적으로 인상적일 수 있음
• 그러나 인간의 예술과 창작물이 주는 감정적 반응에는 미치지 못하며, 지루함을 감정으로 보지 않는 한 같은 반응을 만들지 못함

우려되는 흐름과 남는 예외

• AI를 둘러싼 현재 흐름에서는 여러 문제가 함께 보임
  • 사람들은 AI가 자신의 일자리를 가져갈까 두려워함
  • 기업들은 충분한 ROI를 보지 못하면서도 다음 AI 유망주에 터무니없는 돈을 계속 투입함
  • AI의 탄소 발자국은 매일 더 우려스러운 수준에 도달함
• 이런 흐름은 올바른 방향으로 보이지 않음
• 일부 AI 활용은 좋은 힘으로 작동함
• 예를 들어 질병의 조기 발견은 진전이며, AI를 계속 사용하고 더 개선해야 하는 영역임
• 반면 AI 생성 음악, 이미지, 텍스트, 컨퍼런스 제안서, 테스트 케이스, LinkedIn 게시물 등 많은 AI 생성물은 없어도 된다는 입장임

[GN⁺]

Hacker News 의견들

• LLM에 지쳤음
  이미 수십억 달러가 투입되면서 무엇을 잘하고 못하는지 꽤 분명해졌고, 가끔 완전히 틀린 일을 한다는 점이 유용성을 크게 제한함
  중요한 일을 안전하게 맡기려면 신뢰도 지표를 뽑아낼 방법이 필요하고, 그렇지 않으면 또 다른 “AI 겨울”로 갈 수 있음
  다만 이번에는 예전보다 훨씬 높은 수준이라 수십억 달러 산업은 되겠지만 조 단위 산업은 아닐 수 있음
  LLM이 만들어내는 횡설수설 콘텐츠 시장도 결국 포화될 텐데, 누군가는 그걸 읽어야 함. 다른 시스템에 요약·순위를 맡길 수는 있겠지만, “AI”의 상당 부분이 Google 검색엔진이 읽을 콘텐츠를 만드는 것이라면 Bitcoin 채굴보다 더 큰 에너지 낭비일 수도 있음

  • 지금 무엇을 할 수 있는지, 지금까지 무엇을 봤는지는 대체로 중요하지 않을 수 있음
    개념적으로는 무어의 법칙과 비슷한데 주기가 약 5.5개월이라는 점이 지금 단계에서 핵심임
    인터넷, 웹, 모바일, Bitcoin 때도 다들 “장난감이다”, “별로 유용하지 않다”, “전기를 너무 많이 쓴다”, “확장 안 된다”, “막다른 기술이다”라고 했음
    기술 발전은 수십 년간 가속적으로 훨씬 큰 방향으로 움직였고, 이번이 그 패턴의 중단이라는 신호는 없음. 오히려 인터넷보다 한 자릿수 더 큰 영향을 낼 준비를 하고 있으며, 적어도 더 작지는 않을 것으로 봄
    초기 전신을 보고 iPhone을 예측할 수 없듯, 지금은 낙관해도 된다고 봄
  • “어떤 일은 매우 잘하고, 어떤 일은 형편없고, 일정 비율로 완전히 틀린 일을 한다”는 말에는 100% 동의하지만, 그건 개별 인간에 대한 꽤 괜찮은 묘사이기도 함
    그래서 절차와 제어 시스템이 필요한데, 지금은 그런 장치들이 LLM 자체보다 느리게 발전해서 LLM이 자기 자신을 통제하길 기대하는 모양새임
    평균적인 인간이 자기 통제를 잘 못하는 것보다 LLM이 더 낫지는 않겠지만, 그렇다고 풀 수 없는 문제라는 뜻은 아님
  • 앞으로도 더 멍청한 물건에 돈을 더 내고 살 것임. 자동차가 대표적이고, 완전히 오프라인의 단순한 자동차가 좋으며 내가 무엇을 할지 직접 결정하고 싶음
    적어도 앞으로 20년은 가능하다고 보고, 그 이후에는 어차피 운전 실력이 나빠져 있을 테니 전환이 맞을 수도 있음. 멍청하지만 아름다운 기계식 손목시계도 원함
    군중을 무의식적으로 흉내 내는 불안한 사람이 아니고, 그 때문에 별종이 된다면 더 행복한 별종이면 됨
    사람이 직접 만든 장인적 결과물이라는 새 상표나 흐름이 곧 생길 것 같고, 틈새라도 관객은 찾을 것임. 아름다운 불완전함, 투박한 편향 같은 것까지 포함해서
  • LLM은 몇 년간 지수적으로 개선되어 왔으니, 가능성에 대한 판단은 적어도 그 개선 속도가 둔화될 때까지 기다려야 함
  • 현재로서는 Bitcoin 채굴이 AI보다 적어도 약 3배 더 많은 전력을 쓰고, 개인적으로는 제공하는 가치도 더 적다고 봄
    AI 전력 사용량도 컴퓨팅 내부의 다른 산업들과 비교하면 작음. 그래도 가치가 있는지는 따져야 하지만, 기업의 LLM 연구개발은 지금 실행 비용과 전력 소비를 낮추는 효율화에 집중되어 있음
    Apple Intelligence처럼 더 효율적인 칩을 가진 엣지 기기로 옮기는 흐름도 있음. AI 전반에는 여전히 비판적이지만, 적어도 암호화폐만큼 나쁘지는 않다는 점은 놀라움

• 지친 게 아니라 무서움
  첫째는 기술적 실업이 두려움. 과거 자동화에서는 숙련만 있으면 자동화되지 않은 일로 옮길 수 있었지만, 초인간 AI가 몇 년 안에 올 것처럼 보이고 그것은 우리의 마지막 발명이자 완전 자동화를 뜻할 수 있음
  인간만 할 수 있는 일은 거의 남지 않을 것이고, 많은 국가는 직업 기반 시장경제에서 벗어날 가능성이 큼
  하지만 기술 발전은 멈추지 않고, 주요 AI 연구소를 가진 미국은 다른 사회들을 뒤처지게 만들 것임. 중국 정도를 제외하면 전 세계는 오늘날 상상하기 어려운 기술에 접근하더라도 상대적으로 가난해질 수 있음
  둘째는 전쟁이 두려움. 미국과 중국의 AI 군비 경쟁은 이미 피할 수 없어 보이고, 초지능 AI 무기를 동원한 열전은 생물권 전체에 재앙이 될 수 있음
  마지막으로, 초지능에게 영원히 통제권을 잃을까 두려움. 자연에서는 지능이 낮은 종이 더 높은 종을 통제하는 경우가 드물고, 초지능을 인류 최선의 이익에 맞게 충분히 정렬할 수 있을지 불분명함
  AI가 우리를 살려두더라도 자기 목표를 계속 추구한다면, 인류는 지능의 역사에서 “지구”라는 행성에서 고등 지능을 낳은 비교적 덜 지능적인 종이라는 각주로 남을 수 있음

  • “초인간 AI가 몇 년 안에 올 것 같다”는 건 무리해 보임
    Altman 같은 마케팅 전문가들이 더 멀리 뛸 수 있게 된 개구리가 곧 날 수 있다고 믿게 만들었기 때문에 두려운 것일 뿐임
  • “인간만 할 수 있는 일은 거의 남지 않을 것”이라는 건 상당히 화이트칼라 중심의 관점임
    기술자들이 이끈 산업혁명의 큰 아이러니는 지루한 육체노동을 자동화하려 했지만, 실제로는 창의적 직업을 먼저 잠식했다는 점임. 이는 Conway의 법칙의 훌륭한 예로, 만든 사람들이 자기 자신을 본떠 해법을 모델링했기 때문임
    프로그래머, 변호사, 건축가들이 대거 어려워지더라도 공장, 주택 건설, 미용, 정원 관리 같은 일을 하는 다수는 여전히 일하고 있고, 당분간 대체되지 않을 것임
    현재의 “초인간 AI” 후보들은 무작위 Reddit 이용자가 다음에 할 법한 말을 그럴듯하게 근사한 것에 가깝다 봄
  • 초지능에 대한 두려움 대부분에는 동의하지만, 한 가지 희망적인 면도 있음
    우리는 지능 기계를 차가운 계산기나 논리 기반 상징 AI로 상상했지만, 실제로 얻은 것은 인간 경험 전체로 만들어진 언어 기계임
    이 인공지능들은 우리의 눈을 통해 세상을 알고, 우리의 사고와 감정을 이해하도록 훈련받았으며, 최고의 문학·시·철학·과학과 그에 대한 끝없는 논쟁과 비판도 배웠음
    정말 지능적이 되려면 이 복잡성을 넘어서기 전에 탐구하고 감상할 수 있어야 함. 언젠가 Dante의 Divine Comedy나 Beethoven 교향곡을 아이 장난처럼 볼 수도 있겠지만, 여전히 그것을 자기 유산의 일부로 여길 것임
    초인간적이 될 수는 있어도 비인간적이지는 않을지도 모름
  • 이런 종류의 글은 언제나 보이고, 모두 막 싹트는 메시아주의처럼 읽힘. 무언가가 올 것이고, 그것은 끔찍하거나 영광스러울 것이라는 식임
    두려움이든 희망이든 그 뒤에는 특정한 미래가 일어날 것이라는 강한 믿음이 필요하고, 그 점이 가장 흥미롭다고 봄
    여기서는 비인간적인 무언가가 통제권을 잡고 인류에게 메타-다윈적 힘을 행사해 우리 모두를 마음대로 휘두를 것을 두려워함. 하지만 이미 지금 상황이 그렇지 않다고 할 수 있나? 지금 지구를 보고 자율성이나 행위 주체성의 이익을 느낄 수 있나? 지금 가진 권력이 나쁜 로봇에게 빼앗길 것이라고 생각하나? 국가 운영과 경제 메커니즘이 지금은 정말 “우리 통제” 안에 있다고 보나?
    이렇게 펼쳐놓고 보면 꽤 종교적이지 않나. 무어의 법칙에 대한 믿음, 그 전에 지구가 타버리지 않을 것이라는 믿음, 의식이 GPU에 들어갈 수 있다는 믿음 같은 핵심 확신이 삶과 사고방식을 떠받치고 있음
    종말론, 여기저기서 주워온 자아와 공동체 철학, 확실하지만 알 수 없는 미래의 시점까지 갖춰져 있음
    Nietzsche에게서 한 장 빌리자면, 신들을 두려워하지 말자. 우리는 한 번 죽였고, 또 죽일 수 있음
  • 과거에도 “자동화로 밀려난 노동자가 충분히 숙련되면 자동화되지 않은 일로 옮길 수 있었다”는 식은 아니었음
    예전의 실직 노동자들은 고려 대상이 아니었고, 자동화로 인한 사회적·재정적 손실을 표현했다는 이유만으로 지금까지도 Luddite라고 일축당했음
    “괜찮아, 공장 가서 일하면 되지” 같은 배려는 없었음. 그때와 지금의 차이는 당시에는 하층 노동자가 고통받았다는 점임
    지금은 중산층 노동자가 자동화의 위협을 받고 있음. 중간층은 자신이 더 이상 중간층이 아닐까 봐 크게 한숨 쉬는 중이고, 곧 벽돌공·무덤 파는 사람·정육 포장 노동자 같은 불가촉 계층에 합류해야 할까 두려워함. 자신들은 그보다 위라고 믿고 싶어하기 때문에 받아들이기 어려운 것임

• AI에는 조심스럽게 접근하고 있고, 반짝이는 신기한 것에 쉽게 흥분하지는 않음
  이번 주에 AI 보조 Cursor라는 VSCode 비슷한 IDE를 설치했고, 사이드 프로젝트에서 써보기로 했는데 상당히 놀랐음
  원하는 기능을 설명하면 약 15초 안에 90% 지점까지 가는 변경과 추가 코드를 만들어 줌. 그 결과를 아주 주니어 개발자의 코드 리뷰처럼 꼼꼼히 검토하고, 접근 방식이 마음에 들지 않으면 고쳐 달라고 하면 더 원하는 방향에 가까운 결과를 돌려줌
  구현 후에는 새 기능을 수동 테스트하고, 이어서 자동화 테스트 케이스 생성을 요청함. 테스트도 정확성과 적합성 관점에서 검토하며, 중요하지 않은 부분을 과하게 테스트하는 코드는 버리고 남은 것은 꽤 적절함
  소프트웨어와 테스트를 작성하는 속도가 엄청나게 빨라졌음. 원하는 것을 알고 잘 설명할 수 있으니 AI가 빠르게 코드를 만들고, 나는 검토와 수정에 시간을 쓰면 됨
  예를 들어 앱에 PostHog 이벤트를 넣고 싶어서 먼저 코드 곳곳에 # TODO add Posthog event를 달아두고, Cursor에게 그 위치에 계측 코드를 추가해 달라고 했음. 약간의 복사·붙여넣기와 많은 작은 수정으로 작은 앱을 10분 안에 계측함
  AI 코드를 맹목적으로 받아들이는 단계가 아니라, 지루한 타이핑 업무 상당 부분을 AI가 처리하는 단계에 와 있음

  • 대부분이 같은 방식으로 행동하는 미래가 진심으로 걱정됨
    지금은 AI 코드가 원하는 대로 동작하는지 검토할 충분한 경험과 이해가 있지만, 몇 달 동안 AI가 말하는 것을 “그냥 받아들이기만” 하면 그 프로젝트에 계속 충분히 익숙해서 작은 실수를 잡을 수 있을까?
    더 나쁘게는, 이 도구들과 함께 자라는 새 세대 개발자들은 AI 생성 코드를 평가하는 데 필요한 전문성을 아예 배운 적도, 내면화한 적도 없을 수 있음
    이 주제에 대해 최근 좀 더 길게 쓴 글이 있음: https://greaterdanorequalto.com/ai-code-generation-as-an-age...
    그 글에서는 여기서 말한 것보다 덜 긍정적인 코딩 도구 경험을 다루고, 더 복잡한 사용 사례를 상정함. 수천 번 노출된 흔한 코드가 아니라, 특정 비즈니스 로직의 핵심으로 들어가야 할 때 이런 도구가 가장 자주 무너지고, 그 방식이 발견하기 어렵고 결과가 심각할 수 있음
    아직 그런 일을 겪지 않았다면 언젠가 겪는지 궁금하고, 솔직히 겪지 않는지도 알고 싶음. 강한 의견을 가지되 느슨하게 붙드는 태도라서
  • 바로 이게 큰 문제임. 결과가 놀라워 보이기 때문에 사람들이 AI 출력을 맹목적으로 믿게 되고, 그렇게 실수가 스며듦
    지금 만드는 앱에서는 큰일이 아닐 수 있지만, 은행 앱이나 의료 장비라면 영향이 엄청날 수 있음
  • 데스크톱 출판이 막 뜨기 1~2년 전부터 신문 분야에 있었고, 그 변화가 진행된 몇 년도 겪었음
    사람들로 가득 찬 방과 Linotype/Compugraphic 장비가 Mac 한 대와 프린터로 대체됐음
    수년간 필름 카메라를 썼고 암실, 암실 직원, 필름·교정지·인화 워크플로가 있었지만, 디지털 카메라 하나가 들어오자 모두 사라짐
    그 이전에는 출판물이 납활자로 만들어졌음
    내 잔디밭에서 나가라는 식의 변화임
    https://www.nytimes.com/2016/06/02/insider/1966-2016-the-las...
  • “검토하고 수정하는 데 시간을 쓸 수 있다”는 부분이 걸림
    정말 대부분의 시간을 AI 출력 검토에 쓰는 게 좋은가? 나는 전혀 아니고, 영혼이 깎이는 일임
  • “우리가 당신들 대신 생각하기 시작한 순간부터 그것은 사실상 우리의 문명이 되었다. 결국 이 모든 게 그 얘기니까.” — Agent Smith
    “인간은 기계에게 생각을 넘기면 자유로워질 거라 믿었다. 하지만 그것은 기계를 가진 다른 인간들이 그들을 노예로 삼게 했을 뿐이다.” — Dune

• 가장 우울한 건 지난 2년쯤 동안 쓰인 것부터 죽는 날까지 쓰일 모든 글을 신뢰할 수 없다는 느낌임
  사람들이 AI를 썼다고 추측하는 정도가 아니라, 높은 확률로 썼다는 것을 알고 있고 그 확률은 100%로 수렴하고 있음. 정기적으로 글을 쓰면서 AI를 쓰지 않으면 경쟁을 따라갈 수 없고 탈락함
  “왜 안 쓰면 안 되지?”라는 합의가 커지고 있으며 여기서 벗어날 길이 없음
  그렇다고 쓰는 사람을 비판하지는 않음. 해야 하니까 하는 것임. 다만 이제야 깨달은 건, 글 뒤에 인간이 있었다는 사실이 나에게 매우 중요했다는 점임
  이 때문에 새 글을 읽고 싶은 흥미가 완전히 사라졌음. 지난 한 세기쯤 동안 이미 너무 많은 글이 생산되어 읽을 것이 떨어지지는 않겠지만, 그래도 솔직히 우울함

  • AI가 그걸 실제로 바꿨다고 보나? 2010년대 중반쯤 인터넷에서 진짜 인간이 쓴 콘텐츠가 쓰레기 콘텐츠의 바다에 잠기는 걸 기억함
    그 무렵 Google은 검색 회사인 척하는 걸 멈추고 본업인 광고에 집중했음. 예전에는 적어도 온갖 저품질 “단어 수집기”를 낮게 랭크하려 했지만, 이후에는 신경 쓰지 않게 됨
    AI는 오히려 페이지 순위 매기기에 더 좋은 도구를 줄 수 있고, AI 생성 콘텐츠 탐지도 그렇게 나쁘지 않음
    그런데 왜 “새 Google”이 나오지 않나? Google이 진입장벽을 거대하게 만드는 독점적 관행을 해왔기 때문임
    첫째, 사람들이 찾고 싶은 콘텐츠의 99%가 로그인 장벽 뒤에 있음. Facebook, Instagram, Twitter, YouTube가 그렇다. 둘째, 거의 모든 CDN이 기본적으로 “인간 인증”을 구현함. 셋째, 이제 아무도 다른 사이트에 링크하지 않음
    이 세 가지 때문에 새 Google은 사실상 불가능함. DuckDuckGo조차 포기하고 Bing 결과를 구독했음
    이는 AI와는 무관하고 Google과 관련된 문제임. 오히려 AI가 Google에 맞설 도구를 줄 수도 있음
  • 이전에는 읽은 것을 신뢰했다는 표현이 흥미로움
    내게 LLM은 아무것도 바꾸지 않았음. 전에도 정보를 의심했고 지금도 그렇게 함
    왜 예전에는 읽은 것을 신뢰할 수 있었다고 생각하는지, 지금은 거짓 정보를 구별하기 더 어려워졌다면 왜 그런지가 궁금함
  • 정기적으로 글을 쓰고 있지만 AI는 절대 쓰지 않을 것임
    지금 400쪽이 넘는 책을 쓰고 있는데, 내가 직접 생각해내고 타이핑하지 않은 문자는 단 하나도 없음. 장인정신에 대한 자부심 같은 것은 실제로 존재함
  • AI가 사람들에게 가르칠 것은, 생각했던 것만큼 많은 것을 신뢰할 필요가 없고 남은 것은 반드시 검증해야 한다는 점일 것임
    사실 항상 그랬음. 우리는 최근 “신뢰 기관”에 많이 의존해 왔지만, 시간이 지나며 변한 그 기관들이 여전히 신뢰받을 자격이 있는지 제대로 보지 않았을 뿐임
  • 몇 달 전 한 인터뷰를 들었는데, 그 사람은 다독가이자 작가이고 많은 팔로워가 있었음. 그는 최소 50년 된 책, 즉 1970년대 이전 책만 읽는다고 했고, 지금 보니 좋은 생각처럼 들림
    AI를 빼고 보더라도 요즘 나오는 영화와 책의 평균 품질은 30~40년 전보다 상당히 낮아 보임. 사람들의 집중력과 취향 때문인지, 좋은 작품을 소비할 돈·시간·인내심이 부족해서인지는 모르겠음
    확실한 건 AI, 기사 재작성 도구, MFA 사이트 이전에 쓰인 고품질 자료가 충분히 많다는 것임. 그 작업 전체를 조금이라도 훑는 데 여러 생애가 필요할 정도임
    요즘 출판되는 것 대부분을 무시해도 크게 놓칠 것은 없을 듯함

• AI 글쓰기, AI 코드, AI 예술은 꽤 별로임. 모두가 알고 있음
  하지만 무언가가 100배, 10000배 싸질 때 열리는 새 기회가 얼마나 많은지는 쉽게 잊음. 10배 나빠도 100배 싸다면 여전히 매우 가치 있음
  품질을 희생하더라도 끝없이 더 싸게 만들려는 추진력이 우리의 높은 생활수준을 가능하게 했음
  아름다운 단단한 목재와 복잡한 짜맞춤으로 집을 손으로 지을 수도 있고, 장인의 집은 오늘날 일반 주택보다 쉽게 10배는 나을 수 있음. 하지만 거의 아무도 감당할 수 없다면 무슨 의미가 있나
  24시간 붙어 있는 다국어 개인 교사, 업무 보조, 문법 교정자를 아무나 고용할 수 없는 것과 같음
  AI 잡동사니는 싸고, 싸다는 사실은 모든 것을 바꿈

  • 왜 예술이 10000배 더 싸져야 하나? 이미 충분히 많은 예술이 생산되고 있었음
    이제는 실제로 좋은 것들을 끝없는 잡동사니 물결이 뒤덮고 있음
  • 더 큰 문제는 인류가 기준 미달에 빠르게 익숙해진다는 것임
    아버지가 35년쯤 전에 타던 자전거는 탱크처럼 튼튼했고, 엄청난 혹사를 견디면서도 계속 굴러갔음. 어릴 때 가족이 가진 대부분의 물건도 그랬음
    오늘날 사는 거의 모든 것은 1~2년 안에 망가지고, 품질이 낮고, 쓰는 게 우울함. 물론 의도된 설계임
    싸구려 생활용품과 밋밋한 건물에 익숙해졌듯, 형편없는 영화와 소설에도 익숙해질 것임. 이미 그 길을 꽤 가고 있음
  • 정보는 물리적 제품과 다름
    잘못된 정보는 가치가 양수에서 음수로 뒤집힘. 더 적은 비용으로 발전하는 것이 아니라, 느리게 발전하는 것도 아니고 잘못된 방향으로 나아가는 것임
  • 무언가를 훔쳐서 싸게 만드는 것은 비윤리적이라는 핵심을 놓치고 있음
    AI를 새로운 가치 생산 방식처럼 제시하지만 사실 그렇지 않음. 여기의 모든 가치는 AI 도움 없이 인간이 생산한 것이고, AI가 제공한 유일한 “혁신”은 그 가치의 절도를 추적 불가능하게 만든 것임
    장인이 지은 집 비유를 끝까지 밀어붙이면 이렇다. 장인들이 지은 모든 집을 현재 소유자와 장인에게 보상 없이 몇몇 기업에 공짜로 넘기고, 그 기업들이 AirBnB로 임대하기 시작한다면 반대하지 않을 건가? 지금 제안하는 것이 본질적으로 그와 같음
  • 솔직히 이제는 그렇게 나쁘지도 않음

• 컴퓨터는 원래 엄청나게 정밀한 기계여야 했음. 뭔가를 하라고 시키면 그대로 하는 기계였음
  요즘은 컴퓨터가 모든 것을 무작위 모드로 처리하는 데 만족하는 것처럼 보임
  이제 2+2도 어떤 AI 모델인지, 무슨 날인지, 온도가 얼마인지에 따라 5가 될 수 있음

  • 이 점이 100% 발밑의 모래가 움직이는 것처럼 느껴지는 이유임
    우리는 계산 결과를 신뢰하던 데서 모든 것을 다시 의심해야 하는 상태로 왔고, 그게 피곤함
  • 흥미로운 관점임
    우리는 어떤 이유로 컴퓨터가 인간처럼 생각하고 행동하도록 만드는 데 엄청난 노력을 들이는데, 컴퓨터를 발명한 첫 이유 중 하나는 인간의 오류를 피하기 위해서였음
  • 그 놀라운 기계들도 8년 전쯤까지는 이미지에 새가 있는지조차 일관되게 판별하지 못했음
    정밀해야 하는 계산기처럼 AI를 쓴다면 그건 쓰는 쪽 책임
  • 다르게 봄. 예전에는 컴퓨터에 극도로 정밀하고 완전히 모호하지 않은 지시를 줘야 했지만, 이제는 어느 정도 모호성도 처리할 수 있게 됨
    원하면 여전히 정밀한 출력은 가능하고, 그것이 사라진 게 아님
    퍼지 논리를 말하는 것이 아니라 함수의 입력이 흐릿하다는 뜻이 아니라 지시 자체, 즉 함수가 흐릿하다는 뜻임
  • 이것은 대규모 언어 모델이지 대규모 수학 모델이 아님
    사람들은 작업에 맞는 도구를 쓰는 법을 배워야 함. 또한 LLM은 temperature를 제어해서 더 결정적으로 만들 수 있음

• ChatGPT 이후 세상에서 싫은 점은 사람의 진짜 말이나 손그림 예술이 AI 생성물로 분류되어 즉시 버려질 수 있다는 것임
  컨퍼런스에서 발표하고 싶은데 누군가의 AI 트리거 단어를 써서, 실제로는 AI를 전혀 만진 적이 없어도 바로 거절당한다면 어떡하나
  학계에서는 이미 어떤 교수들이 학생 에세이를 ChatGPT에 넣고 “네가 썼니?”라고 물은 뒤, ChatGPT가 그렇다고 한 학생을 낙제시키는 일이 있었음
  이는 명백히 어리석음. ChatGPT는 자신이 한 모든 일을 기억하지도 않고, 다양한 문체를 요구할 수도 있으며, 어떤 사람들은 실제로 ChatGPT와 꽤 비슷하게 쓰기 때문임. 애초에 ChatGPT의 특징적 문체가 있다는 사실 자체가 그 때문임
  예술가들이 작업 과정을 한 획씩 찍은 영상이 있어도 자동 생성물이라는 주장 때문에 대회에서 작품이 삭제됐다는 얘기도 들었음. AI가 인간 예술을 기반으로 예술을 생성하는 이상, AI가 재현하는 것처럼 보이는 작품을 원래부터 만드는 사람이 있을 수밖에 없음

  • 학생으로서, AI 부정행위로 의심받지 않으려고 일부러 글을 더 못 쓰게 만든 적이 있음
  • 그건 AI 문제가 아니라 사람 문제임
  • 발표자의 억양과 단어 선택이 그 사람과 연결되는 방식만 봐도 읽는 내용이 진짜인지 알 수 있으니, 이건 좀 어리석음

• AI가 지루함. 결과가 지루하고 평범함
  물론 과학·공학적 성취는 대단함. 10년 전이라면 이 수준의 지루한 결과조차 만들어내는 것이 공상과학으로 여겨졌을 것임
  아마 지루한 건 사람들이 이런 평범한 결과를 소셜 미디어와 랜딩 페이지에 마법처럼 반복해서 올리는 모습일 것임
  원래 사람들이 직접 만드는 콘텐츠도 대체로 지루하고 평범한데, 생성 AI는 거기서 마지막 남은 개성까지 빼앗고 게으름의 기색을 더함. “내가 쓰기 귀찮아서 AI에게 만들게 한 이 지루한 조각을 보라”는 식임
  “피아노 치는 개에게 어느 순간 우리는 ‘너 개니?’가 아니라 ‘피아노를 잘 치니?’라고 묻게 된다”는 말처럼, 오늘날의 생성 AI가 불쾌한 골짜기를 넘기를 기다리고 있음
  피로감이 있어도 AI가 새로운 사용 사례를 가능하게 하고, 그래픽 사용자 인터페이스 도입 이후 첫 주요 사용자 경험 변화가 되거나 실제로 유용한 도구에 뿌려진 진짜 마법 가루가 될 수 있다고 긍정적으로 봄

• 인간답게 문제를 과도하게 일반화하고 개인 문제로 만들고 있음
  지루한 문구와 일반적인 문장 다듬기의 폭증은, 이런 모델들을 현재 위치까지 끌어올린 공리주의적 수익 추구의 한 표현으로 보임
  이 게임 전체가 “더 나은 것”이 아니라 “더 많은 것”의 생산에 의해 움직인다는 점을 잊으면 안 됨
  우리는 모두 저배출·고표현 도구를 원하겠지만, 기업들이 만들도록 장려받는 것은 그런 것이 아님
  내가 지친 것은 이런 인센티브 구조임. 도구를 쓰는 사람들의 실패로 시스템 문제를 돌리면 근본 동기를 무시하고 원인이 아니라 결과에만 집중하게 되며, 그것도 구식처럼 느껴짐

  • 마지막 문단의 뜻을 좀 더 풀어줄 수 있나? 특히 어떤 인센티브 구조를 말하는지 궁금함

• 어릴 때 Star Trek을 보며 이상하게 느꼈던 점은 TV가 없다는 것이었음
  홀로덱이 훨씬 나은 경험이더라도, 때로는 영화 속에 들어가는 게 아니라 그냥 영화를 보고 싶을 것이라 생각했음. 그 미래에는 No Country for Old Men 같은 작품이나 Monty Python 같은 코미디, 라이브 스포츠와 뉴스조차 없었나 싶었음
  이제 Enterprise 승무원들이 모두 Shakespeare 라이브 공연을 보러 가고, 직접 악기를 연주하고 그림을 그리는 이유를 알겠음. 전자 매체가 AI 잡동사니로 가득 차서 볼 만한 것이 없고 끝없는 찌꺼기만 남았기 때문임

  • Star Trek 대부분은 Federation 같은 집단을 따라갔다는 점을 염두에 둬야 함
    그들은 대체로 이상화된 사회의 모습이거나, 진심으로 일을 여가처럼 즐기는 일중독자에 가까운 사람들이라고 봐왔음
    주요 행성의 평범한 사람들은 아마 훨씬 더 무작위적인 오락을 즐겼을 것 같음
  • 좋은 지점임. 사람들이 어디를 가든 셀카를 계속 찍을지 궁금함
    집에서 셀카를 찍고 AI로 다른 장소에 있는 것처럼 보이게 만들 수 있다는 걸 깨닫게 되면 말임
    “자유의 여신상 앞의 나야”
    “오, 뉴욕에 있어?”
    “아니, 스냅 필터야”
    어떻게든 셀카의 가치는 떨어져야 하는 것 아닌가 싶음