글에서 말하는 것처럼 오탈자나 사소한 오류 같은 대리 지표로 인간의 지식노동 품질을 가늠하기 쉬웠다는 주장도, 그런 단서가 AI에는 없어서 문제라는 주장도 둘 다 완전히 동의되진 않음
개념적으로는 형편없지만 사실관계는 맞고 형식도 멀쩡한 인간 산출물은 원래도 많았음
10년 동안 기업 고객과 일해보면 pre-LLM 시절이 고품질 지식노동의 황금기였다고는 전혀 못 하겠고, 그때도 지식노동의 작동하는 시뮬라크르 같은 잡동사니가 넘쳤음
내게 더 큰 문제는 실수의 인간적 설명 가능성이 사라진다는 데 있음
사람의 저품질 결과물은 무지, 시간 압박, 이기적 목표처럼 대체로 원인이 있고 그 원인은 꽤 일관적임
조심스럽지만 모르는 인턴, 지식은 많지만 수면 부족으로 뻔한 걸 놓치는 선임처럼 신뢰 패턴을 잡을 수 있음
그런데 AI는 한 번에 논문 구현은 완벽하게 하면서도 같은 실행에서 신입생 수준 실수를 하기도 해서, 극단적 유능함을 보이는 기계를 상대로 완전한 무능을 가정한 리뷰를 해야 하는 비직관적 상황이 생김
pre-LLM 시절이 품질의 황금기는 아니었지만, LLM이 서둘러 만든 헛소리 업무를 가려내던 또 하나의 표식을 없애버린 건 맞음
원래 이런 건 긍정 판별이 아니라 부정 필터였음
오탈자나 기초적인 사실 오류가 있으면 쉽게 탈락시킬 수 있었지만, 그런 게 없다고 품질이 높다는 뜻은 아님
보통 이런 검사는 첫 관문일 뿐이고 전부가 아니며, 그 관문을 통과하면 진짜 문제를 더 쉽게 볼 수 있음
코드에서도 reasoning 전에 lint와 스타일을 먼저 정리하는 것과 비슷함
눈에 띄는 AI 특유의 문구는 잡아낼 수 있어도, 아무 표식 없는 나머지 99%의 AI 생성 텍스트는 놓칠 수 있음
그런데 본인은 그 99%가 AI 생성물인 줄 모르니, 자기가 알아챈 100%의 패턴만 보고 AI 글은 다 걸러낸다고 착각하기 쉬움
이게 핵심적으로 중요하진 않다고 봄
원래 많은 지식노동은 다른 무언가의 대리물이었음
오탈자 없고 형식이 반듯한 품질은 다림질된 흰 셔츠와 넥타이처럼 주로 존중의 신호였고, 실제로 아무도 깊게 읽지 않을 긴 문서도 많았음
결국 희생과 복종을 상징적으로 보여주는 방식이었는데, LLM이 그 신호 체계를 없애고 있음
내용의 질을 예전에도 제대로 보지 않았다면, 애초에 그 내용은 그다지 중요하지 않았던 셈임
학계에서는 이미 AI 검토 비용 문제가 드러나고 있는데, 기사에서 말한 이유와는 조금 다름
조악한 작업의 표식이 사라지는 게 핵심이라기보다, AI를 써서 만든 작업물을 꼼꼼히 검토하는 비용이 인간만으로 감당하기 너무 커지고 있음
예를 들어 경제학 저널은 부록이 수백 페이지까지 가는데, 사람이 읽을 수 있는 시간은 한정돼 있음
다른 분야 저널들도 신규 투고 수 증가뿐 아니라 각 논문을 검증하는 데 들어가는 검토 강도까지 같이 압박받는지 궁금함
공정하게 말하면 많은 학문 분야는 석사 이상 수준부터는 판별 자체에 높은 전문성이 필요함
그 아래 수준에서는 무엇이 맞는지와 무엇이 맞아 보이는지 구분이 거의 안 되기도 함
AI를 쓰면서 이해를 cargo-cult하고 있다고 느낌
뭔가를 이해한 표면만 재현하고, 실제로 이해하는 데 필요한 시간과 노력을 스스로 빼앗고 있음
같이 일하는 동료를 보며 늘 하는 생각인데, 그 사람은 AI 활용 시나리오를 거의 개인용 Jarvis 환상으로만 그림
Claude에 Snowflake Cortex, 통합 코드, 문서, Jira 티켓을 다 먹이면 뭐든 물어볼 수 있고 모든 게 훨씬 나아질 거라고 믿음
그런데 그 집착은 큰 산출을 내지 못했고, 몇 번은 기술의 불완전함을 직접 크게 겪었음
다들 agentic workflow와 거대한 사내 위키 비전을 말하지만, 정작 나는 AI로 배송 속도는 꽤 올리되 거창한 모험에는 시간을 안 쓰는 편이라 계속 결과물을 내고 있음
예전에 회사의 챗봇 도입을 비판하던 사람들이, 이제는 수조 개의 .md 파일과 skill 파일을 모아 자기들만의 챗봇 만드는 데 토큰을 태우는 아이러니도 보임
진짜로 우려되는 건 기관 차원의 실제 지식이 이런 지름길 속에서 손실된다는 점임
간단한 예시 요청이나 개념 학습 질문은 괜찮지만, 현재 도구와 인프라를 검토해서 배포 속도를 5배 올리고, 웹 조사하고, 조직 도입 제안서와 5년 비용편익 분석까지 한 번에 만들라는 식의 프롬프트는 사람을 스스로 약화시킴
요즘은 다들 Claude가 만든 제안서를 여기저기 던지고, 직접 조금 파보거나 아키텍트나 시니어 엔지니어와 같이 탐색하는 과정은 건너뜀
그 결과 많은 것을 얕게만 이해하게 되고, 깊게 캐물으면 설명을 잘 못 하며, AI가 준 답을 확정적 전략처럼 믿어서 도전받으려 하지 않음
더 경험 많은 사람에게서 배우는 기회도 학습 경험으로 보지 않게 됨
결국 사람 뇌 자체가 여전히 가장 대단한 기술 중 하나라고 믿고, 이 거대한 인공 도서관을 왜 굳이 자기 밖에 만들려는지 되묻게 됨
여기에선 이해의 cargo cult라기보다 관리자 시점의 cargo cult를 하고 있다고 봄
Bret Devereaux가 Game Of Thrones 비평에서 말하듯 엘리트 시점의 세계관은 엘리트에게만 그럴듯하고 유토피아처럼 들림
실제 노동과 동떨어진 이런 거품은 결국 크게 터질 것이고, AI로 일자리를 잃은 대중이 빵도 못 먹겠다고 외칠 때 케이크나 먹으라는 식이면 프랑스 혁명급 반작용도 상상하게 됨
반대로, AI는 내가 이해하지 못한 채로도 뭔가를 대신 해줄 수는 있음
하지만 깊이 이해하려고 할 때 도와주는 도구로는 오히려 AI만큼 좋은 것도 드묾
결국 어떤 것을 이해한다는 건 직접 해보는 것과 거의 같음
이해하지 못하는 건 괜찮지만, 그럴 땐 대리 지표가 있든 없든 결국 다른 사람의 이해를 신뢰하는 수밖에 없음
일을 덜 하고 더 많이 신뢰하는 방향은 어느 지점까진 가능해도, 그 이상 가면 미래의 일이 위태로워짐 simulacrum은 정말 좋은 단어임
Simulacrum 개념은 Baudrillard에서 왔고, 그의 에세이 Simulation and Simulacra는 현대 경제가 왜 이렇게 기묘한지 이해하는 데 꽤 도움 됨
그래서 중간 관리자들이 LLM 최상주의의 첫 신도처럼 보였던 것 같음
중간관리는 역할의 진짜 숙련도 말고도 지식노동을 계속 추상화하도록 밀어붙이는 유인이 많고, 그 추상화된 층위가 embedding space에서 특히 잘 기술되는 듯함
AI 코드는 실제보다 더 나빠 보이는 경우가 많음
지나치게 장황하고, 헷갈리고, fallback이 잔뜩 들어가 있어서 문제가 생기면 수많은 try/catch를 타고 흘러가며 스택 트레이스를 엉뚱한 곳으로 보내버림
그래도 순수 기능만 놓고 보면, 겉모습이 비슷한 인간 작성 코드보다 더 잘 돌아가는 경우가 많았음
그래도 그렇게 묘사한 코드는 여전히 나쁜 코드임
사람에게도 LLM에게도 추론하기 어렵기 때문임
이런 블로그 글 스타일이 더 많아졌으면 좋겠음
길이도 적당하고, 메시지도 잘 전달하고, 이야기성도 있음
요즘은 소설 길이만 한 LLM산 AI 슬롭이 너무 많아서 더 반갑게 느껴짐
업계에 있는 많은 사람에게는 이게 꽤 자명한 흐름으로 보임
문제는 걸린 돈이 너무 커서, 큰 플레이어들이 원하는 걸 계속 밀어붙인다는 데 있음
원자 이하 입자들이 사실은 하나의 우주들이고, 그 성질이 그 우주를 지배했던 존재들과 그들이 사라진 뒤에도 돌아가는 자동화의 흔적을 반영하는 거라고 상상해보게 됨
엔트로피를 수확하며 스스로를 계속 증식시키는 자동 기계 같은 것 말임
우리는 지금 우리보다 더 큰 힘을 만들고 있고, 어느 순간 되돌릴 수 없는 지점에 닿을 수도 있음
완전히 이해한 건 아니지만, 그 상상이 흥미로움
수많은 아원자 우주와 문명이 흥망하고, 자율적인 유사 지능 기술에 먹히기도 하며, 거시적으로는 그게 입자의 거동으로 드러난다고 떠올리게 됨
지금 우리도 결국 하나의 입자를 만들고 있고, 우리의 집단적 선택이 우리가 속한 상위 우주에 아주 작지만 의미 있는 영향을 줄지도 모름
누군가의 출력은 항상 다른 누군가의 입력이 됨
LLM으로 양을 늘리면, 다음 사람은 또 LLM으로 그걸 파싱해 자기 출력을 만듦
그렇게 이어지다가 최종 소비자가 불만을 제기하면, 도대체 어디서 잘못됐는지 아무도 특정하지 못하게 됨
물론 그때는 마지막 소비자가 잘못 사용한 것이라고 하겠지
마지막 소비자만 눈앞에 있고, 나머지는 7단계 프록시 뒤에 숨어 있으니까
Hacker News 의견들
글에서 말하는 것처럼 오탈자나 사소한 오류 같은 대리 지표로 인간의 지식노동 품질을 가늠하기 쉬웠다는 주장도, 그런 단서가 AI에는 없어서 문제라는 주장도 둘 다 완전히 동의되진 않음
개념적으로는 형편없지만 사실관계는 맞고 형식도 멀쩡한 인간 산출물은 원래도 많았음
10년 동안 기업 고객과 일해보면 pre-LLM 시절이 고품질 지식노동의 황금기였다고는 전혀 못 하겠고, 그때도 지식노동의 작동하는 시뮬라크르 같은 잡동사니가 넘쳤음
사람의 저품질 결과물은 무지, 시간 압박, 이기적 목표처럼 대체로 원인이 있고 그 원인은 꽤 일관적임
조심스럽지만 모르는 인턴, 지식은 많지만 수면 부족으로 뻔한 걸 놓치는 선임처럼 신뢰 패턴을 잡을 수 있음
그런데 AI는 한 번에 논문 구현은 완벽하게 하면서도 같은 실행에서 신입생 수준 실수를 하기도 해서, 극단적 유능함을 보이는 기계를 상대로 완전한 무능을 가정한 리뷰를 해야 하는 비직관적 상황이 생김
오탈자나 기초적인 사실 오류가 있으면 쉽게 탈락시킬 수 있었지만, 그런 게 없다고 품질이 높다는 뜻은 아님
보통 이런 검사는 첫 관문일 뿐이고 전부가 아니며, 그 관문을 통과하면 진짜 문제를 더 쉽게 볼 수 있음
코드에서도 reasoning 전에 lint와 스타일을 먼저 정리하는 것과 비슷함
그런데 본인은 그 99%가 AI 생성물인 줄 모르니, 자기가 알아챈 100%의 패턴만 보고 AI 글은 다 걸러낸다고 착각하기 쉬움
원래 많은 지식노동은 다른 무언가의 대리물이었음
오탈자 없고 형식이 반듯한 품질은 다림질된 흰 셔츠와 넥타이처럼 주로 존중의 신호였고, 실제로 아무도 깊게 읽지 않을 긴 문서도 많았음
결국 희생과 복종을 상징적으로 보여주는 방식이었는데, LLM이 그 신호 체계를 없애고 있음
내용의 질을 예전에도 제대로 보지 않았다면, 애초에 그 내용은 그다지 중요하지 않았던 셈임
학계에서는 이미 AI 검토 비용 문제가 드러나고 있는데, 기사에서 말한 이유와는 조금 다름
조악한 작업의 표식이 사라지는 게 핵심이라기보다, AI를 써서 만든 작업물을 꼼꼼히 검토하는 비용이 인간만으로 감당하기 너무 커지고 있음
예를 들어 경제학 저널은 부록이 수백 페이지까지 가는데, 사람이 읽을 수 있는 시간은 한정돼 있음
다른 분야 저널들도 신규 투고 수 증가뿐 아니라 각 논문을 검증하는 데 들어가는 검토 강도까지 같이 압박받는지 궁금함
그 아래 수준에서는 무엇이 맞는지와 무엇이 맞아 보이는지 구분이 거의 안 되기도 함
AI를 쓰면서 이해를 cargo-cult하고 있다고 느낌
뭔가를 이해한 표면만 재현하고, 실제로 이해하는 데 필요한 시간과 노력을 스스로 빼앗고 있음
Claude에 Snowflake Cortex, 통합 코드, 문서, Jira 티켓을 다 먹이면 뭐든 물어볼 수 있고 모든 게 훨씬 나아질 거라고 믿음
그런데 그 집착은 큰 산출을 내지 못했고, 몇 번은 기술의 불완전함을 직접 크게 겪었음
다들 agentic workflow와 거대한 사내 위키 비전을 말하지만, 정작 나는 AI로 배송 속도는 꽤 올리되 거창한 모험에는 시간을 안 쓰는 편이라 계속 결과물을 내고 있음
예전에 회사의 챗봇 도입을 비판하던 사람들이, 이제는 수조 개의 .md 파일과 skill 파일을 모아 자기들만의 챗봇 만드는 데 토큰을 태우는 아이러니도 보임
진짜로 우려되는 건 기관 차원의 실제 지식이 이런 지름길 속에서 손실된다는 점임
간단한 예시 요청이나 개념 학습 질문은 괜찮지만, 현재 도구와 인프라를 검토해서 배포 속도를 5배 올리고, 웹 조사하고, 조직 도입 제안서와 5년 비용편익 분석까지 한 번에 만들라는 식의 프롬프트는 사람을 스스로 약화시킴
요즘은 다들 Claude가 만든 제안서를 여기저기 던지고, 직접 조금 파보거나 아키텍트나 시니어 엔지니어와 같이 탐색하는 과정은 건너뜀
그 결과 많은 것을 얕게만 이해하게 되고, 깊게 캐물으면 설명을 잘 못 하며, AI가 준 답을 확정적 전략처럼 믿어서 도전받으려 하지 않음
더 경험 많은 사람에게서 배우는 기회도 학습 경험으로 보지 않게 됨
결국 사람 뇌 자체가 여전히 가장 대단한 기술 중 하나라고 믿고, 이 거대한 인공 도서관을 왜 굳이 자기 밖에 만들려는지 되묻게 됨
Bret Devereaux가 Game Of Thrones 비평에서 말하듯 엘리트 시점의 세계관은 엘리트에게만 그럴듯하고 유토피아처럼 들림
실제 노동과 동떨어진 이런 거품은 결국 크게 터질 것이고, AI로 일자리를 잃은 대중이 빵도 못 먹겠다고 외칠 때 케이크나 먹으라는 식이면 프랑스 혁명급 반작용도 상상하게 됨
하지만 깊이 이해하려고 할 때 도와주는 도구로는 오히려 AI만큼 좋은 것도 드묾
결국 어떤 것을 이해한다는 건 직접 해보는 것과 거의 같음
이해하지 못하는 건 괜찮지만, 그럴 땐 대리 지표가 있든 없든 결국 다른 사람의 이해를 신뢰하는 수밖에 없음
일을 덜 하고 더 많이 신뢰하는 방향은 어느 지점까진 가능해도, 그 이상 가면 미래의 일이 위태로워짐
simulacrum은 정말 좋은 단어임그래서 중간 관리자들이 LLM 최상주의의 첫 신도처럼 보였던 것 같음
중간관리는 역할의 진짜 숙련도 말고도 지식노동을 계속 추상화하도록 밀어붙이는 유인이 많고, 그 추상화된 층위가 embedding space에서 특히 잘 기술되는 듯함
AI 코드는 실제보다 더 나빠 보이는 경우가 많음
지나치게 장황하고, 헷갈리고, fallback이 잔뜩 들어가 있어서 문제가 생기면 수많은 try/catch를 타고 흘러가며 스택 트레이스를 엉뚱한 곳으로 보내버림
그래도 순수 기능만 놓고 보면, 겉모습이 비슷한 인간 작성 코드보다 더 잘 돌아가는 경우가 많았음
사람에게도 LLM에게도 추론하기 어렵기 때문임
이런 블로그 글 스타일이 더 많아졌으면 좋겠음
길이도 적당하고, 메시지도 잘 전달하고, 이야기성도 있음
요즘은 소설 길이만 한 LLM산 AI 슬롭이 너무 많아서 더 반갑게 느껴짐
업계에 있는 많은 사람에게는 이게 꽤 자명한 흐름으로 보임
문제는 걸린 돈이 너무 커서, 큰 플레이어들이 원하는 걸 계속 밀어붙인다는 데 있음
원자 이하 입자들이 사실은 하나의 우주들이고, 그 성질이 그 우주를 지배했던 존재들과 그들이 사라진 뒤에도 돌아가는 자동화의 흔적을 반영하는 거라고 상상해보게 됨
엔트로피를 수확하며 스스로를 계속 증식시키는 자동 기계 같은 것 말임
우리는 지금 우리보다 더 큰 힘을 만들고 있고, 어느 순간 되돌릴 수 없는 지점에 닿을 수도 있음
수많은 아원자 우주와 문명이 흥망하고, 자율적인 유사 지능 기술에 먹히기도 하며, 거시적으로는 그게 입자의 거동으로 드러난다고 떠올리게 됨
지금 우리도 결국 하나의 입자를 만들고 있고, 우리의 집단적 선택이 우리가 속한 상위 우주에 아주 작지만 의미 있는 영향을 줄지도 모름
누군가의 출력은 항상 다른 누군가의 입력이 됨
LLM으로 양을 늘리면, 다음 사람은 또 LLM으로 그걸 파싱해 자기 출력을 만듦
그렇게 이어지다가 최종 소비자가 불만을 제기하면, 도대체 어디서 잘못됐는지 아무도 특정하지 못하게 됨
마지막 소비자만 눈앞에 있고, 나머지는 7단계 프록시 뒤에 숨어 있으니까