커밋 히스토리가 공개되어 있어서, 그 리딩 리스트가 AI의 손을 거쳤다는 걸 쉽게 알 수 있음 관련 커밋 링크 참고
이 버전이 훨씬 자연스러움. Opus가 생성한 문장은 “좋아하는 함수 중간에서 세그폴트 나는 것처럼 갑자기 끝난다”였는데, 이후 커밋에서는 “대부분의 책이 문장 중간에서 멈춘다”로 바뀌었음
커밋 메시지는 단순히 “stephenson”이라, 왜 바뀌었는지는 불분명함 수정된 커밋 링크
“Stephenson은 단순한 SF 작가가 아니라 미래의 운영 매뉴얼을 쓰는 사람”이라는 문장이 있었는데, 정말 전형적인 AI 생성 문체였음. 그래도 수정한 건 다행임
이 커밋에는 “THIS IS AI GENERATED, NEED TO EDIT”라는 주석이 있었음. 즉, 초안부터 AI로 작성된 걸 인정한 셈임
아직 이 부분을 수정하는 pull request는 보이지 않음
LLM과의 경험이 다른 사람들처럼 긍정적이지 않음
구글의 Gemini 프로모션 예시를 들면, 추수감사절 저녁 준비 타임라인을 제시했는데, 질문을 하자 서로 모순되는 세 가지 버전을 내놓았음
단순히 “빵 위에 수건을 덮어 따뜻하게 유지하라” 정도면 됐을 텐데, 전혀 엉뚱한 답을 반복함
코드 생성은 6번 중 1번만 성공, StackOverflow형 질문은 6번 중 5번 성공, 일반 질문은 들쭉날쭉함
실패할 때는 너무 심각해서, 세상이 이렇게 대규모 LLM 사용으로 달려가는 게 무섭게 느껴짐
구글이 이런 엉터리 답변 생성기를 핵심 서비스 앞단에 붙였는데도 주가가 두 배가 된 게 놀라움
심지어 “AI Overview 출시 전날의 주가”를 물어봤더니 그것조차 틀림
대부분의 LLM 팬들은 결과를 겉보기만 보고 감탄하고, 실제 내용의 오류나 코드 품질은 자세히 보지 않는 듯함
나도 재미 삼아 Copilot에게 AVR-GCC용 Makefile을 써보라 했는데, 2500줄짜리 괴물이 나왔음
코드보다 길고, 변수 선언만 반복되는 의미불명 스파게티였음. 다시는 안 쓸 것임
A16Z를 진지하게 받아들이면 안 된다고 생각함. 완전 사기꾼 집단 같음
채용 담당자가 A16Z 투자를 자랑하면, 오히려 부정적 신호로 받아들임
“Software is eating the world, AI is eating the VCs”라는 말이 딱 맞음
“...and a conehead”라며 조롱 섞인 반응도 있었음
블로그 포스트를 문장 중간에서 끝냈다면 정말 멋졌을 것 같음
David Foster Wallace의 첫 소설 The Broom of the System은 “I am a man of my”에서 끝남
그의 다른 작품들도 인간의 혼돈스러운 내면을 보여주지만, 결말이나 교훈은 없음
2000페이지 넘게 읽고도 여전히 “추천하지 않음”이라는 결론임
Neal Stephenson에게는 “완결된 문장으로 끝내줘서 고맙다”고 전하고 싶음
읽다 중간에 결말을 미리 보고 싶은 충동을 참았음
그의 책들은 늘 너무 일찍 혹은 너무 늦게 끝나는 느낌이라, 흥미로운 설정에도 불구하고 손이 잘 안 감
“나도 독창적인 아이디어는 없음”이라며 농담하는 댓글도 있었음
“실제로 그 책은 중간에서 끝난다”고 지적하는 사람도 있었음
“나도 그걸 기대했는데 아쉽다”며 웃는 반응도 있었음
Werner Herzog의 자서전이 떠오름
서문에서 “저격수의 총알에 맞아 생이 끊길 수도 있다”고 말하며, 책을 갑자기 끝내는 장치로 쓰겠다고 예고함
그리고 실제로 그렇게 끝내지만, 바로 이어서 “이게 바로 내가 예고한 결말”이라고 덧붙이는 전형적인 헤어조크식 반전이 있음
대기업이 연말 리딩 리스트를 내는 건 “우린 감정과 취향이 있는 사람들”이라는 PR 메시지임
하지만 이번 사례로, 그게 단순한 홍보용 연출일 뿐임이 드러남
“삶의 의미는 정수(integer)였다”는 문장으로 끝나는 걸 보고, 이건 확실히 AI가 쓴 문장이라고 느낌
리스트 전체가 LLM 특유의 어투로 가득함
출처를 생각하면 놀랍지도 않음. 사실 첫 번째 가설(LLM 작성설)에서 이미 끝났어야 했음
그들이 “모든 책을 읽었다”고 주장하지만, 정말 좋아한다면 몇 문장 정도는 직접 썼을 것 아닌가 하는 의문이 듦
Stephenson을 “문장 중간에서 끝내는 다다이스트 작가”라며 풍자함
“100년 후엔 나를 그런 작가로 기억하겠지”라는 식의 자기 패러디 인용이 이어짐
또 다른 가설로, 단순히 기억 착오일 수도 있음
오래전에 읽은 Stephenson의 책이 결말이 허무했다고 기억하고, 다른 책의 “문장 중간에서 끝남”과 혼동했을 가능성임
회사 공식 리뷰라면, 최소한 책을 다시 펴서 몇 장이라도 읽어봤을 것 같음
개인적으로는 가설 A(AI 작성설) 이 훨씬 설득력 있다고 생각함
혹은 AI가 만든 Top 50 리스트에 자사 홍보용 책을 끼워 넣는 저비용 마케팅일 수도 있음
“Stephenson이 Dhalgren을 썼다고 착각한 인간”이라는 가설 D-for-Delany도 제시됨. “I have come to”로 끝나는 그 문장을 인용하며 말함
Hacker News 의견
커밋 히스토리가 공개되어 있어서, 그 리딩 리스트가 AI의 손을 거쳤다는 걸 쉽게 알 수 있음
관련 커밋 링크 참고
커밋 메시지는 단순히 “stephenson”이라, 왜 바뀌었는지는 불분명함
수정된 커밋 링크
LLM과의 경험이 다른 사람들처럼 긍정적이지 않음
구글의 Gemini 프로모션 예시를 들면, 추수감사절 저녁 준비 타임라인을 제시했는데, 질문을 하자 서로 모순되는 세 가지 버전을 내놓았음
단순히 “빵 위에 수건을 덮어 따뜻하게 유지하라” 정도면 됐을 텐데, 전혀 엉뚱한 답을 반복함
코드 생성은 6번 중 1번만 성공, StackOverflow형 질문은 6번 중 5번 성공, 일반 질문은 들쭉날쭉함
실패할 때는 너무 심각해서, 세상이 이렇게 대규모 LLM 사용으로 달려가는 게 무섭게 느껴짐
심지어 “AI Overview 출시 전날의 주가”를 물어봤더니 그것조차 틀림
코드보다 길고, 변수 선언만 반복되는 의미불명 스파게티였음. 다시는 안 쓸 것임
A16Z를 진지하게 받아들이면 안 된다고 생각함. 완전 사기꾼 집단 같음
블로그 포스트를 문장 중간에서 끝냈다면 정말 멋졌을 것 같음
그의 다른 작품들도 인간의 혼돈스러운 내면을 보여주지만, 결말이나 교훈은 없음
2000페이지 넘게 읽고도 여전히 “추천하지 않음”이라는 결론임
Neal Stephenson에게는 “완결된 문장으로 끝내줘서 고맙다”고 전하고 싶음
그의 책들은 늘 너무 일찍 혹은 너무 늦게 끝나는 느낌이라, 흥미로운 설정에도 불구하고 손이 잘 안 감
Werner Herzog의 자서전이 떠오름
서문에서 “저격수의 총알에 맞아 생이 끊길 수도 있다”고 말하며, 책을 갑자기 끝내는 장치로 쓰겠다고 예고함
그리고 실제로 그렇게 끝내지만, 바로 이어서 “이게 바로 내가 예고한 결말”이라고 덧붙이는 전형적인 헤어조크식 반전이 있음
대기업이 연말 리딩 리스트를 내는 건 “우린 감정과 취향이 있는 사람들”이라는 PR 메시지임
하지만 이번 사례로, 그게 단순한 홍보용 연출일 뿐임이 드러남
“삶의 의미는 정수(integer)였다”는 문장으로 끝나는 걸 보고, 이건 확실히 AI가 쓴 문장이라고 느낌
리스트 전체가 LLM 특유의 어투로 가득함
출처를 생각하면 놀랍지도 않음. 사실 첫 번째 가설(LLM 작성설)에서 이미 끝났어야 했음
Stephenson을 “문장 중간에서 끝내는 다다이스트 작가”라며 풍자함
또 다른 가설로, 단순히 기억 착오일 수도 있음
오래전에 읽은 Stephenson의 책이 결말이 허무했다고 기억하고, 다른 책의 “문장 중간에서 끝남”과 혼동했을 가능성임