나는 LLM을 쓸 때마다 오히려 내가 더 멍청해지는 느낌을 받음
스스로 공부해서 얻은 지식이 아니라 기댄다는 감각이 강해서 자신감이 줄어듦
책이나 논문처럼 여러 출처를 교차 검증하는 습관이 있어서, LLM의 답변은 단순히 평균치로 느껴짐
LLM을 너무 자주 쓰면 진짜로 뇌가 꺼지는 느낌이 듦. 마치 반복적인 게임을 오래 할 때처럼 멍해짐
예전에 학교에서 “위키백과를 그대로 믿지 말고 출처를 확인하라”는 말을 자주 들었음
그런데 지금은 사람들이 위키를 거의 절대적인 진리처럼 인용함. LLM도 시간이 지나면 그렇게 될 것 같음
우리 회사는 오픈소스 제품을 운영하는데, 챗봇이 만든 설정을 그대로 따라 했다가 안 된다는 문의가 많음
심지어 API가 다운됐다고 항의하지만, 사실은 챗봇이 엔드포인트를 지어낸 것임
나도 LLM 덕분에 일을 더 빨리 끝내지만, 그게 내가 한 일 같지 않아서 가짜 같은 기분이 듦
결국 스스로 찾아보고 실험하려는 노력이 줄어듦. 규율이 있는 사람만이 진짜로 이 도구를 잘 쓸 수 있을 것 같음
AI의 답변은 틀리지 않더라도 어딘가 허술한 냄새가 남음. 신뢰감이 약함
LLM은 마치 Bill Bryson의 책처럼 그럴듯하고 권위 있게 들리지만, 실제로 아는 분야에선 틀린 부분이 많음을 느낌
그래도 우리는 여전히 다음 질문에 또 기대를 걸게 됨
나는 LLM을 학습의 출발점으로 쓰는 편임. 완벽한 답을 기대하진 않지만, 새로운 용어나 개념을 빠르게 익힐 수 있음
예를 들어 1990년식 Miata에 스위치를 달려고 했는데, LLM 덕분에 릴레이와 DPDT 스위치 개념을 처음 알게 됨
회로도는 틀렸지만 공부 방향을 잡는 데 도움이 됨
이 비교가 완전히 공정하진 않다고 생각함. 우리가 잘 아는 주제일수록 더 어려운 질문을 하니까 LLM이 당연히 더 자주 틀림
반면 모르는 분야에선 기초 수준의 답만으로도 충분히 인상적임
나는 소설 속 인물의 동기를 분석하려고 ChatGPT에 물어봤는데, 사실관계가 틀린 부분이 많았음
모르는 사람에겐 그럴듯해 보이지만, 잘못된 정보 위에 생각을 쌓으면 결국 더 왜곡된 결과가 나옴
대화 내용은 여기서 볼 수 있음
Bill Bryson을 언급한 게 너무 웃김
Bryson 책을 읽어보려 했는데, 구체적으로 어떤 부분이 틀렸는지 예시가 궁금함
대학 시절 강의 들을 때도 비슷한 느낌이었음
수업 중엔 다 이해한 것 같지만, 직접 문제를 풀어보면 빠진 부분이 많았음을 깨달음
이번 학기 내 학생들 대부분이 LLM으로 과제를 한 것 같음
코드가 수업 맥락을 반영하지 못해 오류가 나는데, 결국 내가 그 부분을 고쳐야 함
학습에서 인식(recognition) 은 쉽지만 회상(recall) 은 어렵다는 점이 문제임
고생 없이 배우면 더 잘 배운 것처럼 느껴지지만 실제로는 그렇지 않음
지금 대학생들이 그 ‘고생’을 LLM으로 대체하고 있다는 게 걱정됨
전문가들도 비슷한 문제를 겪음. 일반인을 위해 단순화한 설명을 하면, 오히려 거짓말쟁이로 몰리는 경우가 많음
세부 정보가 부족한 것과 자신 있게 틀리는 것은 다름
예를 들어 Claude가 내 건물 기초가 위험하다고 했는데, 실제 검사관은 웃으면서 아무 문제 없다고 함
수학·물리 서브레딧에서도 종종 ChatGPT와 함께 물리학의 통일 이론을 만들었다는 글이 올라옴
예전에도 그런 사람은 있었지만, LLM 이후로 훨씬 많아짐
사실 신문뿐 아니라 책도 신뢰하기 어려운 시대임
누구나 출판할 수 있고, 영상도 이제는 조작이 쉬워짐
결국 중요한 건 출처를 선별하는 능력임
나는 사람에게서 정보를 들을 때처럼 ChatGPT에게도 출처와 신뢰도 필터를 적용함
답을 듣고 나면 ‘지식을 얻었다’기보다 탐색할 방향을 얻었다는 느낌임
그 “탐색의 출발점”이 실제 지식으로 발전한 사례가 궁금하다는 질문을 받음
이건 “default to null” 개념을 떠올리게 함
이해가 안 되는 문장은 ‘내가 모르는 게 아니라, 텍스트가 무의미할 수도 있다’고 가정하는 태도임
문제는 인간의 기억이 사실보다 맥락을 더 빨리 잊는다는 점임
결국 시간이 지나면 잘못된 정보도 내 세계관에 섞여 들어감
LLM의 미래에 대해 확신하는 척하는 글들이 너무 많음
하지만 역사를 보면, 양(Quantity) 이 질을 바꾼 사례가 많음
체스 엔진, 구글 검색, 위키백과 모두 단순한 원리에서 출발했지만 데이터의 규모가 혁신을 만들었음
LLM도 단순한 행렬 곱셈이지만, 어쩌면 ‘고기(meat)’가 생각하는 것처럼 새로운 지능이 나올 수도 있음
하지만 지금은 위키백과의 정치적 편향이나 xkcd 978에서 말한 미묘한 조작이 여전히 존재함
“LLM은 지식 엔진이 아니라 자신감 엔진이다”라는 말이 인상적임
기술 문제를 물었을 때 “그건 알려진 문제”라고 답해주면, 내가 멍청한 게 아니라 진짜 어려운 문제구나 하고 안심됨
예를 들어 WebStorm에서 디버거 기본 탭을 바꾸려 했는데, AI가 “방법이 없다”고 해서 시간 낭비를 막았음
하지만 AI는 이런 식으로 거짓 확신을 주는 경우가 많음
내가 지어낸 문제를 던져도 “그건 알려진 이슈”라며 그럴듯하게 속임
나는 LLM을 권위의 원천이 아니라 사고의 거울로 씀
내 생각을 설명하다 보면 스스로의 혼란이나 논리적 결함을 발견함
언어는 본래 불확실한데, LLM은 그 불확실성을 통계로 드러내줌
그래서 비판적으로 접근하면 오히려 사고를 정제하는 도구가 됨
결국 인간도 AI도 완벽하지 않다는 걸 인정하고, 낯선 사람을 대하듯 회의적으로 대하는 게 중요함
“LLM은 지식이 아니라 자신감을 만든다”는 말에 공감함
완벽하지 않아도 확신을 가지고 실행하는 태도가 때로는 더 좋은 결과를 가져옴
특히 지나치게 신중한 사람에게는 자신감 자체가 생산성의 핵심일 수 있음
하지만 자신감은 사회적 무기이기도 함
근거 없는 확신이 타인에게 신뢰를 주고, 그게 반복되면 겸손과 주저함을 배우게 됨
학문적 태도는 이런 이유로 종종 자기제한적이 되기도 함
Hacker News 의견
나는 LLM을 쓸 때마다 오히려 내가 더 멍청해지는 느낌을 받음
스스로 공부해서 얻은 지식이 아니라 기댄다는 감각이 강해서 자신감이 줄어듦
책이나 논문처럼 여러 출처를 교차 검증하는 습관이 있어서, LLM의 답변은 단순히 평균치로 느껴짐
그런데 지금은 사람들이 위키를 거의 절대적인 진리처럼 인용함. LLM도 시간이 지나면 그렇게 될 것 같음
심지어 API가 다운됐다고 항의하지만, 사실은 챗봇이 엔드포인트를 지어낸 것임
결국 스스로 찾아보고 실험하려는 노력이 줄어듦. 규율이 있는 사람만이 진짜로 이 도구를 잘 쓸 수 있을 것 같음
LLM은 마치 Bill Bryson의 책처럼 그럴듯하고 권위 있게 들리지만, 실제로 아는 분야에선 틀린 부분이 많음을 느낌
그래도 우리는 여전히 다음 질문에 또 기대를 걸게 됨
예를 들어 1990년식 Miata에 스위치를 달려고 했는데, LLM 덕분에 릴레이와 DPDT 스위치 개념을 처음 알게 됨
회로도는 틀렸지만 공부 방향을 잡는 데 도움이 됨
반면 모르는 분야에선 기초 수준의 답만으로도 충분히 인상적임
모르는 사람에겐 그럴듯해 보이지만, 잘못된 정보 위에 생각을 쌓으면 결국 더 왜곡된 결과가 나옴
대화 내용은 여기서 볼 수 있음
대학 시절 강의 들을 때도 비슷한 느낌이었음
수업 중엔 다 이해한 것 같지만, 직접 문제를 풀어보면 빠진 부분이 많았음을 깨달음
코드가 수업 맥락을 반영하지 못해 오류가 나는데, 결국 내가 그 부분을 고쳐야 함
고생 없이 배우면 더 잘 배운 것처럼 느껴지지만 실제로는 그렇지 않음
예를 들어 Claude가 내 건물 기초가 위험하다고 했는데, 실제 검사관은 웃으면서 아무 문제 없다고 함
수학·물리 서브레딧에서도 종종 ChatGPT와 함께 물리학의 통일 이론을 만들었다는 글이 올라옴
예전에도 그런 사람은 있었지만, LLM 이후로 훨씬 많아짐
관련 기사: Gizmodo 링크
LLM을 읽는 경험은 신문을 읽는 것과 비슷함
모르는 분야는 많이 배운 것 같지만, 아는 분야에선 엉터리임을 바로 알아차림
그래서 내가 모르는 주제에 대해선 얼마나 틀리고 있을지 걱정됨
위키백과 설명
누구나 출판할 수 있고, 영상도 이제는 조작이 쉬워짐
결국 중요한 건 출처를 선별하는 능력임
나는 사람에게서 정보를 들을 때처럼 ChatGPT에게도 출처와 신뢰도 필터를 적용함
답을 듣고 나면 ‘지식을 얻었다’기보다 탐색할 방향을 얻었다는 느낌임
이해가 안 되는 문장은 ‘내가 모르는 게 아니라, 텍스트가 무의미할 수도 있다’고 가정하는 태도임
결국 시간이 지나면 잘못된 정보도 내 세계관에 섞여 들어감
LLM의 미래에 대해 확신하는 척하는 글들이 너무 많음
하지만 역사를 보면, 양(Quantity) 이 질을 바꾼 사례가 많음
체스 엔진, 구글 검색, 위키백과 모두 단순한 원리에서 출발했지만 데이터의 규모가 혁신을 만들었음
LLM도 단순한 행렬 곱셈이지만, 어쩌면 ‘고기(meat)’가 생각하는 것처럼 새로운 지능이 나올 수도 있음
“LLM은 지식 엔진이 아니라 자신감 엔진이다”라는 말이 인상적임
기술 문제를 물었을 때 “그건 알려진 문제”라고 답해주면, 내가 멍청한 게 아니라 진짜 어려운 문제구나 하고 안심됨
예를 들어 WebStorm에서 디버거 기본 탭을 바꾸려 했는데, AI가 “방법이 없다”고 해서 시간 낭비를 막았음
내가 지어낸 문제를 던져도 “그건 알려진 이슈”라며 그럴듯하게 속임
나는 LLM을 권위의 원천이 아니라 사고의 거울로 씀
내 생각을 설명하다 보면 스스로의 혼란이나 논리적 결함을 발견함
언어는 본래 불확실한데, LLM은 그 불확실성을 통계로 드러내줌
그래서 비판적으로 접근하면 오히려 사고를 정제하는 도구가 됨
결국 인간도 AI도 완벽하지 않다는 걸 인정하고, 낯선 사람을 대하듯 회의적으로 대하는 게 중요함
“LLM은 지식이 아니라 자신감을 만든다”는 말에 공감함
완벽하지 않아도 확신을 가지고 실행하는 태도가 때로는 더 좋은 결과를 가져옴
특히 지나치게 신중한 사람에게는 자신감 자체가 생산성의 핵심일 수 있음
근거 없는 확신이 타인에게 신뢰를 주고, 그게 반복되면 겸손과 주저함을 배우게 됨
학문적 태도는 이런 이유로 종종 자기제한적이 되기도 함