나는 AI의 정보 소비 능력이 가장 무서운 부분 중 하나라고 생각함
NSA나 대기업들이 이미 우리의 브라우징 패턴을 수년간 수집해왔는데, AI가 그 데이터를 인간보다 훨씬 빠르게 분석하고 행동 예측이나 조작, 심리 프로파일링, 취약점 식별 등에 활용할 수 있음이 우려됨
그런데도 일부 사람들은 AI가 쓸모없는 기술이라고 비판하는 걸 보면 아이러니함
설령 AI가 쓸모없다고 해도, 이런 용도로는 여전히 사용될 것임
이런 일을 하는 사람들에게 자신감 착각을 주기 때문임
“Worthless”라는 표현은 모호함
AI가 무가치(valueless) 할 수는 있지만, 무용(useless) 하지는 않음
지뢰도 쓸모는 있지만 가치가 없듯이, 생성형 AI도 외부효과 측면에서 비슷한 논쟁이 있음
사실 이런 데이터 분석은 10년 전의 ML 기술로도 가능했음
생성형 AI가 꼭 필요한 건 아님
초지능이나 창의성 논의보다 더 걱정되는 건 감시 사회화임
이미 도시는 수많은 카메라로 뒤덮여 있고, 지금은 사람이 모든 영상을 감시할 수 없다는 점이 일종의 안전장치 역할을 하지만, AI는 그 장벽을 허물 수 있음
가까운 미래에는 “빨간 Nissan이 지나가면 알려줘” 같은 자연어 기반 감시 시스템이 등장할 것 같음
인간은 너무 복잡해서, NSA나 기업 데이터로도 행동 예측 정확도는 여전히 낮을 가능성이 있음
모델은 혼자서는 평범한 독자 수준임
중요한 부분을 놓치기 쉽지만, 테스트·컴파일러·린터 같은 도구와 결합하면 빠른 피드백 루프를 가진 창조 도구로 변함
진짜 어려운 일은 여전히 “무엇을 주장할지”를 정하는 것임
이 내용은 HackerNewsAI 뉴스레터에도 실릴 예정임
AI에는 우리가 모르는 가드레일이 적용되어 있음
예를 들어 태양광 에너지 얘기를 하자 정치적 주제로 오인해 대화가 막혔던 적이 있음
Google은 이미 오래전부터 특허와 SEC 문서를 읽고 인덱싱해왔음
일부 분야에서는 변호사보다 빠르게 문서를 읽는 시스템이 존재함
AI가 내 데이터를 몇 초 만에 읽는다고 해도, 정확성 검증은 불가능함
요약이 아니라 단순 축약(abbreviation)에 불과하다는 연구도 있음
예시처럼 “50번의 1:1 미팅에서 패턴을 찾았다”는 결과도 실제로는 일부 데이터에만 해당될 수 있음
관련 연구 방법론을 알고 싶음
사실 검증이 어려운 문제일 때만 위험함
LLM을 탐색 도구로 쓰고, 통찰은 인간이 도출해야 함
인간도 완벽하지 않음
AI가 인간보다 조금이라도 낫다면 충분히 가치가 있음
검증은 종종 해결보다 빠름
AI가 제시한 항목을 텍스트 검색으로 확인하면 됨
AI는 대량 처리 도구임
컨텍스트 관리가 핵심이고, 완전한 결정론이 아니어도 유용함
모델이 출처를 명시하도록 하면 맹신하지 않고도 쓸 수 있음
나는 개인 문서를 클라우드에 올리기 꺼림 프라이버시 위험이 너무 커서 로컬 LLM이 발전하길 기다리는 중임
나도 같은 이유로 로컬 모델을 사용함
30B 모델 정도면 MacBook에서도 요약 가능하지만, 아직 사용성이 떨어짐
나는 유출돼도 괜찮은 문서만 업로드함
NDA가 있는 비즈니스라면 로컬 모델 외에는 추천하기 어려움
장비 가격이 비싸지만, 언젠가 PC 중심의 모델 실행 환경으로 돌아올 것이라 봄
Apple의 mlx_lm으로 Obsidian 노트를 분석 중임
Qwen 3 모델을 써봤지만 환각(hallucination) 이 많고 실용적이지 않음
SOTA 모델도 요약 품질은 비슷할 것 같음
LLM을 취미로 쓰는 입장임
GPU 3개를 사서 로컬 모델을 돌리지만, ROI는 전혀 맞지 않음
단지 재미있기 때문임
민감한 키가 없다면 소규모 클라우드 GPU 임대도 괜찮은 선택임
글의 요지는 사고를 기계에 위임하는 것 같음
나는 노트를 기억과 연관성 중심으로 쓰는데, AI에게 맡기는 건 생각의 포기처럼 느껴짐
반대로, AI는 우리의 생각·노트·경험을 즉각적으로 되살릴 수 있는 기억 장치임
이메일이나 과거 보고서에 묻힌 지식을 다시 꺼내주는 점이 유용함
AI의 “초능력” 절반은 이미 Obsidian에 모든 데이터를 정리해둔 것 덕분임
그 기반이 있으니 어떤 도구든 강력해짐
대부분 사람은 그렇게 꾸준히 기록하지 않음
그가 노력의 결실을 얻은 건 대단한 일임
AI의 진짜 능력은 듣고 싶은 말을 해주는 것임
특히 RLHF 이후 그 경향이 강함
요약 능력은 여전히 부족하고, 대부분 요약이 아닌 축약에 그침
LLM은 텍스트를 이어 쓰는 데는 뛰어나지만, 큰 그림 이해에는 약함
2023년에 말하던 “기하급수적 발전”이 사실이었다면 이런 논쟁조차 없었을 것임
수학 강연 중 모르는 용어를 검색했는데, AI 요약이 꽤 괜찮았음
원본을 재구성한 것뿐이지만, 그게 바로 내가 원하던 기능이었음
하지만 요약의 검증 가능성이 중요함
대부분 사람은 빠른 소비를 선호해 깊이 이해하지 못함
나는 저품질 요약이라도 빠르게 개요를 파악할 수 있으면 충분하다고 생각함
의학 용어를 검색했을 때 Gemini가 잘못된 정보와 올바른 정보를 섞어 제공했음
전문가조차 그대로 믿는 걸 보고 무서웠음
게다가 Google이 내 프로필에 그 질환을 연관시켰을까봐 찜찜했음
AI가 “JS Set이 Array보다 빠르다”고 말해 믿었다가 맥락 누락으로 틀린 걸 깨달은 적 있음
그럼에도 AI는 낯선 주제의 방대한 자료를 종합하는 데 탁월함
예를 들어 Lorca와 Cavafy 시를 번역할 때, AI가 원문과 번역상의 어려움을 잘 설명해줬음
직접 번역을 맡기기보다 보조 도구로 활용했을 때 훨씬 좋은 결과를 얻었음
자세한 경험은 내 블로그 글에 정리했음
Hacker News 의견들
나는 AI의 정보 소비 능력이 가장 무서운 부분 중 하나라고 생각함
NSA나 대기업들이 이미 우리의 브라우징 패턴을 수년간 수집해왔는데, AI가 그 데이터를 인간보다 훨씬 빠르게 분석하고 행동 예측이나 조작, 심리 프로파일링, 취약점 식별 등에 활용할 수 있음이 우려됨
그런데도 일부 사람들은 AI가 쓸모없는 기술이라고 비판하는 걸 보면 아이러니함
이런 일을 하는 사람들에게 자신감 착각을 주기 때문임
AI가 무가치(valueless) 할 수는 있지만, 무용(useless) 하지는 않음
지뢰도 쓸모는 있지만 가치가 없듯이, 생성형 AI도 외부효과 측면에서 비슷한 논쟁이 있음
생성형 AI가 꼭 필요한 건 아님
이미 도시는 수많은 카메라로 뒤덮여 있고, 지금은 사람이 모든 영상을 감시할 수 없다는 점이 일종의 안전장치 역할을 하지만, AI는 그 장벽을 허물 수 있음
가까운 미래에는 “빨간 Nissan이 지나가면 알려줘” 같은 자연어 기반 감시 시스템이 등장할 것 같음
모델은 혼자서는 평범한 독자 수준임
중요한 부분을 놓치기 쉽지만, 테스트·컴파일러·린터 같은 도구와 결합하면 빠른 피드백 루프를 가진 창조 도구로 변함
진짜 어려운 일은 여전히 “무엇을 주장할지”를 정하는 것임
이 내용은 HackerNewsAI 뉴스레터에도 실릴 예정임
예를 들어 태양광 에너지 얘기를 하자 정치적 주제로 오인해 대화가 막혔던 적이 있음
일부 분야에서는 변호사보다 빠르게 문서를 읽는 시스템이 존재함
AI가 내 데이터를 몇 초 만에 읽는다고 해도, 정확성 검증은 불가능함
요약이 아니라 단순 축약(abbreviation)에 불과하다는 연구도 있음
예시처럼 “50번의 1:1 미팅에서 패턴을 찾았다”는 결과도 실제로는 일부 데이터에만 해당될 수 있음
사실 검증이 어려운 문제일 때만 위험함
LLM을 탐색 도구로 쓰고, 통찰은 인간이 도출해야 함
AI가 인간보다 조금이라도 낫다면 충분히 가치가 있음
AI가 제시한 항목을 텍스트 검색으로 확인하면 됨
컨텍스트 관리가 핵심이고, 완전한 결정론이 아니어도 유용함
나는 개인 문서를 클라우드에 올리기 꺼림
프라이버시 위험이 너무 커서 로컬 LLM이 발전하길 기다리는 중임
30B 모델 정도면 MacBook에서도 요약 가능하지만, 아직 사용성이 떨어짐
NDA가 있는 비즈니스라면 로컬 모델 외에는 추천하기 어려움
장비 가격이 비싸지만, 언젠가 PC 중심의 모델 실행 환경으로 돌아올 것이라 봄
Qwen 3 모델을 써봤지만 환각(hallucination) 이 많고 실용적이지 않음
SOTA 모델도 요약 품질은 비슷할 것 같음
GPU 3개를 사서 로컬 모델을 돌리지만, ROI는 전혀 맞지 않음
단지 재미있기 때문임
민감한 키가 없다면 소규모 클라우드 GPU 임대도 괜찮은 선택임
글의 요지는 사고를 기계에 위임하는 것 같음
나는 노트를 기억과 연관성 중심으로 쓰는데, AI에게 맡기는 건 생각의 포기처럼 느껴짐
이메일이나 과거 보고서에 묻힌 지식을 다시 꺼내주는 점이 유용함
AI의 “초능력” 절반은 이미 Obsidian에 모든 데이터를 정리해둔 것 덕분임
그 기반이 있으니 어떤 도구든 강력해짐
그가 노력의 결실을 얻은 건 대단한 일임
AI의 진짜 능력은 듣고 싶은 말을 해주는 것임
특히 RLHF 이후 그 경향이 강함
요약 능력은 여전히 부족하고, 대부분 요약이 아닌 축약에 그침
LLM은 텍스트를 이어 쓰는 데는 뛰어나지만, 큰 그림 이해에는 약함
2023년에 말하던 “기하급수적 발전”이 사실이었다면 이런 논쟁조차 없었을 것임
수학 강연 중 모르는 용어를 검색했는데, AI 요약이 꽤 괜찮았음
원본을 재구성한 것뿐이지만, 그게 바로 내가 원하던 기능이었음
대부분 사람은 빠른 소비를 선호해 깊이 이해하지 못함
전문가조차 그대로 믿는 걸 보고 무서웠음
게다가 Google이 내 프로필에 그 질환을 연관시켰을까봐 찜찜했음
AI가 “JS Set이 Array보다 빠르다”고 말해 믿었다가 맥락 누락으로 틀린 걸 깨달은 적 있음
그럼에도 AI는 낯선 주제의 방대한 자료를 종합하는 데 탁월함
예를 들어 Lorca와 Cavafy 시를 번역할 때, AI가 원문과 번역상의 어려움을 잘 설명해줬음
직접 번역을 맡기기보다 보조 도구로 활용했을 때 훨씬 좋은 결과를 얻었음
자세한 경험은 내 블로그 글에 정리했음