"I genuinely don't understand why some people are still bullish about LLMs."
- GPT, Grok, Gemini, Mistral 등 다양한 LLM을 매일 사용하고 있음
- 정보 검색과 요약 시간 절약을 기대하고 사용하지만 여전히 출처, 인용구, 링크 등을 자주 조작함
- 링크를 클릭하면 404 오류가 발생하거나, 인용된 문구를 검색해도 실제 존재하지 않음
- 과학 논문을 인용하더라도 검색해보면 존재하지 않는 경우가 많음
일부 개선은 있었지만 신뢰성은 여전히 낮음
- DeepSearch나 Chain of Thought 기법 사용으로 과거보다 정확도가 약간 개선됨
- 개인적인 추정으로 GPT-4o의 DeepResearch가 현재 가장 신뢰 가능함
- Grok은 요청해도 참고 링크를 잘 제공하지 않으며, 심지어 트윗 링크조차 제대로 연결하지 못함
- Gemini는 상황이 더 나쁘며, 출처를 찾기보다는 사용자가 직접 검색하라는 지시만 제공함
간단한 계산이나 상수 검색은 유용하지만, 정확성은 여전히 문제
- 단위 변환이나 물리 상수 등은 빠르게 제공하여 시간 절약 효과가 있음
- 하지만 규모 추정 등 간단한 계산에서 자주 오류를 발생시킴
- 이러한 작업에 1억 개 이상의 파라미터를 가진 LLM이 필요한지 의문임
문서 요약에서도 실망스러운 결과
- PDF 문서를 업로드하여 요약을 요청했는데, 헤더에 2025년이라고 명시된 문서를 2023년 것으로 오인함
- 이러한 오류는 "지능"과는 거리가 먼 행동으로 느껴짐
지식 그래프도 해결책이 아님
- 많은 사람들이 지식 그래프가 LLM의 문제를 해결할 것이라 기대하지만, 실제로는 불가능함
- 논리적으로 일관된 문장이 현실과 전혀 관계없는 경우가 여전히 많음
- 지식 그래프가 논리적 오류를 막는다 해도, 사실성과는 무관한 문장이 계속 생성될 수 있음
시장 과대평가에 대한 우려
- 기업들이 LLM을 지속적으로 과대포장하고 있으며, 이는 위험 요소임
- 완전히 새로운 형태의 AI 모델이 등장해 LLM을 능가할 경우, 기존 LLM 중심 기업들의 가치가 급격히 하락할 가능성 있음
- 그날이 오면 주식 시장에 큰 충격이 예상됨