# GPT-5: 출시 지연, 과대평가됐고, 기대에 못미침 그리고 그보다 더 심각한 문제는 > Clean Markdown view of GeekNews topic #22448. Use the original source for factual precision when an external source URL is present. ## Metadata - GeekNews HTML: [https://news.hada.io/topic?id=22448](https://news.hada.io/topic?id=22448) - GeekNews Markdown: [https://news.hada.io/topic/22448.md](https://news.hada.io/topic/22448.md) - Type: GN+ - Author: [neo](https://news.hada.io/@neo) - Published: 2025-08-11T09:57:42+09:00 - Updated: 2025-08-11T09:57:42+09:00 - Original source: [garymarcus.substack.com](https://garymarcus.substack.com/p/gpt-5-overdue-overhyped-and-underwhelming) - Points: 6 - Comments: 5 ## Summary OpenAI의 **GPT-5**는 출시 직후 **커뮤니티의 기대에 크게 못 미치며**, 일부 벤치마크에서는 오히려 **성능 저하**와 기존 한계가 반복됨을 드러냈습니다. 최신 연구 결과 **LLM의 일반화와 분포 이동 한계**가 여전히 명확히 확인되어, **순수한 스케일링 전략**만으로는 혁신이 어렵다는 인식이 업계에 확산되고 있습니다. 이에 따라 **OpenAI의 기술 리더십 상실, AGI 실현 회의론, 경쟁사 추격** 등 구조적 위기가 고조되고, 새로운 **신경-기호 AI, 세계모델** 기반 접근이나 **복합 알고리듬 혁신**이 필요하다는 목소리가 커집니다. ## Topic Body - **GPT-5**의 기대와 달리 실제 공개 후 **커뮤니티의 실망감**이 크게 높아짐 - GPT-5는 기존 모델과 **실질적으로 큰 차별성 없으며**, 오히려 일부 벤치마크에서는 **오히려 악화된 성능**도 확인됨 - 최신 연구에서 대형 언어 모델(LLM)들의 **일반화 한계와 분포 이동 문제**가 여전히 심각함이 증명됨 - OpenAI의 **기술 리더십 상실, 주요 인력 이탈, 경쟁사 추격** 등으로 기업 가치 유지가 불투명해짐 - **AGI** 실현 주장에 대한 회의감이 커지며, 업계 전반적으로 **‘순수한 스케일링’ 접근법**에 한계 인식 확산 --- ### GPT-5 출시와 기대감 - OpenAI가 오랜 시간 동안 예고해왔던 **GPT-5 공개**가 마침내 이루어졌음 - CEO Sam Altman은 공개 전후로 **자신감 넘치는 발언**과 마케팅 이미지를 적극 활용했음 - 그러나 GPT-5 출시 후, 일부 인플루언서를 제외하고는 **대다수 커뮤니티에서 실망감**이 주를 이뤘음 - 사용자들은 새 모델에 대해 **크게 실망**, 오히려 구 버전 요청 청원이 성사되는 현상도 발생했음 - Altman의 마케팅과 주장과 달리 실제 사용 후기는 극명하게 **부정 평가**로 기울었음 ### 커뮤니티와 미디어 반응 - OpenAI Reddit, Hacker News 등 여러 커뮤니티에서 **오류, 환각(hallucination)** 등 GPT-5의 문제점을 집중적으로 제기함 - 주요 성능 벤치마크에서는 **Grok 4 등 경쟁 모델 대비 열세**를 보이기도 했음 - 자동 라우팅 등 신규 기능 역시 **혼란과 미흡함**을 드러냄 - 커뮤니티 기대치가 급격히 높아진 상황에서, **GPT-5는 오히려 큰 실망**을 남김 - 공개 당일 Polymarket 설문에서 **OpenAI AI 리더십 신뢰도**가 1시간 사이 75%에서 14%로 급락함 ### 구조적 한계: 체스, 시각 이해, 추론 문제 - 저자와 여러 전문가가 지적해온 **기본적 추론 오류와 체스 규칙 준수 실패** 문제가 여전히 존재함 - 이미지 생성 등 분야에서는 **부분-전체 관계, 시각적 일관성** 등에서 뚜렷한 한계가 드러남 - 기계공학 박사 및 일반인도 실수하지 않을 수준의 문제에서 GPT-5가 오류를 범함 - 요약 및 독해 등 기본 과제에서도 다수의 실수 사례가 보고됨 - GPT-5는 괜찮은 점진적 개선 모델이지만, **작년과 비교해 눈에 띄는 혁신은 드묾** ### 오픈AI의 현재 상황과 전망 - GPT-5는 전작들에 비해 **점진적 개선 수준**에 머물렀고, 치명적인 단점이 반복됨 - 시장과 업계에서 **OpenAI의 기술 리더십**에 대한 신뢰가 하락 중임 - 여러 주요 인력이 이탈해 경쟁사를 설립하거나 이직하였고, **Anthropic, Google, Elon Musk** 등이 빠르게 추격 중임 - 가격 인하 압박, 수익성 문제, Microsoft와의 관계 악화 등 구조적 리스크가 커짐 - **LLM 기반의 AGI 실현 가능성**에 대한 회의론과 CEO Sam Altman에 대한 신뢰 저하 심화됨 ### LLM 근본적 한계: 일반화와 분포 이동 문제 - Arizona State University에서 나온 최신 논문에서 **Chain of Thought 추론**조차 훈련 분포를 벗어나면 무너지는 현상이 확인됨 - Apple 등 타사에서 이미 지적한 **분포 이동(distribution shift)에 취약**한 구조가 최신 모델에서도 동일하게 발견됨 - 이는 LLM이 지속적으로 **정성적 한계에 부딪히는 근본 원인**으로, 대규모 파라미터만으로는 극복 불가임이 드러남 - 수십억 달러가 투입된 스케일링 전략이 **본질적 문제 해결엔 실패**함을 보여줌 - 새로운 패러다임 모색이 필요하다는 인식이 확산됨 ### AI 업계 전반과 ‘스케일링’의 한계 - AGI, 운전 자동화, 허황된 타임라인 등 **과장된 마케팅**이 만연함 - 성능을 왜곡한 벤치마크, 블랙박스식 평가, 투명성 부족이 심각함 - 많은 사람들이 **‘AGI’ 용어가 투자자와 대중을 현혹하는 수단**임을 인식하기 시작함 - AI에 대한 낙관적 기대와 채찍질이 동시에 증가함 - **순수 스케일링 접근법**이 막다른 벽에 부딪힌 것이 현실임 ### 대안과 결론 - GPT-5는 더 저렴해졌을 수 있으나, 체스, 추론, 시각 및 수리 능력 등 **질적 한계는 여전함** - Grok, Claude, Gemini 등 경쟁 모델들 역시 유사한 문제를 반복함 - **분포 이동(distribution shift)** 문제는 여전히 미해결로 남아 있음 - 이제는 **신경-기호(neurosymbolic) AI** 및 세계모델 기반 방식 등 새로운 접근이 필요하다는 주장 제기됨 - 순수 스케일링이 아닌 **복합적 알고리듬 혁신**이 AGI 실현의 필수 요소임을 재확인함 ### 후속 이슈 예고 및 PS - 이번 주 발견된 LLM 한계 외에도 또 다른 심각한 과학적 이슈가 밝혀질 예정임을 시사함 - 다음 후속 포스트에서 별도의 내용 공유 예고 ### 요약 - GPT-5 출시 전후로 업계와 커뮤니티의 기대와 반응, LLM의 구조적 한계, OpenAI의 미래, AGI 프레임의 현실 등이 폭넓게 논의됨 - 전체 내용은 **LLM, GPT-5의 실질적 한계, AI 투자/기대/실망, 혁신 이슈, 연구 동향** 등 스타트업과 IT 실무자에게 중요한 시사점 제시함 ## Comments ### Comment 42408 - Author: gnsdl116 - Created: 2025-08-12T10:57:26+09:00 - Points: 1 과한 비관론인듯. 우려점은 이해하나, 기술 발전 과정이 무조건 우상향일 수가 없음 ### Comment 42377 - Author: mammal - Created: 2025-08-11T13:31:50+09:00 - Points: 1 하필 포스트 쓴 사람이 헛소리만하던 Gary Marcus라서 영... ### Comment 42361 - Author: neo - Created: 2025-08-11T09:57:42+09:00 - Points: 1 ###### [Hacker News 의견](https://news.ycombinator.com/item?id=44851557) - 나는 여전히 GPT-5가 실질적으로 비용 절감 전략이라고 생각함, GPU가 필요한 제품에서 10억 명 유저를 확보하려는 성장 지향 회사라는 점 때문임 - GPT-5 Pro에 대해 아무도 얘기하지 않는데, 나는 직접 테스트해 봤고 Grok 4 Heavy, Opus 4.1보다 월등히 뛰어남 - 완전히 최신 기술이며, 진짜 최대 성능대로 모델을 돌린다면 한 사람당 월 수천 달러까지 이를 수 있음 - 그래서 실제로는 제한된 수준으로 제공되고 있음, OpenAI는 이런 시장 세그먼트가 아니라, 성장에 집중해 구글과 맞서려는 전략임 - Pro 모델 언급이 한 번도 없어서 이 사람 의견은 아예 신뢰하지 않음 - 내 생각에는 GPT-5 Pro가 o3-pro보다 훨씬 낫다는 인상은 아님(혹은 전혀 아닐 수도 있음), 훨씬 느리고 출력 품질은 비슷함 - 여전히 속기도 하고 요점을 놓침 - 다만, 문제 해결에 대해 새로운 접근법 제시에선 약간 더 우수해 보임 - 내 첫 인상은 5-pro가 o3-pro보다 지식은 0-2% 더 많고 창의성이나 독창성은 5-10% 정도 더 높음 - 모델의 "톤"이나 성격은 완전히 똑같음 - 특정 작업(형식 논리, 데이터 분석, 짧은 분석적 과제)에선 진짜 초인적인 수준이고 Grok이나 Gemini 어떤 버전보다 뛰어남 - 하지만 산문 작성, 일반적인 글쓰기 용도로는 Kimi K2, Deepseek R1보다 확실히 떨어짐 - 특히 놀라운 건, 최고의 영어 산문을 쓰는 모델이 중국계들이라는 점임, 단순히 GPT의 ‘AI 스타일’을 안 쓰는 게 아니라 Kimi 수준은 실제 출판된 시인들과 동급임 - 내 네트워크 확인해봤는데 GPT-5 Pro 쓰는 사람 아무도 없음 - 특히 o3와의 비교 피드백이 정말 궁금함! - 이 의견 동의함, 하지만 더 나은 모델을 대중에 공개하기 위한 의도도 있다고 봄 - o3가 엄청나게 좋았지만, 많은 사람들이 여전히 쓰지 않았음 - ChatGPT 매일 쓰는 친구들한테 o3 썼냐고 물으면 멍한 표정 - 그래서 추론 모델을 대중화시키는 목적도 있다고 생각함, 이건 OpenAI의 비용 올라가는 요인 - 하지만 루팅 계층 때문에 강력 유저 입장(대부분 HN 이용자)에서는 비용 절약 측면도 있음 - 단, 파워유저는 reasoning 모델 강제 사용 방법을 곧 잘 익힘 - Pro 모델이 API로 쓸 수 없는 걸로 아는데, 맞는지? - 혹시 Codex CLI 통해 구독 연동해서 쓸 수 있는지 궁금함 - 동의함 - 이 결정의 또 다른 배경엔, 대부분 유저한테는 기존 모델만으로도 충분하다는 점이 있음 - HN 이용자와 달리 일반 유저는 최신 기술에 관심이 크지 않음 - 이런 류의 기사가 특히 짜증난다고 느끼는 편임 - 왜 직접 분석해서 본인이 왜 GPT-5가 별로라고 생각하는지 글을 쓰는 대신, 소셜 미디어 반응만 긁어서, 모든 비판을 “충격적” 혹은 “맹공”으로 과장해서 내 의견을 설득하려고 함 - 너무 한쪽으로 치우쳐서 저널리즘도 아니고, 오리지널 분석도 아님 - 왠지 AI 관련 기사들은 근본적으로 호기심이 부족하고, 조롱이나 깎아내림에 더 집중하는 경향이 있는 듯함 - 나는 AI를 좋아하지만, 생각이 다른 사람의 진지한 글이라면 언제든 읽음 - 하지만 이런 식의 글은 종류가 다름, 상대편 비판 외에는 아무 가치가 없음 - HN의 모더레이션이 나쁘지 않다고 생각하는데, 이런 호기심 없는 글들은 메인에서 사라졌으면 함 - Gary Marcus는 항상 분석이 얕은 편임 - 그의 의견은 Jim Cramer의 주식 해설과 꽤 비슷함 - 진지하게 ‘Reverse Gary Marcus’ 전략에 베팅할 수도 있을 정도임 - Gary Marcus는 항상, 진짜 항상 AI가 실제로 동작하지 않는다고 주장함—그가 맞은 의견은 거의 우연 수준임 - [원댓글 보기](https://news.ycombinator.com/item?id=44278811) - 이런 현상이 넓게 퍼진 문제라는 의견에 완전히 동의함 - GPT-5가 과대광고에 부응했는지, 그리고 어떤 반응을 받고 있는지에 대한 블로그 포스트임 - 이건 완전히 합법적 주제임 - Gary Marcus 블로그니까 당연히 자기 의견으로 편향될 수밖에 없음, BBC 기사와는 다름 - 점점 진짜 의견을 찾기 힘들어진 게 현실 문제라고 생각함 - 온라인에선 대부분 남 의견을 재해석해서 떠드는 수준이고, 쓸데없이 시끄럽고 얕은 콘텐츠가 넘침 - 내 경험상 이번 "업그레이드"는 Plus 사용자에겐 큰 다운그레이드임 - GPT-5는 O3에 비해 답변 품질이 부족함, 충분히 사고하는 회수도 적고 O3처럼 웹 검색도 사용하지 않음 - 직접 ‘thinking' 선택하고 명확하게 지시해도 해결 안 됨 - 지금은 Gemini 써야 비슷한 품질 출력이 나옴 - 그리고 커스텀 GPT들([관련정보](https://openai.com/index/introducing-gpts/))도 고장남, 내 맞춤 문법 검사 GPT가 모델 상관없이 명령을 무시함 - Deep research 옵션도 이상함, 선택해도 그대로 답하고 지시해도 특별히 안 달라짐 - Projects도 마찬가지로 고장난 듯함 - 지시를 제대로 따르지 않고, 스페인어로 응답하거나 내 질문을 무시함 - 가끔은 마치 자기랑 대화하는 느낌이고, 내가 아무 키나 입력해도 계속 똑같이 원하지 않은 답을 내놓음, 심지어 스페인어로 - 일부러 무료 플랜으로 몰거나, 내년 초부터 광고 넣을 것 같고, 아니면 200달러짜리 요금제로 유도하려는 것 같음 - 앞으로는 광고 없는 20달러 요금제는 없을 거라는 생각임 - 환각(거짓 정보)이 정말 심함 - 많이 실망스러움 - AI 커뮤니티는 Marcus 같은 독립 전문가가 더 필요함 - 산업에 대한 과장이나 내부 기준 변화(예: "내부적으로 AGI 도달" 등)에 휘둘리지 않고 진실성과 투명성을 유지해야 함 - 본인 스타일에 상관없이, Marcus가 scaling law의 한계나 LLM류 AI의 진정한 추론 부족(분포 밖 일반화) 등 여러 문제를 정확하게 지적한 전례 있음 - 업계는 초기에 부정하다가, 시간이 지난 뒤 새로운 무언가(Prompt Chain, RL 기반 LLM 등)를 팔 때 자기 발견이라고ㅋㅋ 주장하기 일쑤였음 - 과장된 흐름에는 비판적 목소리가 반드시 필요함 - LLM 관련 가장 큰 목소리는 경제적으로 이득 보는 쪽임 - 나도 AI에 반대하지 않지만, 모든 경제 현상이 이 기술로 모두 실업될 것처럼 호도하는 분위기는 정말 어이없음(경제가 힘든 진짜 이유는 따로 있음, 대개 각국 리더십 때문임) - 혁신 속도가 둔화되면 적어도 내가 쓰는 제품들이 억지로 AI 기능 끼워넣기 대신 진짜 기능이나 버그 수정에 다시 집중할 수 있기를 바람 - 강하게 반대함 - 이 에세이는 Reddit 불만글 짜깁기에 가깝고 직접적인 테스트 결과도 없으며, 출시 과정(5억명 동시 론칭)에서의 문제만 다룸 - 이런 비판글은 5 출시에서 진짜 중요한 포인트를 놓치는데, 사실 이게 최초의 ‘AI 풀 프로덕트’ 출시임, 이제 모델 개선에서 실제 서비스 구상 단계로 넘어감 - 중요한 건 더 빨라졌고, 통합됐고, 점진적 혁신(멀티 모달 인터랙션, 이미지 생성 등)을 가능하게 했다는 점임 - 특히 긴 컨텍스트와 장기 목표 유지 능력에서 큰 발전임 - Willison도 본인 코드 작업 주력으로 쓴다고 했고, 나 역시 더 긴/복잡한 코드 과제에선 Claude뿐 아니라 기존 최고 모델(o3-pro, Gemini)보다 확실히 낫다고 느낌 - o3-pro보다 코딩 속도도 훨씬 빠름 - "Reddit 이용자들이 4o에 애착을 느껴서 이 론칭이 싫다 → oAI 망함" 식 분석은 약하고 의미 없는 주장임 - 이런 AI의 한계나 잘못된 인식 대부분을 Marcus와 연결하지 않음 - Marcus 때문이라고 생각하지 않음 - 지금 GPT에 진짜 필요한 가장 큰 개선점은, ‘모르면 모른다고 말하는 것’임 - 오늘 Cyberpunk 2077 모드에서 redscript로 NPC를 자동 생성하는 방법을 찾으려 했는데, 정말 어렵게 알아냄 - ChatGPT 5는 ‘리서치’한다고 해놓고 API를 지어내거나, 몇 번이나 사실이 아님을 지적해도 환각만 반복함 - 30분간 내 시간만 낭비, 그냥 자기가 모른다고 했으면 1분이면 알았을 일임 - ChatGPT가 뭔가 안다고 착각하지 말아야 함 - 훈련 데이터 기반으로 통계적으로 가장 가능성 높은 답변만 산출함 - 내부 지식 시스템을 참조하지 않고, 단지 언어 패턴만 출력함 - 특정 아이디어를 강조하는 식(프로파간다 등)으로 훈련은 가능해도, 지식을 직접 참조할 순 없음 - 맞음! - 마치 전체 확신을 가지고 주장하는 동료같아서 별다른 의심 없이 믿게 됨 - 그런데 사실은 다 거짓말일 때가 너무 많음, 정말 짜증나는 상황임 - 사실 아무것도 "알지" 못함 - 모든 결과는 프롬프트에 근거한 환각에 가까움 - “모르면 모른다고 말하는 것”이 가장 필요하다는 데 동의함 - 프론티어 AI 연구소 내부적으로도 검토와 실험이 있었을 것임 - 이런 현상이 드문 건, 모델 한계가 명확하다는 방증일지도 모름 - 이런 개선 작업이 실제로 진행되고 있음, OpenAI 공식자료에도 언급 - [관련 링크](https://openai.com/index/introducing-gpt-5/) - GPT‑5(‘thinking’ 옵션)에서 불가능하거나, 정보 부족하거나, 도구가 없는 작업에 대해 더 솔직히 한계와 행동을 드러내려 노력함 - 예컨대 CharXiv 멀티모달 벤치마크에서 이미지가 없는 프롬프트 실험시, o3는 존재하지 않는 이미지에 86.7% 확률로 자신만만한 답을 했지만, GPT‑5는 9%로 줄어듦 - 불가능한 코딩, 멀티모달 자산 결여 상황 등에서도 GPT‑5 reasoning이 o3 대비 훨씬 덜 오답임 - 실제 ChatGPT 트래픽 기반 긴 대화셋에서, deception 비율을 4.8%→2.1%로 줄였음 - 아직 더 개선이 필요하며 연구 지속 중임, 시스템 카드 참고 - 그의 “꼭 맞아떨어지려는 집착”이 올바른 사실 자체를 흐린다고 느낌 - 하이브리드 symbolic/transformer 시스템에 대한 논의가 흥미로움 - 링크된 포스트에선 수학은 파이썬에게 위임해서 Grok 4가 수학에서 성공할 수 있었던 예시를 보여줌 - 개인적으로 symbolic 우선 시스템, 즉 진짜 ‘하드’ 수학은 심볼릭 방식으로, 추론이 필요한 영역만 monad로 다루는 접근을 더 보고 싶음 - Aloe의 뉴로심볼릭 시스템이 OpenAI의 deep research GAIA 벤치마크 점수를 20점 차이로 앞섬 - Gary가 말수 많고 과장도 있지만, LLM 한계에 대해서는 확실히 아는 편임 (aloe.inc) - GPT-5에서 독특한 문제가 생겼음, GPT-4에서는 없던 현상임 - 대화 스레드에서 맥락이 갑자기 끊기거나, 다음 답변에 대해 제대로 파악을 못함 - 뭔가 컨텍스트 청소 프로세스가 개입한 듯, 지금까지 대화 요점을 정리하지 않고 넘어가는 느낌임 - 그렇다면 실제 사용 가능한 컨텍스트가 매우 작아진 걸 수도 있음, 이 현상이 자주 발생함 - ‘최근 대화 내용을 검토해 달라’고 요청하면 조금 나아짐 - 내 경우 답변이 훨씬 더 짧아진 것 같음 - “사람들은 기적을 기대하게 되었지만, GPT-5는 그냥 최신 incremental 발전에 불과함” - 이 부분이 이 기사에서 쓸 가치가 있던 유일한 내용임 - 사람들은 점진적 발전을 기대하는 게 맞음 - 제공자들은 기적을 약속하지 말아야 함 - 기대치 관리가 중요함 - 점진적 발전도 확실한 발전임 - 단 “AGI는 GPT 시리즈 뒷단에서 계속 나올 거다”라는 식엔 동의 안 함 - 이제 훈련 데이터는 남아있지 않음 - AI의 모든 개선은 여기서부턴 구조 변형에 달렸음 - 모든 최신 모델들은 새로운 정보에 대해 로컬 최대점을 찍음 - 선행 연구들을 보면, 의도적으로 심은 실제 데이터와 주로 합성 데이터를 결합해서 frontier LLM 훈련하는 게 효과적임이 결론남 - [관련 연구](https://consensus.app/search/synthetic-data-effectiveness-frontier/hNdPhq9FSEy9lvpsG82oyw) - 이 말을 2년 전에 여기서 한 번 했었음 - 고품질 컨텐츠로 약탈할 만한 ‘세컨드 인터넷’도 없음 - 기존 정보도 점점 강하게 잠기기 시작함 - 정말 GPT-5가 이미 전 세계의 비디오 데이터를 전부 학습했다는 얘기인가? - 신규 훈련 데이터는 매일 새로 만들어지지 않나? - YouTube, Facebook, TikTok 등 - 인간은 콘텐츠 생성 머신임 - OpenAI가 최고의 모델을 만든다 해도, ‘GPT-5’라는 이름에 이미 커뮤니티와 OpenAI가 하이프를 얹어 실패가 예정된 셈임 - 오히려 OpenAI가 밈과 과대광고를 거부하고 점진적 개선을 택했어야 하지만, 그럼 투자자/스토리/AI 생태계 유지에 불리했을 것 - 우리는 이미 ‘정점’에 다다름 - sam altman이 직접 그런 기대를 만들고 부추기는 역할 했다는 것도 사실임 - 진짜 AGI가 도래하면, 사람들이 어떻게 “기대에 못 미쳤다”는 논리를 펼치게 될지 궁금함 ### Comment 42375 - Author: dongho42 - Created: 2025-08-11T12:59:36+09:00 - Points: 3 구글처럼 그냥 조용히 show&prove 했으면 이정도까진 아니었을것 같은데, 그동안 너무 두렵다느니 죽음의별이 어떻다느니 핵폭탄을 만들어버린것 같다느니 하입이란 하입을 잔뜩 해놨던 자업자득 아닐까 싶어요 ### Comment 42376 - Author: dongho42 - Created: 2025-08-11T13:02:53+09:00 - Points: 1 - Parent comment: 42375 - Depth: 1 그리고 발표에서 벤치 보여줄때 정말 어처구니 없는 실수를 했던것도 전체적인 인상을 안좋게 하는데 기여했던거 같아요