Hacker News 의견

• LLM의 추론 모델이 코딩 및 수학 문제에 과도하게 최적화되어 있는 경향이 있음

  • 잘 정의되지 않은 문제는 더 많은 추론이 필요하며, 이는 단순히 소프트웨어 엔지니어링의 모호함을 넘어서야 함
  • LLM이 수학 문제에 과도하게 맞춰져 다른 분야에서는 충분히 생각하지 않는 경향이 있음
  • 자기 학습을 좋아하며, 복잡한 주제를 이해하고 오해를 파악할 수 있는 대화 상대가 필요함
  • LLM이 코딩 문제를 잘 해결할 수 있지만, 과도하게 코딩/수학 퍼즐에 맞춰져 있음

• LLM을 자연어가 아닌 제한된 형식 언어로 훈련하는 연구가 필요함

  • Lean과 ChatGPT의 통합 작업이 있지만, 자연어 훈련 LLM이 주도하는 방식은 아님
  • 창의적으로 다양한 시도를 하고, 잘못된 경로를 피할 수 있는 시스템을 상상함

• 추론 모델의 "과도한 생각"이 다음 큰 문제가 될 수 있음

  • 더 깊이 생각하는 것이 항상 좋은 것은 아님

• R1 논문은 쉽게 읽을 수 있으며, 결과가 스스로를 설명함

  • R1, V3, DeepSeekMath 논문을 읽어볼 것을 추천함

• LLM이 실제로 "생각"하는지 여부는 별도의 논의임

  • 컴퓨터가 생각할 수 있는지 여부는 오래전에 해결된 문제임

• AI가 의료 영상에서 과도한 식별을 하는 실제 사례가 있음

  • 훈련 데이터가 암을 나타내는 요소로 인식하게 만듦

• LLM은 추론할 수 없음을 이해해야 함

• DeepSeek-R1 기술 보고서에서 "aha moment" 주장이 의심스러움

  • DeepSeek V3 모델이 기반이며, 과도한 생각과 형식 문제를 겪음
  • 커뮤니티가 파이프라인을 재구현하려고 노력 중임

• 몇 달 전 HN에 LLM 개선을 위한 정제 방법을 제안했으며, 이는 현재 "추론"으로 설명됨

  • DeepSeek가 시장을 단순한 방법으로 장악할 줄 몰랐음
  • 직관을 진지하게 받아들여야 함