▲GN⁺ 2025-03-20 | parent | ★ favorite | on: AI Blindspots – AI 코딩 중에 발견한 LLM의 맹점들(ezyang.github.io)Hacker News 의견 LLM은 인간과 다른 방식으로 실수를 하며, 이를 잡아내기 어려움 인간의 실수를 잡아내는 데는 오랜 경험이 있지만, LLM의 사고방식을 이해하기 어려움 LLM의 오류를 잡아내는 시스템 설계가 어려움 LLM은 요구사항을 모르면 훈련 데이터에서 가장 가능성 있는 답을 채워 넣음 고객이 원하는 것을 정확히 설명해야 AI가 프로그래머를 대체할 수 있음 소프트웨어 엔지니어링에서 요구사항을 명확히 하는 것이 중요함 요구사항을 명확히 하면 해결책이 자연스럽게 결정됨 새로운 프레임워크나 라이브러리를 배울 때는 문서를 꼼꼼히 읽는 것이 좋음 버그를 고칠 때는 시스템의 가정을 체계적으로 검토하는 것이 중요함 코드 중복은 세 번째 발생 시 리팩토링하는 것이 좋음 LLM은 "매우 똑똑한 초급 프로그래머" 수준의 코딩 능력을 가짐 큰 그림을 보는 능력이 부족하고, 요청된 것만 수행함 모델은 계속 개선될 것으로 예상됨 LLM은 너무 많은 답변을 하려고 함 충분한 데이터를 주지 않으면 잘못된 답변을 생성함 LLM이 "더 많은 정보가 필요함"이라고 말할 수 있으면 좋겠음 블로그의 게시물이 많아지면서 정리가 필요함 좋은 조직 시스템을 찾지 못했음 LLM과 코딩할 때의 유용한 조언 정적 타입 사용에 대한 의견 차이 있음 Clojure가 Typescript보다 더 나은 결과를 줌 LLM은 함수 중심의 접근 방식에 더 적합함 LLM은 계산과 산술에 약함 코드 생성 시 정확한 위치에서 숫자를 가져오는 것이 중요함 LLM이 생성한 코드를 디버깅하는 데 시간이 걸림 인간 코더와 함께 고려해야 할 사항 제품 관리자도 주목해야 함 세 가지 LLM이 존재하지 않는 "버그"를 발견한 사례 최적화된 코드는 아니지만 버그는 아님 코드 블록 간의 거리가 짧았음
Hacker News 의견
LLM은 인간과 다른 방식으로 실수를 하며, 이를 잡아내기 어려움
LLM은 요구사항을 모르면 훈련 데이터에서 가장 가능성 있는 답을 채워 넣음
소프트웨어 엔지니어링에서 요구사항을 명확히 하는 것이 중요함
LLM은 "매우 똑똑한 초급 프로그래머" 수준의 코딩 능력을 가짐
LLM은 너무 많은 답변을 하려고 함
블로그의 게시물이 많아지면서 정리가 필요함
LLM과 코딩할 때의 유용한 조언
LLM은 계산과 산술에 약함
인간 코더와 함께 고려해야 할 사항
세 가지 LLM이 존재하지 않는 "버그"를 발견한 사례