GN⁺: 새로운 GitHub Copilot 연구, '코드 품질에 대한 하향 압력' 발견
(visualstudiomagazine.com)GitHub Copilot 연구 결과, 코드 품질에 '하향 압력' 발견
- AI 기반 GitHub Copilot의 소프트웨어 개발 영향에 대한 새로운 연구에서 부정적인 결과가 나타남.
- GitClear의 "Coding on Copilot" 백서는 AI 보조 코드의 품질과 유지 관리 가능성을 인간이 작성한 코드와 비교하여 조사함.
- 연구 결과, 코드 유지 관리에 우려되는 경향이 발견되었으며, 2024년에는 코드 변경량이 AI 도입 전인 2021년 대비 두 배로 증가할 것으로 예상됨.
GitHub 연구와의 대조
- 다른 연구들, 특히 GitHub의 2022년 연구에서는 GitHub Copilot을 사용한 개발자들이 작업을 훨씬 빠르게 완료했다고 발견함.
- GitHub 연구는 생산성 향상, 개발자 만족도 증가, 정신적 에너지 절약 등 긍정적인 효과를 측정함.
- GitClear의 연구는 AI 사용 시 코드 구성의 변화를 조사하고, 기술 리더들이 2024년에 주의해야 할 점을 밝힘.
GN⁺의 의견
- 이 연구는 AI가 소프트웨어 개발에 미치는 영향을 이해하는 데 중요함. 특히, 코드 품질과 유지 관리 측면에서 AI의 사용이 가져올 수 있는 잠재적인 문제점을 강조함.
- GitHub Copilot과 같은 도구가 개발자의 생산성을 향상시킬 수 있지만, 장기적인 코드 품질에 대한 영향을 고려해야 한다는 점을 시사함.
- 기술 리더들은 이러한 연구 결과를 참고하여 AI 보조 도구를 사용할 때 발생할 수 있는 문제를 예방하고, 코드 품질을 유지하기 위한 전략을 수립하는 데 도움을 받을 수 있음.
Hacker News 의견
- 한 사용자는 구독을 취소했음을 언급하며, 너무 많은 정신적 노력을 코드 오류 수정에 사용해야 했기 때문임. 특히 SQL과 관련된 복잡한 문제를 해결할 때는 무용지물이었다고 함. 자신이 원하는 것을 직접 작성하는 것이 더 쉬웠으며, 신입 개발자들이 이러한 비효율적인 도구에 압도당할까 걱정된다고 함.
- 다른 사용자는 GPT-4를 사용하여 PHP CRUD 애플리케이션 개발에 효율성을 크게 향상시켰다고 말함. 간단한 지시에 따라 생성된 코드가 이해하기 쉽고 대부분 즉시 기능했다고 함. 사용자의 요구를 듣고 문제를 해결하는 데 도움이 되었다고 함. GPT-4는 저렴한 비용으로 가치 있는 도움을 제공했으며, 기본을 모르면 효과적이지 않을 것이라는 점을 강조함.
- 한 토론자는 2023년의 커밋 활동을 이전 연도와 비교하는 방법론에 대해 의문을 제기함. Copilot의 영향을 고려하지 않고, 단 4개의 데이터 포인트를 기반으로 한 회귀 분석이 설득력이 부족하다고 비판함.
- 또 다른 사용자는 기술이 시장과 정부의 성장을 위해 사용되고 있지만, 이것이 종종 불완전한 추상화 위에 덧씌워지는 방식으로 문제를 해결한다고 지적함. 질적인 변화가 필요하며, LLMs(Large Language Models)가 진정한 노력 없이 목표를 달성하려는 인간의 오류를 부추긴다고 우려함.
- 한 개발자는 자신의 워크플로우를 설명하며, Copilot이 프로토타입 단계에서 작동 코드를 제공할 경우, 문제를 충분히 이해하고 올바르게 구조화하는 데 필요한 과정의 대부분을 건너뛰게 될 수 있다고 함. Copilot이 최종 개발 단계에서 매우 유용할 수 있지만, 입력한 내용 이상의 결과를 기대해서는 안 된다고 함.
- 한 신입 개발자는 Codeium과 같은 도우미가 종종 산만하다고 느끼며, 자신이 코드를 작성하는 방식을 배우지 못하게 될까 우려함. Phind와 같은 도구는 문제를 이해하는 데 도움이 되지만, Codeium은 자주 작동하지 않아 불편함을 겪는다고 함.
- 연구의 저자는 코드 품질에 대한 장기적인 관심에 대해 흥분을 표함. 2023년에 증가한 코드의 중복과 이동 감소는 예상치 못한 결과였다고 함. 개발 팀과 AI 도우미 제작자들이 재사용 가능한 코드를 새로 추가하는 코드보다 더 중시하도록 측정 및 인센티브를 채택하기를 희망함.
- 한 사용자는 ChatGPT를 사용하여 Django/Python 기반의 Yourls 클론을 만들었지만, 트래픽 추적 기능을 제대로 고려하지 못했다고 함. AI 도구는 초보 개발자처럼 동작하지만 훨씬 빠르게 실수를 만들어낸다고 비유함.
- DRY(Don't Repeat Yourself) 원칙에 대한 반발이 이미 일어나고 있었으며, 일부 젊은 개발자들은 코드에 대해 매우 다른 태도를 가지고 있음을 지적함. 디자인 패턴과 DRY, SOLID 원칙에 대한 경멸적인 태도를 가지고 있다고 함.
- 마지막으로 한 사용자는 Copilot이 너무 영리하려고 하다가 종종 잘못된 결과를 내놓는다고 느낌. Copilot이 스마트한 인텔리센스가 되기를 원하지만, 실제로는 더 멍청한 페어 프로그래머처럼 행동한다고 비판함. 많은 사람들이 비즈니스 로직에 사용하고 있으며, 제품이 그 방향으로 나아가고 있다고 생각함.