GN⁺: 고숙련 작업에 대한 Gen AI의 영향: 소프트웨어 개발자와의 실험
(papers.ssrn.com)요약
-
연구 개요
- 이 연구는 Microsoft, Accenture, 그리고 익명의 Fortune 100 전자 제조 회사에서 실시된 세 가지 무작위 통제 실험을 통해 생성형 AI가 소프트웨어 개발자의 생산성에 미치는 영향을 평가함.
- 실험은 각 회사의 일상 업무의 일환으로 진행되었으며, 무작위로 선택된 개발자들에게 GitHub Copilot이라는 AI 기반 코딩 도우미를 제공함.
- 총 4,867명의 소프트웨어 개발자를 대상으로 한 이 연구는 AI 도구를 사용하는 개발자들의 완료된 작업 수가 26.08% 증가했음을 발견함 (표준 오차: 10.3%).
- 특히, 경험이 적은 개발자들이 더 높은 채택률과 생산성 향상을 보였음.
GN⁺의 정리
- 이 연구는 생성형 AI가 소프트웨어 개발자의 생산성을 크게 향상시킬 수 있음을 보여줌.
- 경험이 적은 개발자들에게 특히 유용하며, 이는 AI 도구가 학습 곡선을 완화하는 데 도움이 될 수 있음을 시사함.
- GitHub Copilot과 같은 AI 도구는 소프트웨어 개발의 효율성을 높이는 데 중요한 역할을 할 수 있음.
- 비슷한 기능을 가진 다른 프로젝트로는 TabNine과 Kite 등이 있음.
Hacker News 의견
-
경험 많은 엔지니어의 의견
- Copilot은 경험 많은 엔지니어에게는 오히려 방해 요소임
- 코딩 전 단계에서 AI는 매우 유용함
- 경험 많은 개발자가 AI를 잘 활용하면 더 큰 이익을 얻을 수 있음
-
IT 인력의 질 저하에 대한 우려
- 회사들이 인력을 줄이기 위해 더 많은 역할을 한 명에게 부여함
- DevOps와 DevSecOps가 도입되면서 인력 감축이 이루어짐
- 새로운 개발자들이 복잡한 환경에서 많은 역할을 배우는 것이 어려움
- ChatGPT를 사용하는 것은 당연한 결과임
-
경험 적은 개발자의 AI 사용에 따른 기술 부채
- 경험 적은 개발자가 AI를 사용한 결과로 생긴 기술 부채를 경험 많은 개발자가 해결해야 함
- 기술에 큰 관심이 없는 개발자들이 AI에 더 관심을 가짐
-
연구 결과의 요약 부족
- 연구 결과가 너무 간단하게 요약됨
- 회사와 개발자의 경력에 따라 결과가 크게 다름
- Microsoft에서는 통계적으로 유의미한 결과가 나오지 않음
-
LLM이 개발자 성장에 미치는 영향
- LLM이 개발자의 성장을 저해할 수 있음
- 주니어 개발자가 LLM을 사용하면 학습 과정이 대체됨
- 실질적인 기술은 프롬프트를 조정하는 것이 됨
-
경험 많은 개발자와 주니어 개발자의 생산성 차이
- 경험 많은 개발자는 Copilot을 사용해도 생산성 증가가 크지 않음
- 주니어 개발자의 생산성 증가가 경험 많은 개발자의 생산성 감소로 이어질 수 있음
-
새로운 기술 학습 시 AI의 도움
- 새로운 기술을 학습할 때 AI가 더 큰 도움을 줌
-
Copilot의 업데이트
- Copilot은 GPT-3.5 기반으로 작동함
- GPT-4로 업데이트된 Copilot Chat은 2023년 11월 30일에 출시됨
-
PR 수 증가의 의미
- PR 수가 증가하는 것이 중요한 것이 아님
- AI가 QA를 통과하는 항목의 수를 증가시키는지, 버그를 줄이는지 등이 중요함
- 단순히 PR 수를 세는 것은 유용하지 않음
-
회사의 AI 사용 결과
- 회사에서 AI를 사용한 결과로 비효율적인 개발자들이 해고됨