Hacker News 의견

• AI가 간단한 코드를 잘 생성하지만, 복잡한 코드는 미묘하게 잘못된 코드를 생성할 수 있음. Google의 코드 중 25%가 미묘하게 잘못된 코드인지, 아니면 간단한 코드인지 의문을 제기함

• Google의 내부 개발 도구 팀 리더는 AI 추천의 안전성과 품질을 보장하기 위해 다양한 방법을 사용하고 있으며, AI 기능이 소프트웨어 엔지니어링 생산성을 향상시키고 있음을 강조함

  • AI 추천의 안전성과 품질을 보장하기 위해 정기적인 모니터링, 코드 출처 추적, 적대적 테스트 등을 수행함
  • A/B 테스트와 무작위 대조 실험을 통해 기능이 생산성과 처리량을 개선하는지 확인함
  • Google 내부에서 사용되는 모든 프로그래밍 언어와 프레임워크에서 유사한 효율성을 관찰함

• Google이 과거 소프트웨어 개발의 정점이었으나, 이제는 빅데이터 모델을 판매하기 위해 코드를 생성하고 있다는 비판이 있음

• AI가 코드의 50%를 생성할 수 있는 가능성을 언급하며, Google의 내부 코드베이스가 매우 잘 관리되고 있다는 점을 강조함

  • 모든 대형 언어 모델(LLM)이 동일하지 않으며, Google의 코드베이스는 매우 잘 관리된 데이터셋임
  • 코드 리뷰 과정에서 LLM을 통해 큰 개선이 기대됨

• Google의 코드 중 25%는 기본적인 오류 검사와 nil 반환임

• AI가 Stack Overflow에서 복사 붙여넣기 하던 25%의 코드를 대체했음을 언급함

• Google 직원은 AI 생성 코드를 작성했으며, 코드 완성 엔진이 생산성 도구로 유용하지만, 실제 엔지니어링을 수행하지 않음을 설명함

  • 코드 완성 엔진은 작성 중인 코드의 줄을 완성하는 데 유용하며, Copilot과 비슷하거나 약간 못할 수도 있음

• Boilerplate 코드와 자동 완성 구문 코드는 AI가 제공할 수 있지만, 나머지 75%는 실제로 생각해야 하는 부분임을 강조함