DORA: AI 보조 소프트웨어 개발의 ROI*

METR이 발표한 숙련 오픈소스 개발자 대상 RCT에서 AI 사용 조건이 작업 시간을 오히려 19% 증가시켰다는 결과가 있었는데, 이 보고서의 J-Curve 프레임으로 보면 해석이 달라짐
METR 연구 표본은 수년간 대형 오픈소스 저장소에 기여한 숙련 개발자들로, 암묵적 스타일 규칙·리뷰 관행·아키텍처 기준이 강하게 작동하는 환경 — DORA가 ROI 전제 조건으로 꼽는 AI-accessible internal data, IDP, 자동화된 가드레일이 갖춰지지 않은 상태에서의 AI 사용은 Verification Tax가 생산성 이득을 초과하는 J-Curve 초입 구간으로 해석 가능함
METR도 2026년 2월 업데이트에서 후속 실험이 "unreliable signal"을 준다고 인정 — AI 없이는 일하기 싫다는 개발자가 늘면서 AI 효과가 클 작업이 표본에서 빠지는 선택 편향이 원인. 같은 RCT 설계로는 현재의 AI 개발 생산성을 더 이상 잘 포착하지 못함
"AI가 개발자를 느리게 한다"는 해석보다 "조직 기반 없이 AI를 쓰면 J-Curve가 깊어진다" 는 DORA의 주장을 실증한 데이터로 읽는 것이 더 적합해 보임