▲savvykang 2달전 | parent | ★ favorite | on: Claude Code에 가장 적합한 프로그래밍 언어는?(dev.to)언어 특성 외의 변수들이 혼입된 총합을 측정한 것으로 보입니다. Github에 실험당 소요시간 결과가 있고 실행 로그는 없습니다. 가장 보편적인 측정지표인 세부 작업당 소요시간조차 확인하기 어렵고 LLM 출력 특성상 재현은 불가능한 것으로 보입니다 저자도 프로토타입 단계의 일회성 작업이라는 것을 한계 부분에서 인지하고 있습니다. 그럼에도 불구하고 전체적으로 투명성이 부족하고 변인통제가 되지 않은 실험이라 생각합니다 ▲princox 2달전 [-]다양한 언어를 한 개의 대규모 실험을 통해서 비교해주면 좋으련만, 저 정도의 테스트를 기업 단위에서 해주지도 않고 커뮤니티의 일원이 하다보니 정확한 실험은 어렵겠죠. 여러 곳을 찾아다녀봤는데도 괜찮은 정보를 찾기가 쉽지 않네요. 그것도 당연한 게 자신의 비용을 들여서 어떤 언어가 더 좋을지 제대로 설계해서 실험을 해볼 사람이 있을지.. 저도 한계가 많은 실험이라고 생각했지만 그나마 시도라도 볼 수 있어서 좋다고 생각했습니다..^^ 답변달기
언어 특성 외의 변수들이 혼입된 총합을 측정한 것으로 보입니다. Github에 실험당 소요시간 결과가 있고 실행 로그는 없습니다. 가장 보편적인 측정지표인 세부 작업당 소요시간조차 확인하기 어렵고 LLM 출력 특성상 재현은 불가능한 것으로 보입니다
저자도 프로토타입 단계의 일회성 작업이라는 것을 한계 부분에서 인지하고 있습니다. 그럼에도 불구하고 전체적으로 투명성이 부족하고 변인통제가 되지 않은 실험이라 생각합니다