# Databricks가 자체 코딩 AI 벤치마크를 만든 방법과 결과

> Clean Markdown view of GeekNews topic #31489. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=31489](https://news.hada.io/topic?id=31489)
- GeekNews Markdown: [https://news.hada.io/topic/31489.md](https://news.hada.io/topic/31489.md)
- Type: news
- Author: [sungchi](https://news.hada.io/@sungchi)
- Published: 2026-07-16T12:51:39+09:00
- Updated: 2026-07-16T12:51:39+09:00
- Original source: [databricks.com](https://www.databricks.com/blog/benchmarking-coding-agents-databricks-multi-million-line-codebase)
- Points: 1
- Comments: 0

## Topic Body

- 공개된 코딩 벤치마크는 회사별 상황에 딱 맞지 않고 치팅이 가능한 것이 문제   
  - Databricks에서 실제 수행한 과제, 언어로 벤치마크를 만들어 평가   
- GLM 5.2는 가장 어려운 과제도 Opus 4.8과 같은 수준으로 해결했지만 가격은 Opus의 66% 수준  
- Sonnet 5는 Opus 4.8보다 1.7배 저렴하지만 실제 작업 완료를 위해 토큰을 1.9배 더 쓰기 때문에 비효율적   
- 동일한 모델을 사용해도 하네스에 따라 가격과 수행 시간이 크게 절약됨

## Comments



_No public comments on this page._