# LogicKor: 한국어 언어모델 다분야 사고력 벤치마크

> Clean Markdown view of GeekNews topic #14050. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=14050](https://news.hada.io/topic?id=14050)
- GeekNews Markdown: [https://news.hada.io/topic/14050.md](https://news.hada.io/topic/14050.md)
- Type: news
- Author: [libner](https://news.hada.io/@libner)
- Published: 2024-03-29T10:11:33+09:00
- Updated: 2024-03-29T10:11:33+09:00
- Original source: [github.com/StableFluffy](https://github.com/StableFluffy/LogicKor)
- Points: 14
- Comments: 3

## Topic Body

영어권 벤치마크 중 8개 카테고리에 대해 10개씩의 질문으로 구성된 벤치마크 MT-Bench에서 영감을 받아 작성된 한국어 언어모델 벤치마크라고 합니다.  
제작자 분은 현재 쓰이는 한국어 언어모델의 벤치마크에서 한계점을 보아 제작하셨다고 하네요.  
  
아래는 LogicKor 벤치마크에 대해 제작자 분의 글에서 인용한 부분입니다.  
  
---  
```  
한국어 모델의 사고력을 판단 할 수 있는 6가지의 주제를 아래와 같이 나누어보았습니다.  
추론 (Reasoning) - 논리적 사고, 문제 해결  
수학 (Math) - 수학적 개념, 계산  
글쓰기 (Writing) - 문장간의 호응, 창의력  
코딩 (Coding) - 코딩 지식, 기능 구현  
이해 (Understanding) - 지문 이해, 정보 추출, 지시 이행  
문법 (Grammar) - 한글 맞춤법, 표준 발음법  
  
그리고, 각 주제에 7가지의 멀티턴 질문을 제작하였구요.

## Comments



### Comment 24083

- Author: skymer
- Created: 2024-03-29T14:29:12+09:00
- Points: 1

레포에는 별다른 설명이 없는데 인용하신 글도 링크를 첨부해주실 수 있을까요?

### Comment 24085

- Author: libner
- Created: 2024-03-29T14:36:40+09:00
- Points: 2
- Parent comment: 24083
- Depth: 1

커뮤니티 사이트에 올라온 글이다보니 단어 선택이 좀 강할 수 있고... 그래서 자칫 댓글란이 큰일이 날까봐 우려하여 글 링크를 달지 않았었습니다.  
해당 글의 주소입니다: https://arca.live/b/alpaca/102052014

### Comment 24087

- Author: skymer
- Created: 2024-03-29T15:57:09+09:00
- Points: 1
- Parent comment: 24085
- Depth: 2

감사합니다! 업스테이지에서 의심이 많이가는 벤치마크 결과를 뿌린다는 생각이 들었는데 저만 한 생각은 아니었네요.. 클로바X 체감성능이 그렇게 좋진 않았는데 한국 모델중에서는 1등이네요.