# Gemma 2: 실용적인 규모의 오픈 언어 모델 개선

> Clean Markdown view of GeekNews topic #15560. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=15560](https://news.hada.io/topic?id=15560)
- GeekNews Markdown: [https://news.hada.io/topic/15560.md](https://news.hada.io/topic/15560.md)
- Type: news
- Author: [haebom](https://news.hada.io/@haebom)
- Published: 2024-06-28T09:31:04+09:00
- Updated: 2024-06-28T09:31:04+09:00
- Original source: [ai.google.dev](https://ai.google.dev/gemma)
- Points: 10
- Comments: 6

## Summary

구글의 Gemma 2는 경량화된 최첨단 오픈 언어 모델로, 작은 크기에도 불구하고 뛰어난 성능을 자랑합니다. 로컬-글로벌 어텐션과 그룹-쿼리 어텐션 같은 혁신적인 기술적 개선사항을 통해 더 큰 모델들과 경쟁할 수 있으며, 안전성과 책임 있는 배포 절차를 통해 신뢰할 수 있는 AI 모델을 제공합니다.

## Topic Body

##### 주요 포인트:  
Gemma 2는 2억에서 270억 매개변수 범위의 경량화된 최첨단 오픈 언어 모델 새 계열입니다.  
90억과 270억 매개변수 모델은 현재 사용 가능하며, 20억 모델은 곧 출시 예정입니다.  
  
##### 주요 기술적 개선사항:  
- 로컬-글로벌 어텐션 교차 사용  
- 그룹-쿼리 어텐션  
- 작은 모델을 위한 지식 증류 학습  
모델들은 자신의 크기에 비해 최고의 성능을 보이며, 2-3배 더 큰 모델들과 경쟁력이 있습니다.  
  
##### 모델 아키텍처:  
- 디코더 전용 트랜스포머 아키텍처  
- 8192 토큰 컨텍스트 길이  
- 로컬 슬라이딩 윈도우(4096 토큰)와 글로벌 어텐션 레이어 번갈아 사용  
- 그룹-쿼리 어텐션(GQA)  
- 레이어 정규화를 위한 RMSNorm  
  
##### 학습:  
- 270억 모델은 13조 토큰으로 학습  
- 90억 모델은 8조 토큰으로 학습  
- 26억 모델은 2조 토큰으로 학습  
- 데이터 소스: 웹 문서, 코드, 과학 기사  
- 26억과 90억 모델에 지식 증류 사용  
  
##### 성능:  
- 벤치마크에서 비교 가능한 오픈 모델들을 능가  
- 일부 더 큰 모델들과 경쟁력 있음  
- 질문 답변, 추론, 수학, 과학, 코딩 태스크에서 강한 결과  
  
##### 안전성 & 책임:  
- 광범위한 안전성 테스트와 책임있는 배포 절차 실행  
- 안전 정책과 학습 시 완화 조치 구현  
- 개발자를 위한 책임있는 생성형 AI 툴킷 제공

## Comments



### Comment 26733

- Author: savvykang
- Created: 2024-06-28T10:51:15+09:00
- Points: 1

CPU만으로 LLM을 구동시킬 수 있는 때가 올까요?

### Comment 26738

- Author: haebom
- Created: 2024-06-28T11:38:28+09:00
- Points: 1
- Parent comment: 26733
- Depth: 1

20B 내외면 cpu만으로 구동 충분히 시킬 수 있습니다. 60b 부턴 힘들어하거나 잘 안되구요. (학습은 또 다른 영역) ollama 한 번 써보셔요.

### Comment 26752

- Author: savvykang
- Created: 2024-06-28T17:30:35+09:00
- Points: 1
- Parent comment: 26738
- Depth: 2

요구 사양에 대해서 전혀 감이 안 왔었는데 조언 감사드립니다. 인텔 11세대 노트북으로는 아직 무리같고 가상화 서버에 올리던지 해야겠네요

### Comment 26755

- Author: hhkkkk
- Created: 2024-06-29T08:46:02+09:00
- Points: 1
- Parent comment: 26752
- Depth: 3

lm studio 설치하시면 되요

### Comment 26756

- Author: savvykang
- Created: 2024-06-29T09:23:21+09:00
- Points: 1
- Parent comment: 26755
- Depth: 4

제가 노트북에서 무리같다고 한 이유는 CPU 사용량이 올코어 100%를 치고 발열이 심해서 쾌적하지 않다고 느꼈기 때문입니다. LM studio에는 프롬프트 UI가 있어서 사용성이 좋긴 하지만 쾌적함은 충족시킬 수 없을 것 같습니다

### Comment 26735

- Author: hhkkkk
- Created: 2024-06-28T11:17:55+09:00
- Points: 1
- Parent comment: 26733
- Depth: 1

에..? 이미 하는데요;;