# Google DeepMind의 Gemma 3 기술 보고서 [pdf]

> Clean Markdown view of GeekNews topic #19718. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=19718](https://news.hada.io/topic?id=19718)
- GeekNews Markdown: [https://news.hada.io/topic/19718.md](https://news.hada.io/topic/19718.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2025-03-13T09:47:43+09:00
- Updated: 2025-03-13T09:47:43+09:00
- Original source: [storage.googleapis.com](https://storage.googleapis.com/deepmind-media/gemma/Gemma3Report.pdf)
- Points: 2
- Comments: 0

## Topic Body

- **Gemma 3**는 Google DeepMind의 새로운 경량 오픈 모델 패밀리로, 파라미터 규모가 **1B에서 27B**까지 다양함  
- 주요 개선 사항:  
  - **멀티모달 기능** 추가 → 시각적 이해 능력 포함  
  - **긴 문맥 처리** → 최대 **128K 토큰** 처리 가능  
  - **다국어 지원** 강화 → 다양한 언어에서 성능 향상  
  - **메모리 사용량 최적화** → 로컬 및 글로벌 주의(attention) 레이어 비율 조정(5:1)으로 KV-cache 메모리 사용 감소  
- **지식 증류(Knowledge Distillation)** 방식으로 훈련 → 이전 버전 대비 성능 향상  
  
#### # 모델 아키텍처  
- **디코더 전용 Transformer** 아키텍처 유지  
- **Grouped-Query Attention (GQA)** 도입 → 더 효율적인 주의 메커니즘 적용  
- **로컬/글로벌 주의 비율 5:1** 설정 → 로컬 윈도우 크기를 1024 토큰으로 유지  
- **RoPE (Rotary Position Embedding)** 기본 주파수를 10K에서 1M으로 확대 → 장문 맥락 지원 강화  
- **시각 인코더**: SigLIP 기반 인코더 사용 (400M 파라미터)  
  
#### # 비전 모달리티  
- **시각 인코더**: 896 x 896 해상도에서 작동  
- **Pan & Scan (P&S)** 기법 적용 → 비정형 비율 이미지 처리 가능  
- 시각 인코더는 4B, 12B, 27B 모델에 공유됨 → 훈련 중에는 고정 상태 유지  
  
#### # 사전 훈련 (Pre-training)  
- **지식 증류** 방식으로 훈련 수행  
- 훈련에 사용된 토큰 수:  
  - **1B** → 2T 토큰  
  - **4B** → 4T 토큰  
  - **12B** → 12T 토큰  
  - **27B** → 14T 토큰  
- 다국어 성능 개선 → 단일 언어 및 병렬 데이터 포함  
- **정제 과정** → 개인 정보, 민감한 데이터 제거  
  
#### # 양자화 학습 (Quantization Aware Training)  
- 훈련 후 양자화 수행 → int4, fp8 등 다양한 형식으로 제공  
- **메모리 절약 효과**:  
  - 27B 모델 기준:  
    - 원본: 54GB → 양자화 후: 최소 14.1GB  
  
#### # 명령 튜닝 (Instruction Tuning)  
- 강화 학습 및 지식 증류 병행 적용  
- **도움성, 수학, 코딩, 추론, 다국어 능력 강화**  
- 강화 학습에 사용된 주요 기술:  
  - **BOND, WARM, WARP** → 보상 기반 강화 학습 기법 적용  
- 데이터 정제 → 불필요한 데이터 및 민감 정보 제거  
  
#### # 성능 평가  
##### **LMSYS Chatbot Arena** 평가 결과  
- Gemma 3 27B IT 모델 **Elo 점수: 1338** → 상위 10위 성능  
- GPT-4.5 및 Grok-3-Preview에 근접한 성능 기록  
- 이전 버전인 Gemma 2 27B보다 **118점** 상승  
  
##### **표준 벤치마크 성능**  
- **MMLU-Pro**: 67.5 (Gemma 2 대비 약 10점 상승)  
- **MATH**: 89.0 (Gemma 2 대비 약 34점 상승)  
- **LiveCodeBench**: 29.7 (Gemma 2 대비 약 9점 상승)  
  
#### # 구조 변화에 따른 성능 분석  
- **로컬:글로벌 주의 비율** → 5:1이 성능 및 메모리 사용에서 최적임  
- **슬라이딩 윈도우 크기** → 1024 토큰이 성능 저하 없이 메모리 효율성 유지  
- **KV 캐시 메모리 절감** → 글로벌 전용 주의 대비 15% 감소  
  
#### # 장문 문맥 지원 강화  
- 훈련 시 **32K 토큰**에서 시작 → 이후 **128K 토큰**으로 스케일 업  
- **RoPE** 주파수 조정 → 성능 저하 없이 문맥 확장  
  
#### # 시각 인코더 성능 평가  
- 입력 해상도 증가 시 성능 향상:  
  - **256 → 896 해상도** 시 성능 최대 20% 상승  
- **Pan & Scan** 기법 적용 시 성능 증가:  
  - DocVQA → +4.8%  
  - InfoVQA → +17.0%  
  
#### # 메모리 및 프라이버시 보호  
- **기억률(Memorization Rate)** 감소:  
  - Gemma 3가 Gemma 2 대비 메모리 사용률 감소  
  - 개인 정보 유출 위험 낮음  
  
#### # 책임, 안전, 보안  
- Google의 안전 정책에 따라 유해 콘텐츠 방지:  
  - 아동 학대, 증오 발언, 개인 정보 유출 등 방지  
- 강화된 강화 학습 및 RLHF 적용 → 유해 콘텐츠 생성 최소화  
  
#### # 결론  
- Gemma 3는 기존 Gemma 2 모델 대비 **멀티모달, 다국어, 긴 문맥** 성능에서 큰 향상  
- **시각 이해 능력, 수학 및 코딩 성능 강화**  
- **메모리 사용 최적화**로 성능과 효율성 모두 향상

## Comments



_No public comments on this page._