Gemma 2: 실용적인 규모의 오픈 언어 모델 개선
(ai.google.dev)주요 포인트:
Gemma 2는 2억에서 270억 매개변수 범위의 경량화된 최첨단 오픈 언어 모델 새 계열입니다.
90억과 270억 매개변수 모델은 현재 사용 가능하며, 20억 모델은 곧 출시 예정입니다.
주요 기술적 개선사항:
- 로컬-글로벌 어텐션 교차 사용
- 그룹-쿼리 어텐션
- 작은 모델을 위한 지식 증류 학습
모델들은 자신의 크기에 비해 최고의 성능을 보이며, 2-3배 더 큰 모델들과 경쟁력이 있습니다.
모델 아키텍처:
- 디코더 전용 트랜스포머 아키텍처
- 8192 토큰 컨텍스트 길이
- 로컬 슬라이딩 윈도우(4096 토큰)와 글로벌 어텐션 레이어 번갈아 사용
- 그룹-쿼리 어텐션(GQA)
- 레이어 정규화를 위한 RMSNorm
학습:
- 270억 모델은 13조 토큰으로 학습
- 90억 모델은 8조 토큰으로 학습
- 26억 모델은 2조 토큰으로 학습
- 데이터 소스: 웹 문서, 코드, 과학 기사
- 26억과 90억 모델에 지식 증류 사용
성능:
- 벤치마크에서 비교 가능한 오픈 모델들을 능가
- 일부 더 큰 모델들과 경쟁력 있음
- 질문 답변, 추론, 수학, 과학, 코딩 태스크에서 강한 결과
안전성 & 책임:
- 광범위한 안전성 테스트와 책임있는 배포 절차 실행
- 안전 정책과 학습 시 완화 조치 구현
- 개발자를 위한 책임있는 생성형 AI 툴킷 제공
20B 내외면 cpu만으로 구동 충분히 시킬 수 있습니다. 60b 부턴 힘들어하거나 잘 안되구요. (학습은 또 다른 영역) ollama 한 번 써보셔요.
제가 노트북에서 무리같다고 한 이유는 CPU 사용량이 올코어 100%를 치고 발열이 심해서 쾌적하지 않다고 느꼈기 때문입니다. LM studio에는 프롬프트 UI가 있어서 사용성이 좋긴 하지만 쾌적함은 충족시킬 수 없을 것 같습니다