# 오픈소스 언어 모델의 현재

> Clean Markdown view of GeekNews topic #10257. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=10257](https://news.hada.io/topic?id=10257)
- GeekNews Markdown: [https://news.hada.io/topic/10257.md](https://news.hada.io/topic/10257.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-08-09T11:03:01+09:00
- Updated: 2023-08-09T11:03:01+09:00
- Original source: [twitter.com/Yampeleg](https://twitter.com/Yampeleg/status/1685539560975933441)
- Points: 22
- Comments: 3

## Topic Body

- LLaMA 2 출시후 더 뜨거워짐   
  - 거의 모든 오픈소스 모델 그룹들이 새로운 베이스 모델로 자신의 모델을 업데이트   
    - WizardLM, Airoboros, Hermes 등   
  - 현재 가장 강력한 모델은 StabilityAI의 Stable Beluga 2  
    - Llama2 70B 모델을 Orca 스타일 데이터셋으로 파인 튜닝   
    - ChatGPT 와 비교 가능   
- Long 모델들   
  - LLaMA 7B 16K, LLaMA 13B 16K, LLaMA 7B 32K   
- 작지만 강력한 모델들   
  - 7B 만큼 강력한 3B 파라미터 모델들   
  - 아직 한계에 도달하지 않았고, 더 나아가야 할 것이 많음   
  - SlimPajama, SwiGLU, ALiBI, Variable Sequence Length, Maximal update parameterization (muP)  
- 오픈모델이 MMLU 에서 ChatGPT를 이기다 : llama-2-70b-guanaco-qlora  
- Multi-Turn 채팅 : llama2-13b-orca-8k-3319  
- 중국 모델들이 싸우는중 : CodeGeex2   
- 오픈 모델이 ChatGPT 수준에 도달했나?   
  - 아직, 하지만 곧 도달할 수도

## Comments



### Comment 18053

- Author: botplaysdice
- Created: 2023-08-10T01:32:20+09:00
- Points: 1

각자의 역할에서 돈을 어떻게 벌어야하나monetization 고민이 많아지겠네요.

### Comment 18046

- Author: geekbini
- Created: 2023-08-09T22:47:13+09:00
- Points: 1

이런 저런 AI 서비스들이 많아져서 선택장애가 오네요, 범용적인 AI서비스와 또 개발자에게 특화된 AI서비스들까지요~

### Comment 18035

- Author: kuroneko
- Created: 2023-08-09T11:06:36+09:00
- Points: 1

한국어 모델도 발전했으면 좋겠네요.