# Petals - 100B+ 언어모델을 집에서 빗토렌트 스타일로 운영하기

> Clean Markdown view of GeekNews topic #8165. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=8165](https://news.hada.io/topic?id=8165)
- GeekNews Markdown: [https://news.hada.io/topic/8165.md](https://news.hada.io/topic/8165.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2023-01-03T10:56:19+09:00
- Updated: 2023-01-03T10:56:19+09:00
- Original source: [github.com/bigscience-workshop](https://github.com/bigscience-workshop/petals)
- Points: 4
- Comments: 3

## Topic Body

- BLOOM-176B 같은 초거대 언어모델을 "공동으로" 실행   
  - 자신의 GPU를 Petals에 연결   
  - 각자가 모델의 일부를 로딩하고, 다른 사람들과 함께 추론 및 미세조정을 실행  
- 추론은 스텝(토큰)당 1초 정도로 오프로딩 보다 10배 빨라서 챗봇 및 기타 대화형 앱에 충분   
  - 병렬 추론은 초당 수백개의 토큰 가능   
- GPU시간을 제공하는 사람에게 명시적 인센티브(블룸포인트)를 도입하는 작업중

## Comments



### Comment 13976

- Author: won9497
- Created: 2023-01-03T16:19:12+09:00
- Points: 1

good!!

### Comment 13977

- Author: won9497
- Created: 2023-01-03T16:19:49+09:00
- Points: 1
- Parent comment: 13976
- Depth: 1

엥 이 글이 아닌데...

### Comment 13968

- Author: xguru
- Created: 2023-01-03T10:57:24+09:00
- Points: 1

훨씬 작은 BLOOM-7B 버전도 로컬에서 직접 돌리면 Ryzen(16코어) + 32램에서 90초 정도 걸린다고 하네요.   
주장한대로 잘 실행되면 꽤 좋긴 하겠는데.. 뭔가 그 블록체인 느낌이..   
(개발자 얘기로는 블록체인은 쓰지 않는다고는 하네요)