▲Petals - 100B+ 언어모델을 집에서 빗토렌트 스타일로 운영하기 (github.com/bigscience-workshop)4P by xguru 2023-01-03 | ★ favorite | 댓글 3개 BLOOM-176B 같은 초거대 언어모델을 "공동으로" 실행 자신의 GPU를 Petals에 연결 각자가 모델의 일부를 로딩하고, 다른 사람들과 함께 추론 및 미세조정을 실행 추론은 스텝(토큰)당 1초 정도로 오프로딩 보다 10배 빨라서 챗봇 및 기타 대화형 앱에 충분 병렬 추론은 초당 수백개의 토큰 가능 GPU시간을 제공하는 사람에게 명시적 인센티브(블룸포인트)를 도입하는 작업중 함께 보면 좋은 글 β Petals - 비트토렌트 스타일로 집에서 LLM 실행 FlexGen - ChatGPT 같은 LLM을 싱글 GPU에서 운영하기 베어 메탈에서 70B 모델을 훈련하기 위한 인프라 설정 및 오픈 소스 스크립트 70B 언어 모델을 집에서 파인튜닝하기 MiniLLM - 개인용 GPU에서 LLM 실행 하기 댓글과 토론 인증 이메일 클릭후 다시 체크박스를 눌러주세요 ▲won9497 2023-01-03 [-]good!! 답변달기▲won9497 2023-01-03 [-]엥 이 글이 아닌데... 답변달기▲xguru 2023-01-03 [-]훨씬 작은 BLOOM-7B 버전도 로컬에서 직접 돌리면 Ryzen(16코어) + 32램에서 90초 정도 걸린다고 하네요. 주장한대로 잘 실행되면 꽤 좋긴 하겠는데.. 뭔가 그 블록체인 느낌이.. (개발자 얘기로는 블록체인은 쓰지 않는다고는 하네요) 답변달기