- 314B(3140억개) 파라미터의 Mixture-of-Expers 모델의 Weights 와 아키텍처 릴리즈
- 2023년 10월에 종료된 Grok-1 사전 학습 단계의 Raw Base Model
- 모델이 대화 같은 특정 작업을 위해 미세조정 되지 않았음을 의미함
- 모델 상세
- 특정 작업에 맞게 미세 조정되지 않은 대량의 텍스트 데이터로 학습된 기본 모
- 주어진 토큰에 대해 25%의 가중치가 활성화된 314B 매개변수 전문가 혼합 모델
- 2023년 10월에 JAX와 Rust 위에 사용자 정의 학습 스택을 사용하여 xAI에 의해 처음부터 학습됨
Grok-1 저장소 사용법
- JAX 예제 코드를 포함하는 Grok-1 저장소는 Grok-1 오픈-웨이트 모델을 불러오고 실행하는 데 사용됨.
- 체크포인트를 다운로드하고
checkpoint디렉토리 안에ckpt-0디렉토리를 위치시킨 후,pip install -r requirements.txt와python run.py를 실행하여 코드를 테스트함. - 스크립트는 체크포인트를 불러오고 테스트 입력에 대해 모델에서 샘플을 생성함.
- 모델의 크기가 매우 크기 때문에(314B 파라미터), 충분한 GPU 메모리를 갖춘 기계가 필요함.
- 이 저장소의 MoE(Mixture of Experts) 레이어 구현은 효율적이지 않으며, 모델의 정확성을 검증하기 위해 사용자 정의 커널을 피하기 위해 선택됨.
가중치 다운로드
- 토렌트 클라이언트와 다음의 링크를 사용하여 가중치를 다운로드할 수 있음:
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
라이선스
- 이 릴리스에 포함된 코드와 Grok-1 가중치는 Apache 2.0 라이선스 하에 라이선스됨.
- 라이선스는 이 저장소의 소스 파일과 Grok-1 모델의 가중치에만 적용됨.
GN⁺의 의견
- Grok-1은 대규모 파라미터를 가진 모델로, 머신러닝 연구자나 엔지니어들이 고성능 컴퓨팅 자원을 활용해 실험할 수 있는 좋은 기회를 제공함.
- 오픈소스 라이선스인 Apache 2.0을 사용함으로써, 커뮤니티는 모델을 자유롭게 사용, 수정 및 배포할 수 있으며, 이는 협업과 혁신을 촉진할 수 있음.
- 모델의 크기가 매우 크기 때문에, 실제로 이 모델을 실험하려면 상당한 계산 자원이 필요하며, 이는 접근성을 제한할 수 있음.
- MoE 레이어의 비효율적인 구현은 연구 목적으로는 유용할 수 있지만, 실제 제품이나 서비스에 적용할 때는 최적화된 구현을 찾아야 할 것임.
- 유사한 기능을 제공하는 다른 오픈소스 프로젝트로는 Google의 TensorFlow나 Facebook의 PyTorch가 있으며, 이들도 대규모 모델을 실험하는 데 사용될 수 있음.