YaLM 100B - 1000억개 파라미터의 GPT-like 언어 모델

• Yandex가 공개해서 개발자/연구자 누구나 무료로 사용 가능
• 영어와 러시아어 1.7TB 텍스트를 800대의 A100 GPU로 65일간 훈련
• 마이크로소프트의 Megatron-LM 코드 기반