gcback 2024-07-24 | parent | ★ favorite | on: Meta, Llama 3.1 공개(ai.meta.com)

405B는 직접 파인튜닝이나 서빙 용도는 아닌것 같습니다. ceo가 distillation을 여러번 언급한것을 보니 teacher모델로 경량모델들의 품질을 높이는 파인튜닝 용도가 아닐까 합니다.