7P by xguru 11달전 | favorite | 댓글 1개
  • DeepMind의 Flamingo 모델을 오픈소스로 구현한 것
  • 3B, 4B, 9B 모델을 공개
    • MPT-1B/7B 와 RedPajama-3B 기반
  • 같은 Flamingo 모델 성능의 80% 이상을 달성
  • 훈련및 평가코드를 개선
    • Fully Sharded Data Parallel (FSDP) 지원
    • 새로운 데이터셋(TextVQA, VizWiz, HatefulMemes, Flickr30k)을 평가 스윗에 추가