- AI21 Labs가 맘바 아키텍처를 기반으로 한 세계 최초의 프로덕션급 AI 모델인 잠바(Jamba)를 출시
- 잠바는 Mamba SSM(구조화 상태 공간 모델))과 전통적인 트랜스포머 아키텍처의 강점을 결합하여 인상적인 성능과 효율성 향상을 제공
- 256K 토큰의 광범위한 컨텍스트 윈도우. 단일 80GB GPU에서 최대 140K 토큰을 처리
잠바의 하이브리드 아키텍처와 성능
- 잠바는 하이브리드 SSM-트랜스포머 아키텍처를 통해 52B 파라미터 중 12B만을 추론 시 활용하는 혼합 전문가(MoE) 레이어를 활용
- 메타의 Llama 2와 같은 경쟁 모델들보다 훨씬 긴 컨텍스트를 처리할 수 있으며, 높은 처리량과 효율성을 유지
- 긴 컨텍스트에서 3배 더 높은 처리량을 제공, 비슷한 크기의 트랜스포머 기반 모델들보다 더 효율적
- 블록과 레이어 접근 방식을 특징으로 하며, 각 잠바 블록은 주의 또는 맘바 레이어를 포함하고 이어서 다층 퍼셉트론(MLP)이 따라옴
- 이 구조는 전체 8개 레이어 중 하나의 트랜스포머 레이어가 전체 비율로 사용됨
- 다양한 벤치마크에서 뛰어난 결과를 보여주며, 동일한 크기의 최신 모델들과 비교하여 넓은 범위의 작업에서 성능을 뛰어넘거나 일치함
라이선스
- 잠바는 아파치 2.0 라이선스 하에 오픈 웨이트로 출시되며, 허깅 페이스에서 사용 가능함
- 현재 잠바는 상업적 사용에 필요한 안전장치 없이 연구 모델로 출시되었으나, AI21 Labs는 향후 몇 주 안에 더 안전한 버전을 출시할 계획임