LLaMA-Adapter V2: LLaMA를 효율적으로 파인 튜닝하는 도구

• 단 120만개의 학습가능한 파라미터를 통해서 LLaMA를 1시간만에 Instruction-Following & MultiModal 모델로 학습가능
• Alpaca는 7B개의 파라미터와 13G 저장공간, 3시간이 필요하지만,
  LLaMA-Adapter는 1.2M개의 파라미터와 4.7M 저장공간, 1시간이면 됨

[bytebrawlers]

LoRA와 유사한 PEFT 방식을 이용했고 무엇보다 Visual Context를 지원한다는게 주요한 내용아닌가요? 이미 LLaMA의 PEFT 접근의 SFT (Instruction Fine Tune)은 너무 많아서...