▲mammal 4달전 | parent | ★ favorite | on: Ask GN: 소형 모델(Gemma 3 270M/1B)의 도메인 지식 주입 한계와 파인튜닝 전략에 대한 조언부탁드립니다.LoRA와 파인튜닝은 지식 주입으로 부적합합니다. LoRA와 파인튜닝은 출력 스타일/톤 교정이 최적입니다. RAG 형태로 입력 프롬프트에 지식 관련 정보를 포함하고, 출력 데이터의 리콜/정확성을 평가하신 다음에 LoRA/파인튜닝을 진행하시면 훨씬 효과적입니다. ▲tsboard 2달전 [-]저도 RAG 활용에 한 표 더 보태고 싶습니다. 답변달기▲liang1008 4달전 [-]답변 감사드립니다. RAG 라면 도메인 관련해서 어떻게 적절하게 데이터를 가져올지 약간 고민이네요. 임베딩 모델 자체를 학습시켜야할지... 소형모델의 토큰수도 줄이고 싶어서 지식을 내재화하고 싶었는데, LoRA 로는 한계가 있는가보군요. 말씀해주신 것들 고민해보겠습니다. 감사합니다. 답변달기
LoRA와 파인튜닝은 지식 주입으로 부적합합니다. LoRA와 파인튜닝은 출력 스타일/톤 교정이 최적입니다. RAG 형태로 입력 프롬프트에 지식 관련 정보를 포함하고, 출력 데이터의 리콜/정확성을 평가하신 다음에 LoRA/파인튜닝을 진행하시면 훨씬 효과적입니다.