▲liang1008 4달전 | parent | ★ favorite | on: Ask GN: 소형 모델(Gemma 3 270M/1B)의 도메인 지식 주입 한계와 파인튜닝 전략에 대한 조언부탁드립니다.답변 감사드립니다. RAG 라면 도메인 관련해서 어떻게 적절하게 데이터를 가져올지 약간 고민이네요. 임베딩 모델 자체를 학습시켜야할지... 소형모델의 토큰수도 줄이고 싶어서 지식을 내재화하고 싶었는데, LoRA 로는 한계가 있는가보군요. 말씀해주신 것들 고민해보겠습니다. 감사합니다.
답변 감사드립니다.
RAG 라면 도메인 관련해서 어떻게 적절하게 데이터를 가져올지 약간 고민이네요.
임베딩 모델 자체를 학습시켜야할지...
소형모델의 토큰수도 줄이고 싶어서 지식을 내재화하고 싶었는데, LoRA 로는 한계가 있는가보군요.
말씀해주신 것들 고민해보겠습니다. 감사합니다.