- 대형 LLM은 few-shot만으로 새 작업을 풀 수 있지만 서빙 비용이 커서, Google Cloud AI 팀은 작은 작업 특화 모델에 자연어 근거(rationale) 를 함께 학습시키는 distilling step-by-step을 제안함
- 이 방식은 few-shot Chain-of-Thought(CoT) 로 LLM의 중간 추론을 뽑아, T5 모델이 라벨 예측과 근거 생성을 함께 배우는 멀티태스크 학습으로 전환함
- 실험은 540B PaLM을 기준 LLM으로, T5를 다운스트림 모델로 사용해 e-SNLI, ANLI, CQA, SVAMP의 자연어 추론·상식 질의응답·산술 문장제 문제를 평가함
- e-SNLI에서는 전체 데이터의 12.5% 만으로 표준 미세조정보다 좋은 성능을 냈고, ANLI에서는 770M T5가 80% 데이터로 540B PaLM few-shot 성능을 넘으며 모델 크기를 700배 이상 줄임
- 작은 모델 배포와 학습 데이터 수집 비용 사이의 절충을 줄이는 접근이며, Vertex AI에서 private preview로 제공됨
LLM 배포 비용과 작은 모델 학습의 한계
- LLM은 zero-shot과 few-shot 프롬프팅으로 보지 못한 새 작업을 처리할 수 있지만, 실제 서비스에서는 모델 크기가 큰 제약이 됨
- 175B 규모 LLM 하나를 서빙하려면 특수 인프라에서 최소 350GB GPU 메모리가 필요함
- 당시 최신 LLM은 500B 파라미터를 넘는 규모로 구성됨
- 실무에서는 더 작은 작업 특화 모델을 배포하는 경우가 많고, 보통 두 가지 방식이 쓰임
- 미세조정(fine-tuning): BERT나 T5 같은 사전학습 소형 모델을 사람이 라벨링한 다운스트림 데이터로 업데이트함
- 증류(distillation): 더 큰 LLM이 생성한 라벨로 소형 모델을 학습함
- 두 방식 모두 비용 부담이 남아 있음
- 미세조정은 사람이 만든 라벨이 필요해 비용과 작업량이 큼
- 증류는 많은 양의 비라벨 데이터가 필요하며, 이 데이터도 수집하기 어려울 수 있음
Distilling step-by-step의 핵심 아이디어
- Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes는 모델 크기와 학습 데이터 수집 비용 사이의 절충을 줄이려는 방법임
- distilling step-by-step은 LLM에서 자연어 근거, 즉 중간 추론 단계를 추출해 작은 모델 학습의 추가 감독 신호로 사용함
- 자연어 근거는 입력 질문과 출력 답 사이의 연결을 드러냄
- 예를 들어 방의 길이와 너비, 이미 가진 카펫 면적이 주어졌을 때 LLM은 “Area = length * width” 같은 중간 근거를 생성할 수 있음
- 이런 근거에는 작은 모델이 원래 많은 데이터로 배워야 할 수 있는 작업 지식이 포함될 수 있음
- 라벨만 학습하는 대신 라벨과 근거를 함께 학습해 작은 모델이 더 적은 데이터로 작업을 익히도록 함
두 단계 학습 절차
- 첫 단계는 few-shot CoT 프롬프팅으로 LLM에서 근거를 추출하는 과정임
- 작업별로 입력, 근거, 출력의 세 요소로 구성된 예시를 LLM 프롬프트에 넣음
- LLM은 이 예시를 따라 새로운 입력에 대한 근거를 생성함
- 상식 질의응답 예시에서는 “Sammy wanted to go to where the people are”라는 질문과 선택지가 주어짐
- 정답은 “(a) populated areas”임
- 근거는 “많은 사람이 있는 장소여야 하며, 선택지 중 populated areas만 많은 사람이 있는 곳”이라는 연결을 제공함
- 두 번째 단계에서는 추출된 근거를 작은 모델 학습에 넣음
- 표준 라벨 예측 작업에 더해 새로운 근거 생성 작업을 학습함
- 모델 입력 앞에
[label]또는[rationale]같은 작업 접두어를 붙여 두 작업을 구분함 - 근거 생성 작업은 모델이 중간 추론 단계를 만들도록 학습시키고, 결과적으로 라벨 예측을 더 잘 하도록 유도함
실험 설정과 비교 대상
- 기준 LLM은 540B PaLM임
- 작업 특화 다운스트림 모델에는 T5 모델을 사용함
- CoT 프롬프팅은 가능한 경우 기존 CoT 프롬프트를 사용하고, 새로운 데이터셋에는 직접 예시를 구성함
- 평가는 3개 NLP 작업에 걸친 4개 벤치마크로 진행됨
- 비교 기준은 두 갈래임
- few-shot 프롬프트 LLM과 비교하기 위해 540B PaLM의 few-shot CoT 프롬프팅을 사용함
- 표준 미세조정과 표준 증류도 비교 대상에 포함되며, 블로그 본문은 표준 미세조정 비교를 중심으로 다룸
더 적은 학습 데이터로 표준 미세조정을 넘음
- distilling step-by-step은 표준 미세조정보다 훨씬 적은 학습 데이터로 더 좋은 성능을 냄
- e-SNLI에서는 전체 데이터셋의 12.5% 만 사용해 전체 데이터로 학습한 표준 미세조정보다 나은 성능을 달성함
- 다른 데이터셋에서도 필요한 데이터 크기가 줄어듦
- ANLI: 75% 데이터셋 크기 감소
- CQA: 25% 데이터셋 크기 감소
- SVAMP: 20% 데이터셋 크기 감소
- 이 비교는 다양한 크기의 사람이 라벨링한 데이터셋에서 220M T5 모델을 사용해 수행됨
더 작은 배포 모델로 PaLM 기준을 넘음
- distilling step-by-step은 few-shot CoT 프롬프트를 사용한 LLM보다 훨씬 작은 모델로 더 좋은 성능을 냄
- e-SNLI에서는 220M T5 모델로 540B PaLM보다 좋은 성능을 달성함
- ANLI에서는 770M T5 모델로 540B PaLM보다 좋은 성능을 냄
- 이 모델은 PaLM보다 700배 이상 작음
- 같은 770M T5 모델은 표준 미세조정만으로는 PaLM 성능에 도달하기 어려움
- 작은 모델 크기와 LLM 기준 성능 초과를 동시에 보여주는 결과임
데이터와 모델 크기를 동시에 줄인 결과
- ANLI에서 distilling step-by-step은 770M T5와 전체 데이터의 80% 만으로 540B PaLM의 few-shot 성능을 넘음
- 같은 조건에서 표준 미세조정은 전체 데이터의 100% 를 사용해도 PaLM 성능을 따라잡지 못함
- 거친 탐색을 통해 LLM의 few-shot CoT 성능을 넘는 데 필요한 최소 T5 모델 크기와 최소 사람 라벨 예시 수를 확인함
- 결과적으로 이 방식은 LLM 성능을 넘기 위해 필요한 배포 모델 크기와 학습 데이터 양을 동시에 줄임
제공 형태
- distilling step-by-step은 Vertex AI에서 private preview로 제공됨
- 사용을 원하는 경우 Google Cloud Project 번호와 사용 사례 요약을 포함해
vertex-llm-tuning-preview@google.com으로 연락하도록 안내됨
