직접 파인튜닝한 Llama 2로 GPT-3.5/4 대체하기
(news.ycombinator.com)- 레시피 분류 예제에서 Llama 2 7B를 파인튜닝하자 테스트 세트 기준 GPT-4 라벨과 95% 일치하는 결과가 나옴
- 파인튜닝은 입력/출력 예시를 통해 원하는 작업 방식을 모델 가중치에 학습시키는 방식이며, 50개 예시로도 가능하지만 보통 1,000개 이상을 목표로 함
- 프롬프트는 빠른 반복 개선과 단일 대형 모델 운영에 유리하지만, 파인튜닝은 작은 모델도 특정 작업에 강하게 맞출 수 있음
- 파인튜닝한 Llama 7B는 토큰당 비용이 GPT-3.5보다 50배 저렴해, 충분히 좁은 작업에서는 비용 대비 성능이 크게 좋아질 수 있음
- 200만 개 레시피 분류 비용은 GPT-4가 2만 3천 달러, GPT-3.5가 1천 달러 초과인 반면, 해당 파인튜닝 모델은 19달러에 전체 데이터셋을 처리함
파인튜닝이 프롬프트와 다른 지점
- 공개 LLM 파인튜닝에 대한 관심이 Hacker News에서 늘어난 가운데, 레시피 분류 예제를 위한 노트북 세트가 공개됨
- 노트북은 OpenPipe 예제에 있으며, 데이터 라벨링, 파인튜닝, 효율적 추론 실행, 비용/성능 평가를 다룸
- 파인튜닝은 프롬프트보다 강한 형태의 지시 방식으로 볼 수 있음
- 매번 텍스트 지시를 프롬프트에 넣는 대신, 예시 입력/출력 쌍으로 작업 방식을 모델 자체에 학습시킴
- 50개 예시만으로도 동작할 수 있지만, 가능하면 1,000개 이상을 확보하는 쪽을 선호함
- 프롬프트는 여전히 운영과 실험에서 장점이 큼
- 라벨링과 재학습 없이 지시를 더 쉽고 빠르게 반복 개선할 수 있음
- 여러 개의 작은 파인튜닝 모델을 배포하는 것보다, 하나의 큰 모델을 배포하고 동작만 조정하는 편이 운영상 단순함
- 작은 파인튜닝 모델들은 각각의 사용률이 낮아질 가능성이 있음
비용·성능 예시와 OpenPipe
- 파인튜닝의 가장 큰 이점은 모델 행동을 더 효과적으로 유도해 작은 모델을 쓸 수 있다는 점임
- 작은 모델은 응답 속도를 높이고 추론 비용을 낮출 수 있음
- 파인튜닝한 Llama 7B 모델은 토큰당 비용 기준 GPT-3.5보다 50배 저렴함
- 레시피 분류 예제는 all-recipes 데이터셋의 200만 개 레시피를 대상으로 비용을 비교함
- GPT-4로 분류하면 2만 3천 달러가 듦
- GPT-3.5로도 1천 달러 초과 비용이 발생함
- 파인튜닝한 모델은 GPT-4와 비슷한 성능을 내며 전체 데이터셋 실행 비용이 19달러임
- 테스트 세트에서 학습한 7B 모델은 GPT-4 라벨과 95% 일치함
- 불일치한 5% 사례는 정답이 실제로 모호한 경우가 많음
- OpenPipe는 엔지니어가 파인튜닝을 더 쉽게 도입하도록 돕는 오픈소스 제품임
- 프로젝트는 OpenPipe GitHub 저장소에 공개되어 있음
- 제공된 파인튜닝 정보 자체는 OpenPipe 제품에 의존하지 않음
댓글과 토론
Hacker News 의견
- Llama 2의 모델 미세조정 사용에 대한 기사, GPT-3.5/4 대안으로서
- 일부 사용자들은 번역 작업에서 GPT-3.5가 Llama 2보다 100배 저렴하다고 발견, Llama 7B는 불량한 번역을 제공
- OpenAI의 GPT-3.5에 대한 공격적인 가격 전략, 다른 공급업체보다 그들의 모델에 의존하도록 격려하는 움직임으로 추측
- GPT 및 기타 LLM의 출력을 내부 대체 모델 훈련에 사용하는 가능성 논의, 이는 생산 규모에서 정규 API를 사용하는 사람들에게 비용 효과적인 해결책이 될 수 있음
- 미세조정된 Llama 7B 모델이 GPT-3.5보다 50배 저렴하다는 주장에 대한 의문 제기, 일부 사용자들은 이것이 자체 호스팅을 통해서만 달성될 수 있다고 제안
- 미세조정의 효과성 대비 저 순위 적응에 대한 의문 제기
- 미세조정된 Llama 모델과 GPT-3.5 간의 비교가 오해를 불러일으킨다는 일부 사용자들의 주장, 적절한 추론 지연 시간 달성과 확장성 문제를 인용
- 미세조정된 Llama 2 모델의 품질이 반드시 ChatGPT보다 뛰어나지 않음, 미세조정은 고품질 데이터셋을 필요로 하는데 이는 쉽게 구축하기 어려움
- GPT 함수 호출의 일관성과 오류율에 대한 의문 제기
- 사용자들은 자신의 모델을 미세조정하기 위한 최고의 오픈소스 LLM에 대해 궁금해함
- 미세조정 데이터셋이 입력/출력 쌍이어야 하는지, 아니면 자동 회귀 가능한지에 대한 명확성 요청
- 사용자들은 이러한 모델을 미세조정하는 방법을 배우는 자료에 관심, 특히 초보자들을 위한 것
- 이 기사는 ML/LLM 분야에서 시작하는 사람들에게 가치있는 자료로 간주됨.