- 파인튜닝이 AI 개발 방법론의 중심으로 다시 부상하고 있으며, 이는 Thinking Machines Labs의 Tinker 발표와 자체 관리형 오픈소스 LLM 배포로의 패러다임 전환을 통해 촉발됨
- 한때 AI 추론 워크로드의 10% 미만으로 감소했던 파인튜닝이 GPU-as-a-service 플랫폼, 안정화된 모델 생태계, 오픈웨이트 모델의 확산으로 다시 주목받고 있음
- LoRA(Low-Rank Adaptation) 기술은 수십억 개의 파라미터를 재학습하는 대신 작은 저랭크 행렬만 추가하여 비용을 대폭 절감하면서도 성능을 유지하거나 개선함
- Tinker는 온라인 강화학습을 통한 지속적 학습 아키텍처를 제공하며, 사전 작성된 응답을 모방하는 대신 모델 자체의 응답을 평가하고 개선하는 방식으로 파인튜닝의 미래를 제시함
- 파인튜닝은 단순한 기술적 단계를 넘어 소유권, 정렬성, 지속적 개선을 위한 전략적 레이어로 진화하고 있으며, 개인용 AI 컴퓨터와 특화된 에이전트 운영의 핵심 동력이 될 전망
파인튜닝의 역사적 배경
- Thinking Machines Labs가 Tinker를 발표하며 파인튜닝-as-a-platform 논의가 재점화
- OpenAI의 전 CTO Mira Murati가 설립한 이 스타트업은 설립 6개월 만에 120억 달러 가치 평가를 받음
- 대학과의 연구 협력을 위한 기반으로 파인튜닝 플랫폼을 포지셔닝함
- Hugging Face의 Clément Delangue는 자체 관리형, 오픈소스, 특화된 LLM 배포로의 패러다임 전환을 감지함
- NVIDIA의 DGX Spark와 같은 전용 하드웨어가 이를 뒷받침함
- a16z의 Personal AI Workstation은 이러한 트렌드를 보여주는 마케팅 사례
- 파인튜닝은 대규모 언어모델의 첫 번째 물결 이후 잠시 주목받았으나, 현재 AI 추론 워크로드의 10% 미만을 차지하며 급격히 사라짐
Transformer 이전 시대
- Transformer 혁신 이전 NLP는 특화된 모델에 의존함
- RNN과 LSTM과 같은 순환 아키텍처가 초기 진전을 이룸
- 처음으로 수작업 언어 특징 대신 단어 시퀀스에서 직접 학습함
- 각 애플리케이션은 작업별 데이터로 처음부터 시작해야 했음
Transformer의 등장과 파인튜닝 방법론 확립
- 2017년 Google의 Attention Is All You Need 논문이 Transformer 아키텍처를 소개함
- 순환과 컨볼루션을 셀프 어텐션만으로 대체함
- 7개월 후 ULMFiT는 사전학습된 언어모델(당시 여전히 LSTM 기반)을 다양한 작업에 파인튜닝할 수 있음을 입증함
- Transformer를 실용적으로 만드는 방법론적 기반을 확립함
- 1년 후 BERT와 GPT-1이 이 설계를 실제로 적용함
- BERT는 이해를 위해 양방향 어텐션을 가진 인코더 측면을 활용함
- GPT는 생성을 위해 단방향 어텐션을 가진 디코더 측면을 사용함
- BERT는 특히 NLP 문화를 재편함
- 모든 모델을 처음부터 구축하는 대신, 연구자들은 사전학습된 Transformer를 파인튜닝하여 수개월의 수작업 특징 엔지니어링이 필요했던 결과를 달성함
Full Fine-Tuning의 한계와 LoRA의 등장
- 파라미터가 수백만에서 수천억 개로 폭증하면서 파인튜닝이 더 이상 현명한 선택이 아니게 됨
- Full Fine-Tuning(FFT)은 모든 레이어와 가중치를 재학습하는 것을 의미함
- 정밀도를 제공했지만 막대한 비용이 들었음
- 한때 몇 시간의 GPU 작업이었던 것이 대규모 산업 작업으로 변모함
- 2021년 Microsoft Research가 LoRA(Low-Rank Adaptation of Large Language Models) 를 소개함
- 수십억 개의 파라미터를 재학습하는 대신, LoRA는 원본 가중치를 동결하고 선택된 레이어에 작은 저랭크 행렬을 추가함
- 이것들만 학습되어 비용을 한 자릿수 줄이면서 FFT 성능을 유지하거나 개선함
- LoRA는 기본 방식이 되었음
- 2024년까지 Hugging Face의 PEFT 라이브러리 덕분에 한 줄의 명령으로 구현 가능함
하이퍼파라미터 튜닝의 복잡성
- 파인튜닝은 배포하고 유지할 패키지 이상의 것임
- 튜닝 자체가 진짜 마법이 일어나는 곳이며, 결코 모든 것에 맞는 단일 구성이 아님
-
하이퍼파라미터 튜닝 자체가 모델의 성패를 좌우함
- 랭크, 학습률, 알파 비율의 균형을 맞추는 과정은 과학보다 연금술에 가까움
- 어댑터가 과적합되거나 모델이 이미 알고 있는 것을 잊는 현상(catastrophic forgetting)을 피해야 함
- 작동하는 것을 얻었을 때 평가는 검증보다 점술에 가깝게 느껴짐
- 한편 LLM은 거의 모든 작업에서 계속 개선되어 전지전능에 가까워짐
- 2023년까지 대부분의 팀은 더 큰 컨텍스트 윈도우 덕분에 프롬프트 엔지니어링을 통해 파인튜닝 성능의 약 90%를 달성할 수 있음을 깨달음
- RAG(Retrieval-Augmented Generation)도 모델에 외부 지식 베이스 접근을 제공함
- 두 접근법 모두 재학습이 필요 없고 훨씬 적은 운영 부담으로 괜찮은 결과를 제공함
파인튜닝이 다시 주목받는 이유
- 한때 파인튜닝을 무관하거나 비효율적으로 만들었던 요인들이 이제 하나씩 해결되고 있음
- Together.ai와 같은 GPU-as-a-service 플랫폼은 최소한의 마찰로 LoRA 파인튜닝 파이프라인을 시작할 수 있게 함
- 새 모델이 여전히 빠르게 나오지만, 변화는 이제 혁명적이기보다 진화적임
- Mistral, Llama, Falcon, Yi, Gemma와 같은 오픈웨이트 생태계는 조직이 벤더 종속 없이 파인튜닝된 변형을 소유하고 검사하고 유지할 수 있는 많은 대안을 제공함
- 기업들은 프롬프팅만으로 달성할 수 있는 것의 한계에 도달했을 수 있음
- 파인튜닝은 트렌디한 기능이 아니라 제어, 차별화, 내장 인텔리전스를 위한 전략적 레버로서 천천히 다시 조명을 받고 있음
Thinking Machines Lab의 Tinker와 LoRA 개선 사항
- Thinking Machines Lab의 Tinker는 정리 증명, 화학 추론, 멀티에이전트 강화학습, AI 안전성에 초점을 맞춤
- 그들의 블로그 게시물 LoRA Without Regret에서 더 효과적으로 파인튜닝하는 방법을 공유함
- 원본 논문처럼 어텐션 레이어만이 아닌 모든 선형 모듈에 LoRA를 적용할 것을 권장함
- 종종 간과되는 하이퍼파라미터인 LoRA 랭크의 중요성을 강조함
- 더 높은 학습률(최소 10배), 더 작은 배치 크기(일반적인 관행의 반대) 설정을 권장함
- 수학적 또는 논리적 검증으로 보상 함수를 명시적으로 정의할 것을 조언함
- 모든 권장 사항은 Hugging Face의 TRL에서 명확하게 설명되고 재현 가능함
현대 파인튜닝 파이프라인의 모듈성
- 현대 파인튜닝 파이프라인은 5년 전과 완전히 다름
- 모듈식, 서버리스, 오케스트레이션됨
- 단일 배포는 기본 모델과 함께 수십 개의 LoRA 어댑터를 실행할 수 있음
- 각각은 특정 톤, 기능 또는 도메인을 나타냄
- 추론 중에 시스템은 정적 모델 파일에 의존하는 대신 올바른 어댑터 조합으로 쿼리를 라우팅함
- 이러한 모듈성은 자체적인 과제를 야기함
- Together.ai와 같은 올인원 플랫폼은 대부분의 무거운 작업을 처리하지만, 많은 팀이 필요로 하는 세밀한 구성과 관찰 가능성이 부족함
- 대규모 비용이 빠르게 확대될 수 있음
Tinker의 독특한 접근 방식
- Tinker는 두 가지 장점을 모두 제공하는 것으로 보임
- 현대적이고 완전히 관리되는 파인튜닝 스택의 편안함과 연구자를 위한 세밀한 제어를 결합함
- 사용자가 가장 깊은 수준에서 학습 워크플로와 커스텀 알고리듬을 오케스트레이션할 수 있도록 저수준 학습 프리미티브에 대한 직접 API 접근을 제공함
- 동시에 힘든 작업을 처리함
- 현재 Tinker는 연구 목적으로만 예약되어 있지만, 다른 플랫폼에 영감을 줄 것으로 기대됨
- 인프라 문제는 점차 과거의 문제가 되고 있지만, 평가라는 주요 난제가 남아 있음
모델 평가의 어려움과 온라인 강화학습
- 모델은 평가하기가 매우 어려움
- 인간 평가는 일관성이 없고, 느리며, 무엇보다 비용이 많이 듦
- 벤치마크는 빠르게 노화되고 데이터 오염으로 관련성을 잃음
- G-Eval이나 Chatbot Arena와 같은 자동화된 접근법조차 자체적인 문제를 야기하며, 종종 편향을 증폭하고 불안정한 점수를 생성함
- Benjamin Anderson은 Tinker가 솔루션의 일부를 가지고 있을 수 있다고 제안함
- Tinker는 사용자에게 온라인 강화학습을 수행할 수 있는 권한을 제공함
- 현재 모델 가중치에서 완성본을 가져와 그 완성본을 점수화하고, 완성본이 좋았는지 나빴는지에 따라 모델을 업데이트함
- 지도 파인튜닝은 모델에게 미리 작성된 응답을 모방하도록 가르치는 반면, 온라인 RL은 자체 응답을 점수화하여 개선함
- 이러한 아키텍처로 파인튜닝의 미래는 파인튜닝처럼 보이지 않을 수 있음
- 지속적 학습을 닮기 시작함
파인튜닝의 전략적 진화
- Moyai.ai의 Robert Hommes는 다음과 같이 말함
- "이론적으로 파인튜닝은 항상 합리적이었음. 그러나 클로즈드소스 랩이 모델 인텔리전스를 확장하는 속도가 실질적으로 나쁜 선택으로 만들었음"
- "이제 컴퓨팅, 데이터, 더 나은 프레임워크로 특화로 다시 기울고 있음"
- 자체 호스팅으로의 전환은 예상보다 더 가까이 올 수 있음
- Exxa의 Constant Razel은 "개인용 AI 컴퓨터는 더 이상 먼 아이디어가 아님"이라고 말함
- 기술이 개선되고 더 접근하기 쉬워지고 있음
- 보안과 비용이 초기 채택을 주도할 가능성이 있음
- 파인튜닝은 특화된 고성능 에이전트가 그 위에서 실행되도록 할 것임
- 파인튜닝은 한계 정확도를 위한 무차별 대입 추구에서 근접성과 제어에 뿌리를 둔 소유권, 정렬성, 지속적 개선을 위한 프레임워크로 변화함
- 더 이상 단순한 기술적 단계가 아니라 인텔리전스가 구축되고 소유되는 방식의 전략적 레이어일 수 있음