450달러 이하로 O1 Preview 모델 직접 훈련하기
(sky.cs.berkeley.edu)- UC Berkeley NovaSky 팀의 Sky-T1는 450달러 이하 비용으로 O1 Preview급 추론 모델을 직접 훈련할 수 있음을 내세운 프로젝트임
- o1과 Gemini 2.0 Flash Thinking은 긴 내부 사고 체인을 활용해 복잡한 과제에서 강한 추론 성능을 보임
- 이런 모델은 기술 세부사항과 가중치가 공개되지 않아 학계와 오픈소스 커뮤니티가 재현·확장하기 어려움
- Still-2와 Journey 같은 공개 가중치 추론 모델 시도는 있었지만, 주로 수학 영역에 집중돼 있었음
- NovaSky 팀은 같은 모델에서 수학과 코딩 모두 경쟁력 있는 추론 성능을 달성했다는 점을 Sky-T1의 차별점으로 제시함
Sky-T1가 겨냥한 문제
- Sky-T1는 UC Berkeley Sky Computing Lab의 NovaSky 팀이 공개한 프로젝트로, O1 Preview 모델을 450달러 이하로 직접 훈련하는 것을 전면에 내세움
- o1과 Gemini 2.0 Flash Thinking 같은 추론 특화 모델은 복잡한 과제를 풀 때 긴 내부 사고 체인을 생성하는 능력을 보임
- 그러나 이 계열 모델은 기술 세부사항과 모델 가중치에 접근할 수 없어, 학계와 오픈소스 커뮤니티가 직접 참여하기 어려운 상태임
공개 가중치 추론 모델 흐름과 차별점
댓글과 토론
Hacker News 의견들
-
관심 있으면 무료 GPU가 있는 Colab 노트북을 만들어 두었음
DeepSeek가 쓴 알고리즘인 GRPO로 추론 모델을 처음부터 학습하는 노트북과, Berkeley 팀이 사용한 일반 파인튜닝 노트북임
GRPO notebook for Llama 3.1 8B: https://colab.research.google.com/github/unslothai/notebooks...
General finetuning notebook: https://colab.research.google.com/github/unslothai/notebooks...
Berkeley 팀의 17K 데이터셋: https://huggingface.co/datasets/NovaSky-AI/Sky-T1_data_17k Hugging Face도 220K 데이터셋을 공개함: https://huggingface.co/datasets/open-r1/OpenR1-Math-220k- 무료 티어 T4에서는 이게 얼마나 걸리는지 궁금함
보통 프로그래머가 이런 “내부를 만져보는” 작업에 접근하기는 훨씬 어려울 줄 알았는데, 직접 해보고 싶은 수준으로 보임
- 무료 티어 T4에서는 이게 얼마나 걸리는지 궁금함
-
이름에 O1 preview를 넣은 건 클릭베이트처럼 보여서 이상함
실제로 o1 preview를 재학습해서 다운로드할 수 있는 방법 같은 걸 기대했음
또 벤치마크 7개만 보고 O1 preview라고 부르는 건 맞지 않음. 어떤 사용 사례에서는 O1 preview가 이 모델보다 더 잘할 수도 있음
그래도 비용이 낮아지는 건 좋은 일임- 특정 언어 모델도 아니고 그 모델의 베타 버전을 직접 가리키는 이름이라 정직하지 않다고 봄. 대체 왜 그런 건지 모르겠음
- 동의함. O1 preview라는 이름은 좀 오해를 부름
특정 벤치마크 몇 개를 넘는 더 넓은 성능을 기대하게 만듦. 비용 절감은 멋지지만, 마케팅은 적용 범위를 더 투명하게 보여줘야 함
-
경쟁은 정말 좋음
누군가 아키텍처를 공개했다는 이유만으로 지난 몇 주 동안 발전이 쏟아지고 있음
학습 데이터셋까지 공개되고 저작권법에 얽매이지 않는다면 어디까지 갈 수 있을지 상상하게 됨. 불법을 하자는 얘기는 아님
그냥 꿈꿀 수밖에 없을 듯함- “발전이 쏟아진다”는 표현이 딱 맞음. 특히 Meta가 모델을 뭘로 학습했는지 드러난 뒤라 더 그렇다 :)
- 그런 학습 데이터셋은 거의 전부 저작권이 걸려 있어서 절대 자유로울 수 없음
- 이미 그런 흐름은 진행 중이었고, DeepSeek는 그중 한 사례로 보임
다만 그 발전에 관심을 끌어줬고, 덕분에 더 많은 사람이 기여하고 더 틈새적인 적용 사례를 찾게 됨 - 요즘 분위기는 제일 뜨거운 스타트업을 갖게 되면 그냥 법을 어기고 공무원에게 뇌물 주는 거 아닌가? /s
/s에 덧붙이면, 한때 해외에 살면서 당시 가장 인기 있던 비트코인 카지노를 운영했고, 미국인일 가능성이 있는 플레이어를 막는 데 엄청난 돈과 에너지를 썼음. 그래서 큰돈을 벌지는 못했음
법을 어기고 영원히 숨어 살려면 얼마나 벌어야 하는지 계산해봤고, 연 1,000만~1,500만 달러는 벌 수 있겠지만 숨기에는 부족하다고 봤음. 내가 망친 것 같음
세계 최고 부자는 초기에 도박 거래를 중개하면서 대부분의 돈을 벌었고, 지금은 모든 연방 기관에 코를 들이밀고 있음. 허락보다 용서를 구할 배짱이 있었어야 했던 듯함
-
실제 AI 배포에서는 추론 시점 연산이 아직 매우 덜 활용되고 있음
많은 사람이 넓은 문제 영역을 추론해야 하는 기반 모델을 만들고 있지만, 같은 기법을 과업별 성능 개선에 쓰는 사람은 충분하지 않음
R1 같은 더 큰 모델의 추론을 특정 과업에 맞게 쉽게 증류할 수 있음. 더 나아가 특정 하위 문제용 맞춤 사고 지시를 섞으면, 파인튜닝된 모델이 과업별 추론과 맞춤 로직을 함께 배우게 됨
어렵지 않고 프롬프트 반복 개선보다 쉽게 이김. 버그를 찾으면 고칠 수도 있음
사고 모델 증류와 맞춤 사고 과정 추론 시점 파인튜닝을 위한 GitHub 프로젝트를 만들었음: https://docs.getkiln.ai/docs/guide-train-a-reasoning-model- 고립된 과업이 아니라 특정 문제 영역 안의 유연한 질의 범위를 위한 파인튜닝 데이터를 어떻게 구성하면 좋을지 궁금함
범용 지시문 튜닝과 비슷하지만 훨씬 더 초점이 좁은 경우임
예를 들어 의사가 연구 문헌을 검색해 진단을 돕고, 가설을 확인하는 앱을 만든다고 해보면, 당연히 도메인 전문가와 실제 사용자를 통해 어떤 질의를 만들지 봐야 함
하지만 그다음에 가능한 질의, 지시, 문체와 인지 스타일, 포맷, 대화 흐름 등의 분포를 충분히 대표하는 균형 잡힌 데이터셋으로 가는 과정은 접근법을 알기 어렵게 느껴짐. 실수로 과적합할 수 있는 차원이 무한히 많아 보임
- 고립된 과업이 아니라 특정 문제 영역 안의 유연한 질의 범위를 위한 파인튜닝 데이터를 어떻게 구성하면 좋을지 궁금함
-
블로그 글이 조금 불명확해서 이렇게 이해했음
QwQ로 학습 데이터를 만들고, 일부 정리는 GPT-4o-mini로 했음. 그 학습 데이터로 비추론 모델인 Qwen2.5-32B-Instruct를 파인튜닝했음
결과적으로 Sky-T1은 추론 과제에서 QwQ보다 약간 못하지만 Qwen2.5보다는 훨씬 잘함
여기엔 깎아내리는 반응도 있지만, 기반 모델을 파인튜닝해서 추론을 더 잘하게 만들 수 있음을 보여준다는 점에서 꽤 흥미롭다고 봄- qwen2.5의 r1 증류 모델들과도 비교했으면 좋았을 것 같음
-
이건 처음부터 학습한 게 아니라 파인튜닝이라서 훨씬 더 합리적인 제안으로 보임
그래도 이 분야에 깊이 들어와 있지는 않지만 파인튜닝 세부가 궁금했던 입장에서는 데이터셋과 코드를 둘 다 받을 수 있다는 점이 좋음 -
더 나은 URL: https://novasky-ai.github.io/posts/sky-t1/
- 이전 논의는 여기 있음: https://news.ycombinator.com/item?id=42681417
-
QwQ의 추론 흔적으로 학습했고, 평가에서는 대체로 QwQ보다 약간 못함
엄청난 성과라고 보긴 어려움 -
“모델 학습은 H100 8대에서 DeepSpeed Zero-3 오프로딩으로 19시간 만에 끝나며, Lambda Cloud 가격 기준 약 450달러”라는 부분이 핵심으로 보임