500달러로 미세조정한 9B 오픈 모델, 카탈로그 검수에서 프런티어 모델 능가

• 전자상거래 카탈로그 검수용 9B 오픈소스 모델을 약 500달러로 강화학습 미세조정한 결과, 같은 도구·이미지·채점기를 사용한 모든 프런티어 모델 구성보다 높은 점수를 기록함
• 17만7,767개 검수 에피소드로 만든 디지털 트윈에서 상품 분류, 브랜드 확인, 속성 추출, 정책 판정을 반복해 기업 고유의 분류 체계와 판단 기준을 모델 가중치에 학습시킴
• GRPO 학습 모델은 달성 가능한 최대 점수의 87.3% 를 기록해 최상위 프런티어 구성의 76.9%보다 상대적으로 13.5% 높았고, 미학습 기반 모델의 64.2%보다 36% 향상됨
• 비용은 상품 1,000개당 약 0.50달러로 가장 저렴한 프런티어 구성보다 40배, 가장 비싼 구성보다 약 340배 저렴하며, 하루 4,000만 건 규모에서는 연간 약 700만 달러와 5억 달러의 차이가 남
• 결과를 규칙·테스트·평가표로 검증할 수 있는 대량 반복 업무에 적합하며, 변하는 사실은 검색 도구에 두고 기업 고유의 판단 방식은 모델에 학습시키는 구조가 필요함

---

AI 투자 성과를 가르는 운영 방식

• ChatGPT 출시 이후 AI 활용은 문서 요약과 이메일 초안 같은 저위험 업무에서 소프트웨어 개발, 콘텐츠 생성, 내부 지식·데이터·도구를 연결하는 회사 두뇌(company brain) 구상으로 확대됨
• Ramp 고객 데이터에서 AI 지출 상위 25% 기업은 2022년 11월부터 2025년 12월까지 매출이 2배 이상 늘었지만, AI 지출이 없는 기업은 같은 기간 약 15% 성장함
• 성과를 내는 조직에는 다음 운영 방식이 반복됨
  • 업무 흐름 재설계: 기존 절차에 모델만 추가하지 않고 승인, 검토, 인계와 인간 개입 지점을 다시 설계해야 함
    • McKinsey의 2025년 생성형 AI 이용 조직 조사에서 업무 흐름 재설계는 EBIT 영향과 가장 높은 상관관계를 보였지만, 실제로 하나라도 재설계한 조직은 21%에 그침
  • 실험 장려: 모델과 도구, 모범 사례가 빠르게 바뀌므로 성공적인 출시뿐 아니라 실험과 실패 공유에도 보상이 필요함
  • 맞춤형 업무 맥락: 데이터 접근, 요청별 접근 제어, 관련 근거 검색, 길어질수록 활용이 불균등해지는 컨텍스트 창 관리가 별도 엔지니어링 과제가 됨
  • 사용량과 효과 측정: 자체 데이터에 대한 채점 평가가 없으면 성능, 의사결정 비용, 효율 영향을 입증하기 어려우며 자기 보고식 시간 절감 수치도 부정확할 수 있음

‘지능 소유’를 위한 배포 방식

• 반복적으로 나타나는 구성은 오픈소스 모델, 기업 고유의 작업 데이터, 채점 가능한 업무 흐름을 이용한 강화학습임
• 프런티어 모델은 자동화 가능성을 확인하고 초기 기준선을 세우는 데 활용함
  • 호출 과정에서 입력, 결정, 수정 기록이 쌓이며 이후 전문 모델의 학습 데이터가 됨
  • 프로토타입을 벗어나 대량 운영 단계에 들어가면 호출당 비용과 성능이 우선순위가 됨
• 프런티어 모델과 전문 모델은 서로 완전히 대체하는 관계가 아님
  • ChatGPT나 Claude 같은 범용 모델이 내부 지식이 필요한 부분을 전문 모델에 맡길 수 있음
  • 전문 모델도 높은 범용 능력이 필요한 작업에서는 프런티어 모델을 호출할 수 있음
• 모델은 기업의 도구와 데이터로 작업하고, 평가표(rubric) 가 결과를 채점하며, 보상 신호가 모델을 갱신함
  • 수만 개 작업을 반복하면 업무 판단이 가중치에 자리 잡음
  • 가격, 재고, 정책 문서처럼 변하는 사실은 도구에 유지함

전문 모델의 실제 배포 사례

• Bridgewater Associates는 기사, 공시, 이메일이 투자 논지와 관련 있는지, 상투적 문구가 어디서 시작되는지를 판단하도록 전문 투자자의 라벨로 오픈소스 모델을 학습함
  • 프롬프트만으로는 내부 판단 기준을 안정적으로 반영하지 못했음
  • 학습 모델은 최상위 프런티어 모델보다 오류가 약 30% 적고, 추론 비용도 낮았음
• Harvey는 거래 실사와 법률 메모 작성처럼 여러 단계에 걸쳐 오류가 누적되는 작업에 오픈 가중치 모델과 강화학습을 적용함
  • 자체 평가표에서 법률 에이전트가 GPT-5.5와 Claude Opus 4.8을 능가함
• Intercom Fin Apex는 매주 약 200만 건의 고객 문제를 처리하는 규모에서 호출당 비용과 해결률을 개선하기 위해 수십억 건의 고객 서비스 상호작용으로 후속 학습됨
  • 최상위 프런티어 모델보다 더 많은 문제를 해결하면서 운영비도 낮다고 Intercom이 밝힘
• 공통 배포 과정은 프롬프트와 컨텍스트를 최적화한 프런티어 모델로 기준선을 만든 뒤, 실행 기록과 학습 내용을 기업이 소유하는 작은 모델로 이전하는 방식임

카탈로그 무결성과 비용 문제

• 전자상거래 카탈로그는 모든 상품을 올바른 분류 체계에 배치하고, 검색·필터·추천·후속 운영에 쓰이는 속성을 이미지와 설명에서 정확히 추출해야 함
• 잘못된 판단은 상품 검색성과 추천 품질을 떨어뜨리고 정책 위반을 놓치게 함
  • 위조품을 놓치면 고객과 브랜드가 사기에 노출됨
  • 정상 상품을 과도하게 표시하면 검토 대기열과 판매자 불편이 늘어남
• 업무 규모도 큼
  • eBay에는 약 25억 개의 활성 상품이 있음
  • Shopify 카탈로그에는 하루 1,000만 건 이상의 상품 업데이트가 들어옴
  • Walmart는 AI 지원 카탈로그 작업을 사람만으로 수행하면 약 100배의 인력이 필요했을 것으로 추산함
  • 소비자 71%는 실제 상품이 등록 정보와 달라 반품한 경험이 있다고 답함
• 중간 규모 마켓플레이스가 하루 약 1,000만 건의 상품 생성·수정을 처리할 경우, 프런티어 모델 기반 검수는 연간 약 5억 달러, 미세조정 전문 모델은 약 1,000만 달러로 추산됨
• Shopify는 상업용 API로 경제적으로 감당하기 어렵다는 이유로 미세조정한 오픈 모델을 이용해 하루 약 4,000만 회의 상품 분류 추론을 수행함

카탈로그 검수 에이전트의 작업

• 에이전트는 상품을 검토하면서 분류 체계를 검색하고 브랜드를 확인하며, 해당 분류의 속성 스키마를 가져온 뒤 구조화된 결정을 확정함
• 근거가 부족하거나 위험이 높으면 인간 검토로 넘김
• 작업용 장갑 사례는 다음 순서로 처리됨
  • search_taxonomy로 Safety Work Gloves 분류를 찾음
  • lookup_brand로 AmazonBasics가 등록됐지만 보호 대상은 아님을 확인함
  • get_attribute_schema로 브랜드, 색상, 소재, 크기 속성을 조회함
  • 분류·속성과 함께 allowed 판정을 확정함
• 실제 위반을 놓치는 비용을 오탐보다 7배 높게 설정해 두 오류를 비대칭적으로 학습함

학습용 디지털 트윈

• Amazon Berkeley Objects의 실제 상품 이미지와 등록 정보를 이용해 17만7,767개 검수 에피소드를 구축함
  • 에피소드마다 이미지, 제목, 설명, 주장된 브랜드, 지역을 포함함
  • 통제된 정책 위반, 불일치 이미지, 충돌하는 브랜드 주장과 함께 정당한 주장을 어려운 음성 사례로 삽입함
  • 모든 에피소드에는 채점 가능한 정답이 존재함
• 모델이 사용하는 환경은 실제 분석가의 작업을 재현함
  • 약 1만3,000개 분류를 검색함
  • 브랜드의 등록·보호 여부를 확인함
  • 선택한 분류에 필요한 속성을 가져옴
  • 최종 분류, 속성, 정책 결정을 확정함
• 채점기는 정답에 보상하고 위반 누락, 근거 없는 속성, 잘못된 분류, 불필요한 도구 호출에 벌점을 부과함
• 실제 업무의 목록, 도구, 판정 비용을 재현한 환경에서 실패와 재시도를 반복할 수 있어야 강화학습이 가능함

프런티어 모델 기준선

• GPT-5.5, GPT-5.6-sol, Gemini 3.1 Pro, Claude Opus 4.8, Claude Fable 5를 계층화한 검증 에피소드 200개에서 비교함
  • 모든 모델에 같은 도구, 이미지, 채점기, 턴 예산을 적용함
  • 기본 프롬프트와 2,800자 분량의 추출 규칙, 조회 절차, 예시를 담은 최적화 프롬프트를 각각 시험함
• 최상위 프런티어 구성은 달성 가능한 점수의 76.9%, GRPO 학습 9B 모델은 87.3%를 기록함
• 프런티어 모델은 매 에피소드마다 해당 상점의 분류 체계, 재고 관례, 지원되는 속성 값, 예외 처리 방식을 프롬프트에서 다시 구성해야 함
  • 최적화 지침으로 일부 지식을 압축할 수 있지만 점수를 좌우하는 모든 예외를 열거할 수는 없었음
  • 최적화된 프런티어 구성들은 서로 0.1%포인트 이내로 수렴함
  • 제로샷 추출 성능이 가장 높았던 Gemini는 최적화 지침 적용 후 오히려 성능이 낮아짐
• 추가 지침은 모델에 따라 입력 토큰 비용을 호출마다 28~55% 높임
  • 프롬프트에 담은 작업 지식은 호출할 때마다 비용이 들지만, 학습된 지식은 가중치에 유지됨

500달러 규모의 GRPO 학습

• 학습에는 RTX PRO 6000 GPU 2대를 임대해 하나는 롤아웃 생성, 다른 하나는 경사 갱신에 사용함
• 인프라는 오픈소스 prime-rl로 구성함
• 전체 학습은 최적화 1,000단계, 약 3.5일, GPU 비용 약 500달러가 들었음
  • 약 250단계와 하루 정도의 학습만으로 프런티어 모델 구간을 넘어섬
  • 나머지 단계는 최대 성능을 끌어내는 데 사용함
• 최종 엄격 벤치마크 점수는 0.626으로 달성 가능한 상한의 87.3%이며, 최상위 프런티어 구성보다 약 10%포인트 높음
  • W&B 학습 모니터에서는 약 0.50에서 1,000단계의 0.671까지 상승함
  • 모니터는 에피소드당 표본 롤아웃 2개를 사용해 엄격한 벤치마크 하네스보다 점수가 조금 높음
• 미학습 9B 기반 모델은 최대 점수의 64.2%였고, 미세조정 후 87.3%로 올라 상대적으로 약 36% 향상됨
• 전문 모델은 분류 체계, 도구, 정책과 보상의 관계를 학습해 특정 환경의 행동에 역량을 집중하며, 그 대신 범용 능력을 희생함
• 더 강한 오픈소스 기반 모델이 나오면 같은 학습법을 이전할 수 있고, 운영 중 기록된 결정도 지도 미세조정 데이터로 증류해 후속 재학습에 활용할 수 있음

비용과 품질 비교

• 전문 모델의 추론 비용은 상품 1,000개당 약 0.50달러이며, 미세조정으로 같은 비용에서 기반 9B 모델보다 약 23%포인트 높은 점수를 얻음
• 비교 대상의 비용 차이는 다음과 같음
  • 가장 저렴한 프런티어 구성인 Gemini는 1,000개당 19달러로 전문 모델보다 40배 비쌈
  • 가장 비싼 GPT-5.5-pro는 1,000개당 172달러로 약 340배 비쌈
  • 가장 높은 프런티어 점수를 낸 구성은 1,000개당 34달러로 전문 모델보다 68배 비쌈
• 2,800자 지침은 GPT-5.5의 측정 비용을 약 3분의 1 높였으며, 이 프롬프트 세금은 이후 모든 호출에 반복됨
• 하루 약 4,000만 건을 처리하면 1,000건당 34달러인 구성은 연간 약 5억 달러, 0.50달러인 전문 모델은 약 700만 달러가 들어 약 98%의 비용 차이가 남

적용하기 좋은 업무와 피해야 할 영역

• 적합한 업무는 정보로부터 결정을 만들어내는 대량 반복 작업임
  • 티켓 라우팅
  • 문서 필드 추출
  • 정책에 따른 제출물 검사
  • 상품 분류
  • 거래 승인 또는 표시
• 핵심 조건은 각 결정의 옳고 그름을 규칙, 스키마, 테스트, 평가표나 전문가 판단으로 검증할 수 있는지임
  • 채점할 수 있는 결정은 모델이 연습할 수 있음
  • 합의 없이 토론만 가능한 결과는 이 방식으로 연습할 수 없음
• 빈도와 검증 가능성에 따라 도구를 선택함
  • 빈도가 높고 검증 가능한 업무에는 미세조정이 적합함
  • 검증 가능하지만 드문 업무에는 프롬프트를 최적화한 프런티어 모델이 적합함
  • 검증할 수 없는 결과에는 인간이 개입해야 함
  • 문제의 핵심이 판단이 아니라 변하는 사실이라면 빈도와 관계없이 검색 증강이 적합함
• 다음 조건 중 하나 이상에 해당하면 미세조정 후보가 될 수 있음
  • 호출 비용과 오류가 실제 비용으로 누적될 만큼 대량으로 발생함
  • 모든 결과를 사람 없이 규칙, 테스트, 평가표로 확인할 수 있음
  • 전문가들이 정답의 기준에 동의함
  • 유능한 모델이 일부 성공하지만 신뢰할 만큼 일관되지는 않음
  • 정답이 우연한 추측으로 나올 수 없음
  • 추론, 도구 호출, 최종 결정의 여러 단계로 구성됨
  • 자체 도구, 스키마, 정책에서 실행됨
  • 오류 종류마다 비용이 다름
  • 민감한 데이터를 통제 밖 인프라로 보낼 수 없음
• 자체 경계 안에서 모델을 실행하면 프롬프트와 기록이 외부 공급자에게 전달되지 않으며, 모델·평가·데이터를 함께 소유하고 개선할 수 있음

다른 산업의 전문 모델 사례

• Cognition의 프로덕션 소프트웨어 작성·수정 모델은 표준 코딩 벤치마크에서 GPT-5.5를 능가하고 초당 1,000토큰을 스트리밍함
• AT&T는 하루 90만 건의 지원 통화를 요약하고 개인정보를 표시함
  • GPT-4o보다 개인정보 탐지 성능이 17% 높음
  • GPT-4o 수준 정확도로 사기 사건을 12배 빠르게 검토하고 연간 수백만 달러를 절감함
• LinkedIn의 구직자·채용 공고 매칭 모델은 대체한 GPT 모델보다 4% 정확함
  • GPT-4보다 75배, GPT-4o보다 6배 저렴함
• Ambience Healthcare의 의료 청구 코드 모델은 골드 패널 시험에서 전문의 18명보다 정확함
  • 기반이 된 프롬프트 방식 o4-mini보다 12%포인트 높음
• Phonely의 전화 응대 모델은 99.2% 정확도를 기록해 GPT-4o의 94.7%를 앞섬
  • 이전 GPT-4o 구성보다 응답이 73% 빨랐고, 한 고객은 한 달 만에 인간 상담원 350명을 대체함
• OpenPipe의 이메일·지원 티켓 모델은 지원 QA에서 93%를 기록해 OpenAI o3의 50%를 앞섬
  • o3보다 64배 저렴하고 5배 빠름
• Perplexity Sonar는 출처를 포함한 검색 답변에서 블라인드 사용자 시험 기준 GPT-4o와 대등함
  • GPT-4o보다 10배 빠르고 가격도 낮음
• Checkr의 범죄 기록 분류 모델은 가장 어려운 사례에서 GPT-4를 능가함
  • 기존 GPT-4 구성보다 5배 저렴하고 30배 빠름
• 각 수치는 해당 기업이 교체하거나 경쟁한 프런티어 모델을 기준으로 자체 보고한 결과임

[click]

각 사건별 전문가를 찾아서 업무 범위만 맡기는 거보다 한사람한테 주면 알아서 다 잘 처리해주는걸 원하는게 사람 심리긴 하죠
LLM도 뭐든 아무거나 던지면 다 받아주는 식으로 보상함수가 짜여질 수밖에 없지 않을까요

[GN⁺]

Hacker News 의견들

• 대형 연구소들이 놓치는 핵심은 대부분의 용도에 박사 50명 수준의 지식과 12개 언어 능력이 필요하지 않으며, 비용 제약이 훨씬 중요하다는 점임
  오픈 가중치 모델과 저렴한 미세조정이 보편화되면 초거대 모델과 부채로 조달한 대규모 인프라의 경제성이 무너짐
  정치나 중국 위협론은 표면적 명분일 뿐이며, 소형 오픈 가중치 모델이 표준이 되면 대형 연구소는 살아남기 어려움

  • 범용 용도는 광범위하게 학습된 모델의 도움을 많이 받음. 사전에 구체적인 용도를 모르면 세계 지식을 갖춰야 하며, 코딩에서도 제품 의도와 사용 방식을 이해하는 데 이 지식이 유용함
    미세조정에서 진짜 비싼 부분은 좋은 데이터셋 수집이고, 깔끔한 데이터가 있어도 평가를 실행하고 품질을 측정할 역량이 필요함
    엔지니어링·데이터 라벨링·지속적인 품질 검토 비용까지 합치면 처음부터 잘 작동하는 최첨단 연구소 모델을 계속 쓰는 편이 더 저렴한 용도도 많음
  • 대부분의 회사가 여전히 필요한 소프트웨어 엔지니어 대신 갑자기 AI 연구자를 찾기 시작했다는 점에서도 같은 현상이 보임
    약 10년 전 FAANG 면접 방식이 공개되자 모두가 그대로 따라 했던 모습과 비슷함
  • 이는 Richard Sutton의 주장이 현실에서 펼쳐지는 모습과 거의 같음: https://www.youtube.com/watch?v=21EYKqUsPfg
    지금처럼 가중치를 계속 키우고 하드웨어를 투입하는 길은 막다른 길이며, 결국 AI 역사에서 늘 그랬듯 목적에 맞춘 알고리즘으로 돌아가게 된다는 주장임
  • 더 효율적인 초소형 모델이 등장하면 지금은 보이지 않는 변화도 많이 드러날 것임
    그렇게 많은 매개변수가 필요하지 않음을 증명하려고 TinyToT를 만들고 있음
  • 기사 표처럼 전체 작업량이 분류된 항목 1,000개, 품질 기준이 70%라면 맞춤 미세조정에 500달러와 시간을 쓰기보다 Gemini API에 19달러를 내는 편이 낫지 않나 싶음

• 이런 이야기를 볼 때마다 두 가지가 걸림
  첫째, 기존 모델을 더 잘 활용하거나 아무것도 하지 않고 기다리는 전략이 재학습보다 나은 결과를 내는 경우를 여러 번 봤음. 비교 대상은 현재의 최첨단 모델이 아니라 미세조정 모델을 유지하는 동안 출시될 다음 모델이어야 함
  둘째, 학습비 500달러는 가장 저렴한 항목이며 데이터 생성과 이후 모델 유지가 훨씬 비쌈. 점수가 매겨진 17만7천 개 에피소드를 실제로 만들 수 있는 용도가 얼마나 될지 의문임
  여기서는 Amazon Berkeley Objects로 합성해야 했는데, 자연스럽게 존재했다면 만들 필요도 없었을 이 데이터셋 자체가 미세조정 적용의 어려움을 가장 잘 보여줌

  • 기다리는 동안 발생하는 비용이 학습·유지 비용보다 크다면 이 접근은 여전히 타당함. 저렴한 오픈소스 모델의 발전 속도에 따라 일시적인 전략일 수 있지만 충분히 가치가 있음
    GPU 같은 특화 하드웨어가 CPU 발전 후에도 쓰이듯, 특화 모델은 범용 모델보다 비용이나 결과 측면에서 계속 우월할 가능성이 큼
    초기 학습이 500달러라면 지속 학습 자체는 비교적 저렴함. 데이터 변화에 맞춘 새 예제 생성은 더 비싸지만 다음 모델 학습에 재사용할 수 있고, 모델과 프롬프트 변경을 평가하려면 어차피 어느 정도 필요함
    결국 데이터 생성·학습 비용이나 데이터 부족 때문에 항상 타당한 것은 아니며, 기사 도표처럼 빈번하고 검증 가능한 작업에서만 적합함. 수백만 건의 의사결정을 처리하는 대기업에만 현실적일 수도 있음
  • 공개되지 않은 하이퍼파라미터 시행착오까지 포함하면 학습 실행에만 5,000달러 이상 들었을 것이 확실해 보임
  • 최첨단 모델 추론에 가장 많은 돈을 쓰는 세계적 기업 다수는 이미 비싼 부분인 라벨링된 데이터셋을 보유하고 있음
    데이터셋과 모델 유지 비용도 Braintrust나 Hugging Face 같은 스타트업을 통해 범용 서비스화되고 있음
  • 여기서 말하는 모델 유지가 구체적으로 무엇을 뜻하는지 궁금함

• 최첨단 모델은 스스로 일자리를 없애는 데 매우 뛰어남
  이미 GPT에서도 Luna가 Sol 용도의 90%를 처리함. 중국이 여전히 모델 증류에 공을 들이는 이유는 정확한 학습 데이터 생성이며, OpenAI와 Anthropic은 법적 문제를 피하면서 이를 모으는 데 수년을 썼음
  모델이 똑똑해질수록 충분히 일을 해내는 저렴한 대안으로 이동하게 됨. 정확도가 이미 99%라면 최첨단 모델을 쓸 실익이 거의 없으며, 이것이 미국 연구소의 가장 큰 위험으로 보임

  • 최상위 모델의 핵심 용도는 코딩임. Terra를 최고 추론 수준으로 설정해 코드를 작성하게 하면 Sol이 수많은 버그를 찾아 코드를 철저히 해부함
    그 외 작업에는 더 저렴한 모델을 써도 충분함
  • 이는 기술의 일반적인 S자 곡선과 같음. AI 추론 능력의 발전이 실제로 둔화했는지는 논외로 해도 React 프런트엔드 작성이라는 실용적 목적에서는 이미 둔화한 셈임
    2018년쯤 산 LCD TV를 바꿀 생각이 없는 것처럼 다른 기술도 비슷함
    기술은 새 기술을 대체하거나 빈 영역에 침투하는 경향이 있지만, 인간 상호작용 같은 비기술 영역을 대체하는 일은 드묾. 화면 앞에서 하는 여가 활동도 대체로 준사회적 관계를 향하고 있음
  • 충분히 복잡하거나 규모가 큰 코드에는 Sol 외의 모델이 부족함
  • Terra와 Sol의 차이를 잘 느끼지 못하지만 항상 Sol을 사용함. 중간 추론과 최고 추론의 차이도 그다지 명확하지 않게 느껴짐

• 오픈 모델 미세조정에 관심이 많아 직접 추천할 만한 자료를 찾고 있으며, 이 글도 자세히 읽으려고 저장해 둠
  Nemotron-3-Nano 30B를 로컬에서 실행했고 300억~1,200억 매개변수 모델을 목표로 삼고 있음. 기본 모델만으로도 실질적 가치를 낼 만큼 충분하지만, 특화 작업은 학습으로 마지막 간극을 넘을 수 있다고 봄
  저자가 전체 과정을 고민한다는 점이 특히 좋으며, 같은 용도와 가치 창출 전략을 확인할 수 있었음. 장기 프로젝트라 미세조정용 하드웨어도 구매할 계획임

  • 어떤 하드웨어를 쓰며 초당 토큰 생성 속도가 어느 정도인지 궁금함. 메모리 128GB인 고성능 MacBook에서도 로컬 모델의 생성 속도는 늘 매우 실망스러웠음

• Ramp 글은 읽지 않았지만 사후 오류처럼 보임. 매출이 2배인 회사는 AI에 쓸 돈이 있고, 1.15배인 회사는 그렇지 않을 뿐일 수 있음

  • AI를 많이 쓰는 회사가 대규모 성숙 기업보다 민첩한 성장 단계 기업일 가능성이 훨씬 높다는 해석도 가능함

• 소형 LLM이나 BERT 같은 더 작은 언어 모델을 미세조정하는 방식은 LLM 등장 초기부터 권장됐음. 실행이 빠르고 전체 기술 구성을 통제할 수 있으며 맞춤 도메인에 더 잘 맞는다는 장점이 분명함
  하지만 대형 언어 모델 API가 여전히 저렴하고 충분히 빠르며 계속 개선되기 때문에 실제 미세조정은 많지 않음. 시간과 돈을 들여 특화 모델을 출시하자마자 새 범용 모델이 이를 넘어설 수 있기 때문임
  언젠가 LLM 발전이 둔화하거나 API 가격이 감당하기 어려워지면 미세조정과 소형 모델의 시대가 다시 올 것임

  • 결국 S자 곡선의 그 지점에 도달할 것으로 봄. 많은 회사의 방어력은 자체 프로세스와 데이터에서 나오며, 직접 호스팅하는 미세조정 모델은 갈수록 영업비밀로 간주될 수 있음
  • 미세조정 자체도 매우 어렵고, 좋은 결과를 내려면 많은 데이터가 필요함

• 모델을 언제 미세조정하고 언제 최첨단 모델을 쓸지 보여주는 2×2 격자가 마음에 듦
  다만 평가기가 각 에피소드의 점수를 어떻게 정했는지는 불분명함. 최첨단 모델이 채점했다면 미세조정 모델이 그 모델보다 작업을 잘하게 된 뒤에도 평가가 유효할지 궁금함

• 먼저 Kimi K3 같은 더 큰 오픈 모델에서 도메인 특화 작업 흐름의 전체 확률분포를 증류한 뒤, 결과에 자체 비공개 강화학습 파이프라인을 적용하면 도움이 됨. 우리는 GLM 5.2를 이용해 영어→SQL용 비공개 27B 모델을 만들었고 Fable보다 좋은 결과를 얻었지만 설명 능력은 사라졌음
  고도로 특화된 영역에서는 비용의 극히 일부로 최첨단 모델을 넘기 어렵지 않음. 자체 강화학습 파이프라인이 없어도 증류만으로 큰 비용을 절약할 수 있고, 27B 모델이 해당 작업에서는 3T 모델에 가까워질 수 있음
  다만 전문가 모델에 맞지 않을 만큼 야심 찬 작업에는 통하지 않을 가능성이 큼

• 최근 Apple의 3B Foundation Model을 매우 구체적인 작업에서 Sonnet 4.6 수준으로 끌어올리는 자동 연구에 빠져 있었음
  미세조정 어댑터와 결정론적 단계 하나를 조합해 90% 수준까지 맞췄음
  질문과 답, 96개 실험 및 계보를 포함한 전체 과정은 https://alexisrondeau.me/tada/research/FMDiscovery/dashboard...에 정리했음

  • 발상은 좋지만 읽기가 상당히 어려워 보임. 건너뛰지 않고 처음부터 끝까지 직접 읽어보면 좋겠음

• 병목은 모델 크기가 아니라 문제를 실제로 이해하는 사람이 보상 함수를 정의하는 데 있었음

  • 자동 연구를 주된 전략으로 쓰면서 같은 결론을 더욱 강하게 얻고 있음
    해법을 정의하는 훌륭한 프로그래밍 언어는 많은데, 문제를 명확히 정의하는 언어는 어디에 있는지 궁금함