Qwen2.5-Max: 대규모 MoE 모델의 지능 탐구

 (qwenlm.github.io)
1P by GN⁺ | ★ favorite | 댓글 2개
  • Qwen2.5-Max는 20조 개 이상 토큰으로 사전학습한 대규모 MoE 모델로, SFT와 RLHF 후학습을 거쳐 Alibaba Cloud API와 Qwen Chat에서 공개됨
  • 평가는 MMLU-Pro, LiveCodeBench, LiveBench, Arena-Hard를 포함하며, instruct 모델은 채팅·코딩 같은 실제 다운스트림 사용을 중심으로 비교됨
  • Qwen2.5-Max는 Arena-Hard, LiveBench, LiveCodeBench, GPQA-Diamond에서 DeepSeek V3를 앞섰고, MMLU-Pro 등에서도 경쟁력 있는 결과를 냄
  • base 모델 비교에서는 GPT-4o와 Claude-3.5-Sonnet에 직접 접근할 수 없어 DeepSeek V3, Llama-3.1-405B, Qwen2.5-72B가 비교 대상이 됨
  • API 모델명은 qwen-max-2025-01-25이며 OpenAI API 호환 방식이라 기존 OpenAI 클라이언트 기반 호출 흐름을 활용할 수 있음

모델 규모와 벤치마크 결과

  • Qwen2.5-Max는 데이터 크기와 모델 크기 확장이 모델 지능 향상으로 이어질 수 있다는 전제에서 개발된 대규모 MoE 모델임
  • 모델은 20조 개 이상 토큰으로 사전학습됐고, 이후 선별된 Supervised Fine-Tuning(SFT)과 Reinforcement Learning from Human Feedback(RLHF)으로 후학습됨
  • 성능 평가는 주요 지식·코딩·종합 능력 벤치마크를 함께 사용함
    • MMLU-Pro: 대학 수준 문제를 통한 지식 평가
    • LiveCodeBench: 코딩 능력 평가
    • LiveBench: 일반 능력 종합 평가
    • Arena-Hard: 인간 선호에 가까운 평가
  • instruct 모델은 Qwen2.5-Max, DeepSeek V3, GPT-4o, Claude-3.5-Sonnet을 함께 비교함
    • Qwen2.5-Max는 Arena-Hard, LiveBench, LiveCodeBench, GPQA-Diamond에서 DeepSeek V3를 앞섬
    • MMLU-Pro를 포함한 다른 평가에서도 경쟁력 있는 결과를 보임
  • base 모델 비교에서는 GPT-4o와 Claude-3.5-Sonnet 같은 독점 모델에 접근할 수 없어 오픈 웨이트 모델 중심으로 평가함
    • 비교 대상은 DeepSeek V3, Llama-3.1-405B, Qwen2.5-72B
    • Qwen2.5-Max base 모델은 대부분 벤치마크에서 유의미한 우위를 보임
  • 향후 버전은 후학습 기법 개선을 통해 더 높은 성능을 목표로 함

API 사용과 다음 과제

  • Qwen2.5-Max는 Qwen Chat에서 사용할 수 있으며, 직접 채팅하거나 artifacts, search 등을 사용할 수 있음
  • API는 Alibaba Cloud를 통해 제공됨
    • 모델명은 qwen-max-2025-01-25
    • Alibaba Cloud 계정을 등록하고 Model Studio 서비스를 활성화한 뒤 콘솔에서 API 키를 만들 수 있음
  • Qwen API는 OpenAI API 호환 형태라 OpenAI 클라이언트로 호출 가능함
from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("API_KEY"),
    base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1";,
)

completion = client.chat.completions.create(
    model="qwen-max-2025-01-25",
    messages=[
        {'role': 'system', 'content': 'You are a helpful assistant.'},
        {'role': 'user', 'content': 'Which number is larger, 9.11 or 9.8?'}
    ]
)

print(completion.choices[0].message)
  • 향후 작업은 확장된 강화학습을 적용해 대형 언어 모델의 사고와 추론 능력을 높이는 데 초점을 둠
  • Qwen2.5 관련 인용 정보는 Qwen2.5 technical report arXiv preprint arXiv:2412.15115임

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • DeepSeek V3가 최근 공개되면서 스케일링 과정의 핵심 세부사항이 얼마나 유용한지 보여줬다고 해놓고, 정작 자기들의 학습 정보는 공개하지 않는 셈임
    비공개 API이고 추가 정보도 없다면 “o1에 거의 근접”했다는 말에는 별 관심이 안 감

    • “o1에 거의 근접”도 아님. 비교 대상은 더 오래된 4o뿐임
      Qwen2.5-Max는 최근의 추론 모델들(o1, DeepSeek-R1, Gemini 2.0 Flash Thinking)보다 점수가 낮을 거라고 봐도 무방함
      추론용 강화학습을 적용하면 매우 강한 모델이 될 가능성은 있지만, 성공한 레시피들이 모두 비공개라 시간이 걸릴 수 있음. 그동안 다른 모델의 추론 체인을 바탕으로 지도 미세조정(SFT)을 할 수는 있겠지만, DeepSeek-R1 기술 보고서에서도 강화학습만큼 좋지는 않다고 했음

  • HN 첫 페이지에 DeepSeek 항목이 세 개 있는 줄 알았는데, 알고 보니 네 번째였음. Qwen 팀이 DeepSeek-V3보다 낫다는 비밀 버전 Qwen을 갖고 있다고 말하는 글이었기 때문임
    HN 첫 페이지의 20%가 같은 주제였던 때가 언제였는지 기억나지 않음. 물론 NVIDIA가 어제처럼 시가총액 5,690억 달러를 잃은 회사도 전례가 잘 떠오르지 않음

    • 4 ÷ 30이 20%가 아니라는 걸 놓쳤음. 실제로는 13%에 가까움. 멍청한 실수였음

  • HuggingFace 데모: https://huggingface.co/spaces/Qwen/Qwen2.5-Max-Demo
    출처: https://x.com/Alibaba_Qwen/status/1884263157574820053

  • 중국 회사가 춘절 전날에 이걸 발표했다는 게 꽤 놀라움. DeepSeek 발표가 확실히 불을 붙인 듯함
    지금 중국 기술 회사들에서 뭔가 진행되고 있다는 것 자체가 의외임

    • DeepSeek 엔지니어들은 필요한 용량에 한참 못 미쳐서 필사적으로 장애 대응 중일 것임. 경쟁사들은 이미 급히 출시했거나, 준비 중이던 걸 조용히 내놓기로 한 듯함. 다들 빡세게 일하는 분위기임
    • Gemini가 Chatbot Arena 순위표 1위에 오르자 OpenAI가 다음 날 모델을 내놓았던 때와 비슷함

  • 이건 Qwen의 새 최고 성능 모델로 보이고, 현재는 API 전용임. DeepSeek v3보다 낫다고 말하고 있음

  • 내 NYT Connections 벤치마크를 돌려봤더니 18.6점이 나왔고, Qwen 2.5 72B의 14.8점보다 올랐음. 다른 벤치마크도 나중에 돌려볼 예정임
    https://github.com/lechmazur/nyt-connections/

  • 클라우드에서 전문가 혼합(MoE) 은 좀 애매하게 느껴짐. 다만 데스크톱급 장비에서는 정말 빛날 수 있음
    메모리가 점점 빨라지고 있어서, 머지않아 비교적 큰 모델에서도 MoE가 고통스러울 만큼 느리지는 않게 될 수 있음

  • 가중치가 없으면 증거도 없음

    • OpenAI가 새 모델을 출시할 때도 똑같이 말할 건가?

  • 이건 추론 모델이 아님. 벤치마크에서 DeepSeek V3를 이겼다면, 추론 모델 버전은 o1 Pro도 이길 수 있을 것 같음

답변달기