리우데자네이루의 “자체 개발” LLM이 기존 모델의 병합으로 보임

 (github.com/nex-agi)
1P by GN⁺ | ★ favorite | 댓글 1개
  • GitHub 상태는 Open이며, a778c1ec4e21180ee55c3ea016a348e549e75f09 README 문구는 모델이 Nex-N2-Pro와 Qwen3.5-397B-A17B의 병합으로 만들어졌고 더 강한 모델의 On-Policy Distillation을 거쳤으며 이전 버전에 최종 distilled 모델 대신 base merged version이 잘못 업로드됐다고 기재
  • 핵심 문제 제기는 prefeitura-rio/Rio-3.5-Open-397B가 IplanRIO가 학습한 original 397B model로 제시됐지만, 가중치가 Nex와 Qwen의 약 0.6/0.4 직접 원소별 병합이고 자체 학습 증거가 없다는 것
  • 하드코딩된 “You are Rio” 시스템 프롬프트를 제거하고 rio-397b에 120개 정체성 질문을 보낸 결과, Nex 응답 79.2% (95/120), Nex-AGI 응답 73.3% (88/120), Rio 응답 0.0% (0/120)이었다는 측정 결과
  • 프롬프트 제거 상태의 응답 예시는 “I am Nex, from Nex-AGI”와 “Nex-AGI is a large-model ecosystem alliance” 및 “Shanghai Innovation Institute”를 포함했으며, 해당 문구가 Nex identity data의 조직 설명을 거의 그대로 재현했다는 사례
  • 가중치 분석은 (Rio − Qwen) = α × (Nex − Qwen) 관계를 텐서별로 측정했고, cos_fit이 독립 모델에서는 ≈ 0, 병합에서는 ≈ 1이라는 기준으로 collinearity를 비교한 방식
  • 측정값은 routed experts에서 α = 0.571 ± 0.0016, cos_fit = 0.993, lm_head에서 α = 0.574, cos_fit = 0.991, attention에서 α ≈ 0.585, cos_fit ≈ 0.986, linear-attention projections에서 α ≈ 0.586, cos_fit ≈ 0.984라는 수치
  • README 수정 공유 뒤 00INDEX는 해당 credit이 한 시간 전에 업데이트된 것을 말하는지 되물었고, yhcc는 다음 날 모델 업로드 여부를 보자는 반응
  • 공공자금 여부는 별도 쟁점으로 이어졌으며, 한 댓글은 “No public funds were used”라고 적힌 X 링크를 공유했고 다른 댓글은 시장 발언 X 링크를 제시했으며, 이후 인용 이미지에는 “no public money was spent on this model training” 문구가 포함됨

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 소속은 없지만, 벌어진 일은 이렇게 보임: 1) 공식 모델은 Qwen 397B 기반이라고 주장했고, Nex도 같은 기반 모델이라 Nex Pro를 아예 공개하지 않았을 가능성이 큼 2) 개선은 가중치 병합에 온정책 증류를 더해서 나왔을 텐데, 업로드된 모델에는 증류가 전혀 없어서 혼란이 생김
    3) 이 모델은 이틀 전 Reddit에 올린 것 외에는 홍보하지 않았고, 주말에 브라질의 월드컵 첫 경기와 겹쳐 자연스럽게 퍼졌음. Rio 시장이 무료 노출을 활용한 건 맞지만 연구진과 함께 한 일은 아니었음
    4) 단지 두 모델을 병합했을 뿐이라면 Qwen 397B를 기반으로 공개하고 SwiReasoning 논문까지 언급하면서 Nex만 숨길 이유가 없어 보임
    5) 어쨌든 올바른 모델을 업로드하면 이 주장은 쉽게 검증 가능함

    • 2번 관련해서는 https://news.ycombinator.com/item?id=48529544가 있음
    • Rio de Janeiro 자체 LLM이라는 제목을 HN에서 보게 될 줄은 정말 몰랐어서, 이 일이 벌어진 것 자체가 놀라움
    • 기반 모델을 다른 연구소의 미세조정 모델과 병합한 것이라면, 개선은 그 다른 모델의 미세조정된 가중치 일부에서 나왔을 수 있음
      정말로 더 성능 좋은 모델을 “실수로” 업로드하지 못한 거라면, 지금쯤은 올바른 파일을 올릴 수 있었을 것임
    • 월드컵 데뷔라는 게 무슨 뜻인지 모르겠음. 브라질은 이미 5번 우승하지 않았나?
    • 내가 이해하기로는 증류를 전혀 하지 않았고, 모든 가중치가 Qwen과 Nex의 60/40 원소별 평균임
      Rio 계약자가 주장처럼 자체 후훈련을 했다면 이게 가능한지 의문임: https://x.com/tenobrus/status/2066243352211996728/photo/1

  • “Rio의 모든 가중치 텐서는 수천 표준편차 수준으로 Nex와 Qwen의 0.6/0.4 혼합과 같고, 60개 층과 네트워크 모든 구성요소에 걸쳐 그렇다. 다른 미세조정은 보간으로 설명될 수 없다”는 부분을 보면, 요즘 딥러닝 모델의 견고함이 놀라움
    모든 가중치를 단순 선형 결합했는데 성능이 망가지지 않고 오히려 좋아졌다는 얘기임

    • 몇 개 벤치마크에서는 좋아졌다고 볼 수 있음
      결국 손잡이를 이리저리 돌리다가 벤치마크 한 번 개선된 결과가 나오면 출시하는 게임. HuggingFace에는 특정 테스트에서 더 좋다는 미세조정 모델과 키메라 모델이 많지만, 다른 용도로 쓰면 대개 더 나빠짐
      검열 제거용으로 수정된 모델에서도 이런 일이 자주 생김. 이전에 검열되던 출력을 내게 만드는 데는 성공하지만 전체 출력 품질은 떨어짐
    • 이게 가능한 건 Nex 자체가 Qwen3.5 미세조정판이기 때문임: https://huggingface.co/nex-agi/Nex-N2-Pro
      서로 다른 사전학습을 거친 두 LLM에는 이 방식이 통하지 않을 것 같음. 설령 가능하더라도 내부 활성화 형태, 차원, 전문가 수, 토큰 어휘가 정확히 같아야 해서 현실적으로는 미세조정이나 학술 실험 밖에서는 거의 일어나기 어려움
    • 이건 선형 모드 연결성이라고 부르며, 거의 모든 대형 모델에서 작동하는 것처럼 보임
      너무 잘 되어서 많은 경우 훈련 과정의 명시적인 일부가 됨. 여러 훈련 가지를 만들고 병합한 뒤 계속 훈련하는 식임
      왜 이렇게 잘 되는지는 아직 이해되지 않았음
    • 잘 알려진 아이디어이긴 함: https://arxiv.org/abs/2203.05482
      그래도 이렇게 단순한 방식이 작동한다는 건 여전히 놀라움
    • 저 가중치나 더 작은 모델에 적용하면 Fable 같은 것보다 훨씬 뛰어난 지능 시뮬레이션을 만들 수 있는 “비밀” 조정 집합이 있을지도 모른다는 발상이 흥미로움

  • Rio de Janeiro 시정부가 IT 회사 IplanRIO를 통해 Rio-3.5-Open-397B를 공개했고, 자체 개발한 Qwen3.5 미세조정 모델로서 비슷한 공개 모델들을 벤치마크에서 이긴다고 소개했음
    링크된 이슈는 실제로는 약 1주일 먼저 공개된 Nex-N2를 포함해 Nex-N2 Pro 약 60% + Qwen3.5-397B-A17B 약 40% 의 가중 병합이라고 봄

    • 이런 식의 모델 병합이 가능한지 몰랐음. 순수 소프트웨어 관점에서는 당연히 가능하지만, 효과가 있다는 점이 놀라움
    • 문제는 Qwen 출처 표기가 빠진 게 아니라 Nex-N2 Pro를 언급하지 않은 것인 거지?
    • Rio가 LLM에 시간을 쓰고 있다면, 세계 최고 수준의 IT 인프라와 소프트웨어를 이미 갖추고 있어야 함
      세금 낭비로 보임

  • 누군가가 제대로 출처를 밝히지 않고 남의 작업으로 이익을 얻고 있다니, 이런 일이!

    • 이건 다른 공개 가중치 모델들을 기반으로 한 공개 가중치 모델임
      논쟁의 핵심은 결과를 개선한 후훈련을 했다고 주장하며 공개했다는 데 있음. 실제로는 주장처럼 후훈련된 모델이 아니었다는 점이 밝혀졌음
      지금 HuggingFace 페이지에는 모델 병합이라고 적혀 있지만, 이전에는 없었음. 이들은 실수로 잘못된 모델을 HuggingFace에 올렸고 곧 진짜 모델을 올리겠다고 주장하려는 중임
      요약하면, 두 공개 가중치 모델을 이어붙이고 팀이 놀라운 후훈련 성과를 냈다고 주장할 수 있다고 생각했지만, 다른 연구자들이 후훈련이 없었다는 걸 알아낼 만큼 똑똑하다는 점은 생각하지 못한 셈임
    • 중요한 건 출처 표기가 아니라 연구소 역량을 거짓말하는 것임
    • 정부나 정부 계약자가 실제로는 아무것도 안 했으면서 많은 작업을 했다고 말하는 건 어떻게 보는지 궁금함
    • 이건 세금으로 벌인 순수한 사기임. 달리 뭘 기대하겠나 싶음
    • “그들의 작업”이라기엔, 먼저 원 콘텐츠 제작자들이 99.99%를 했고, 그다음 미국 회사들이 그걸 묶어 최첨단 LLM으로 만들었고, “그들”은 그 미국 모델을 기반으로 자기 모델을 만드는 “작업”을 한 것임
      실제 제품에 들어간 작업의 0.00001%를 했다는 의미라면 맞음
      Linux 배포판을 포크해서 테마와 폰트 몇 개를 추가한 뒤, 누군가가 그 배포판을 다시 포크해 또 다른 테마를 추가했다고 불평하는 것에 더 가까움

  • 병합 모델을 공개하지 않고 “자체 개발”로 리브랜딩하는 패턴은 우려스러움
    공개소스 AI 개발에 대한 신뢰를 해치므로, 모델 공개에는 더 나은 출처 추적과 투명성 기준이 필요함

  • 모델 병합이 어떻게 되는지 설명이나 자료 링크가 있으면 좋겠음
    실제로 가중치를 수학적으로 병합하는 것인지, 아니면 증류 같은 방식인지 궁금함. 글 내용처럼 훈련이 전혀 없었다면 증류는 아닐 듯함

    • 시작점으로는 이 문서가 좋음: https://huggingface.co/docs/peft/developer_guides/model_merg...
      일반적으로 병합은 서로 다른 모델의 가중치를 직접 수학적으로 섞는 기법을 뜻함. 약 2년 전에 큰 인기를 끌었고, 순위표에 이른바 Frankenmodel이 많이 등장했음
      개인적으로 병합은 “abliteration” 같은 것들과 같은 범주로 봄. 전통적인 훈련/튜닝 루프 없이 모델 가중치를 외과적으로 수정하는 기법들임. 이 분야에 관심이 있다면 Maxime Labonne을 팔로우할 만함
    • 읽을 것도 별로 없음
      Model A: A_1, …, A_n
      Model B: B_1, …, B_n
      C_i = A_i * p + B_i * (1 - p)
      즉, 위치별로 다른 모델들의 가중치를 선형 결합하는 것뿐임

  • 애초에 모델을 만들 시도까지 했다는 점이 놀라움
    그래도 시청 IT 부서가 이런 걸 시도할 배짱이 있었다는 건 긍정적인 신호일지도 모름

    • 병합과 미세조정은 돈을 좀 태울 수 있는 개인도 할 수 있는 수준이라, 지방정부도 충분히 가능함
    • 죽은 댓글의 가설처럼, 정부에 거대한 LLM 훈련 예산을 제안하고 돈 대부분을 챙긴 뒤, 횡령을 정당화하려고 싼 병합 모델을 공개했다는 쪽이 그럴듯함

  • “글쎄요, Steve(Jobs), 제 생각엔 우리 둘 다 Xerox라는 부자 이웃이 있었고, 제가 그 집에 들어가 TV를 훔치려 했더니 당신이 이미 훔쳐 간 걸 알게 된 상황에 더 가깝습니다.”
    — Bill Gates

    • 그 인용구의 앞부분이 더 웃김: “Bill Gates가 어쩐 일인지 혼자 나타났고, Apple 직원 10명에게 둘러싸였다. … Steve는 Bill에게 왜 계약을 어겼냐며 소리치기 시작했다.”
      결말은 더 흥미로움: “Apple은 1988년에 Microsoft를 상대로 대형 저작권 소송을 냈지만, 결국 기술적인 이유로 패소했다. 판사는 Apple이 1985년 11월에 Mac 사용자 인터페이스에 대한 영구 라이선스를 Microsoft에 부주의하게 부여했다고 판단했다.”
      Microsoft가 Apple의 GUI를 훔친 게 아니라, Apple이 넘겨준 셈임
    • 이게 진짜 인용문이면 좋겠음. 정말 강렬함
답변달기