Meta FAIR, 새 연구·모델·데이터셋 9종 공개

 (ai.meta.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Meta FAIR는 고급 기계 지능 연구를 위해 에이전트, 견고성·안전성, 모델 아키텍처를 다루는 9개 산출물을 코드·모델·데이터셋·데모 형태로 공개함
  • 핵심 공개 항목은 가상 휴머노이드 제어용 Meta Motivo, 영상 워터마킹용 Meta Video Seal, Flow Matching 코드베이스, Explore Theory-of-Mind, Large Concept Model 등임
  • Meta Motivo는 라벨 없는 모션 데이터와 새 알고리듬으로 상태·모션·보상을 같은 잠재 공간에 배치해 추가 학습이나 계획 없이 전신 제어 작업을 수행함
  • Meta Video Seal은 보이지 않는 워터마크와 선택적 숨김 메시지를 영상에 삽입하고, 블러·크롭·온라인 공유 압축 같은 일반 편집에도 견디도록 설계됨
  • 연구자는 공개된 산출물을 내려받아 실험·통합·확장할 수 있으며, Meta는 재현 가능한 공개 과학과 개방형 생태계를 강조함

Meta FAIR 공개 범위

  • Meta FAIR는 최신 연구, 코드, 모델, 데이터셋을 연구 커뮤니티에 공개함
  • 이번 공개는 세 축에 집중함
    • 더 유능한 에이전트 구축
    • 견고성 및 안전성
    • 모델이 새 정보를 더 효과적으로 학습하고 현재 한계를 넘어 확장할 수 있게 하는 아키텍처 혁신
  • 총 9개 프로젝트와 산출물을 바로 다운로드하고 사용할 수 있음
  • 초기 연구 공개를 통해 반복 연구를 촉진하고 AI 발전을 책임 있게 진전시키려는 방향임

Meta Motivo: 가상 휴머노이드 행동 제어 기반 모델

  • Meta Motivo는 가상 체화형 휴머노이드 에이전트의 움직임을 제어해 복잡한 작업을 수행하는 행동 기반 모델임
  • 기존 비지도 강화학습은 정제된 상호작용 데이터셋이 필요하거나, 목표 작업과 잘 맞지 않는 정책을 만들 수 있는 비지도 손실에 의존하는 경우가 많음
  • Meta Motivo는 라벨 없는 모션 데이터셋을 활용하는 새 알고리듬으로 학습됨
    • 상태, 모션, 보상을 같은 잠재 공간에 임베딩하는 표현을 학습함
    • 추가 학습이나 계획 없이 모션 추적, 목표 자세 도달, 보상 최적화 같은 전신 제어 작업을 해결함
  • 성능은 작업별 방법과 경쟁 가능하며, 최신 비지도 강화학습 및 모델 기반 베이스라인보다 우수함
  • 학습되지 않은 중력, 바람, 직접적인 교란 같은 환경 변화에도 높은 견고성을 보임
  • 이 연구는 Metaverse의 완전한 체화형 에이전트, 더 생동감 있는 NPC, 캐릭터 애니메이션 민주화, 새로운 몰입형 경험으로 이어질 수 있음
  • 논문 읽기
  • 데모 사용해보기
  • 코드와 모델 다운로드

Meta Video Seal: 오픈소스 영상 워터마킹

  • Meta Video Seal은 신경망 기반 영상 워터마킹을 위한 최신 프레임워크임
  • 영상에 눈에 보이지 않는 워터마크를 삽입하고, 선택적으로 숨김 메시지도 포함할 수 있음
  • 삽입된 워터마크는 나중에 추출해 영상의 출처 확인에 활용됨
  • 일반적인 영상 편집과 공유 과정에 대한 내성을 갖도록 설계됨
    • 블러
    • 크롭
    • 온라인 콘텐츠 공유에 흔히 쓰이는 압축 알고리듬
  • Video Seal 모델은 허용적 라이선스로 공개되며, 논문·학습 코드·추론 코드·데모도 함께 제공됨
  • 관련 워터마킹 산출물도 함께 공개됨
    • Meta Omni Seal Bench: 여러 모달리티의 신경망 워터마킹을 다루는 리더보드
    • Meta Watermark Anything: 허용적 라이선스로 재공개
    • 2025년 ICLR 워터마킹 워크숍
  • Watermark Anything, Video Seal, Audio Seal은 다운로드와 통합이 가능한 상태로 제공됨
  • 논문 읽기
  • 데모 사용해보기
  • Video Seal 코드와 모델 다운로드
  • Watermark Anything 코드와 모델 다운로드
  • Omni Seal Bench 리더보드 보기

Flow Matching 가이드와 코드베이스

  • Flow Matching은 이미지, 영상, 오디오, 음악, 단백질 같은 3D 구조 등 여러 모달리티에서 쓰이는 생성 패러다임임
  • Meta 내부에서는 기존 확산 방식을 여러 생성 애플리케이션에서 대체함
  • 업계에서는 Stable-Diffusion-3, Flux, Fold-Flow, Physical Intelligence Pi_0 같은 사례가 있음
  • Flow Matching은 단순하지만 유연한 생성 AI 프레임워크로, 성능과 효율을 개선하고 복잡한 데이터로의 일반화를 쉽게 함
  • 공개 항목에는 논문, 연속 및 이산 Flow Matching 핵심 구현, 최신 학습 스크립트가 포함됨
  • 논문 읽기
  • 코드 다운로드

Explore Theory-of-Mind: 마음 이론 추론 데이터 생성

  • Meta Explore Theory-of-Mind는 마음 이론 추론을 위한 프로그램 가이드 적대적 데이터 생성 프레임워크임
  • 기존 Theory-of-Mind 데이터셋은 평가에만 초점을 맞추고 좁은 범위의 상호작용만 다루는 한계가 있음
  • 이 프레임워크는 학습과 평가 모두에 사용할 수 있는 다양하고 어렵고 확장 가능한 ToM 추론 데이터를 생성함
  • 대규모 언어 모델의 한계를 시험하는 견고하고 신뢰 가능한 스토리를 만들 수 있음
  • Llama-3.1 7B를 파인튜닝했을 때 흔히 쓰이는 ToMi 벤치마크에서 정확도 27포인트 향상을 달성함
  • 활용 범위는 LLM 개선용 데이터셋 생성, 목표 지향 시나리오 강화, 상호작용 데이터셋 수집, LLM 성능 평가 벤치마크를 포함함
  • 논문 읽기
  • 코드 다운로드
  • 데이터셋 다운로드

Large Concept Model: 토큰 대신 개념을 예측

  • Large Concept Model(LCM) 은 언어 모델링을 위한 다른 학습 패러다임임
  • 현재 주류 언어 모델은 보통 토큰 수준에서 동작하며, 계층적 방식으로 명시적으로 추론하지 않음
  • LCM의 핵심은 추론과 언어 표현을 분리하는 데 있음
    • 사람이 발표할 때 같은 아이디어 순서를 유지하면서도 매번 단어 선택은 달라질 수 있다는 방식에서 영감을 받음
  • LCM은 다음 토큰이 아니라 다음 개념 또는 고수준 아이디어를 예측하도록 학습됨
  • 개념은 멀티모달·다국어 임베딩 공간의 문장 전체로 표현됨
  • 요약 같은 순수 생성 작업에서 최근 LLM보다 우수하거나 비슷한 성능을 보이고, 보지 못한 언어에 대해서도 강한 제로샷 일반화를 제공함
  • 입력 문맥이 길어질수록 계산 효율도 더 높음
  • 논문 읽기
  • 코드 다운로드

Dynamic Byte Latent Transformer: 토크나이저 없는 바이트 수준 모델

  • Dynamic Byte Latent Transformer는 동적 패칭 방식을 쓰는 계층적 바이트 수준 모델임
  • 기존 언어 모델은 휴리스틱 전처리 단계에서 텍스트를 토큰화하며, 이는 엔드투엔드 학습을 제한하고 실전 최적화를 어렵게 하며 희귀 텍스트 시퀀스 성능을 해칠 수 있음
  • 이 모델은 토큰화 휴리스틱 없이 바이트 위에서 동작함
  • 학습과 추론에서 긴 시퀀스 처리 효율도 개선함
  • 토크나이저 기반 모델보다 견고성에서 평균 7포인트 우위를 보임
  • 보지 못한 기호의 롱테일·희귀 시퀀스 처리에 강점이 있음
  • 이 접근은 저자원 언어, 코딩, 사실성 같은 영역의 추론 발전에 도움이 될 수 있음
  • 논문 읽기
  • 코드 다운로드

Meta Memory Layers: 사실 정보를 위한 희소 메모리 확장

  • Meta Memory Layers at Scale은 메모리 레이어 확장으로 일반적인 사실성 벤치마크에서 사실성을 높이는 방법임
  • 파라메트릭 메모리는 사전학습 중 신경망 가중치에 저장되는 사실 정보 저장소이며, LLM이 복잡한 개념과 언어적 뉘앙스를 이해하는 데 기여함
  • 기존 스케일링 방식이 효율적 확장의 한계에 가까워지면서 정보를 더 효과적으로 학습하는 새 아키텍처가 필요해짐
  • Memory Layers는 학습 가능한 키-값 조회 메커니즘으로 FLOPs 증가 없이 추가 파라미터를 모델에 더함
  • 희소 활성화 메모리 레이어는 계산량이 큰 밀집 피드포워드 레이어를 보완하고, 정보를 저렴하게 저장·검색하는 전용 용량을 제공함
  • 개선된 메모리 레이어를 붙인 언어 모델은 다운스트림 작업에서 다음 모델보다 우수함
    • 계산 예산이 2배 넘는 밀집 모델
    • 계산량과 파라미터를 맞춘 MoE 모델
  • 희소 메모리 아키텍처가 경쟁적으로 확장되기 어렵다는 통념과 달리, 128B 파라미터와 8B 기반 모델까지 효율적으로 확장했으며 일반적인 사실성 벤치마크에서 비슷한 계산량 대비 개선을 보임
  • 논문 읽기
  • 코드 다운로드

Image Diversity Modeling과 EvalGIM

  • FAIR는 이미지 생성 모델의 안전한 개발을 이해하고 새 방법을 만들기 위한 연구를 진행함
  • 연구 과정에서 개발한 이미지 생성 모델은 생성 모델 아키텍처와 손실 함수에 대한 선행 연구를 기반으로 함
  • 이 모델은 최신 모델과 경쟁 가능한 이미지 품질을 유지하면서 물리 세계를 대표하는 이미지 생성을 우선함
  • 외부 전문가는 이미지 다양성 모델링 전반의 안전성과 책임성을 개선할 수 있는 영역을 연구하는 데 모델을 사용할 수 있음
  • 텍스트-이미지 생성 모델을 위한 종합 평가 도구상자도 오픈소스로 공개될 예정임
    • 이미지 생성 벤치마킹의 용이성과 재현성을 높임
    • 책임 있는 텍스트-이미지 연구에 도움이 되는 해석 가능한 결과를 촉진함
  • 논문 읽기
  • 코드 다운로드

Meta CLIP 1.2: 비전-언어 인코더와 데이터 큐레이션

  • Meta CLIP 1.2는 고성능 비전-언어 인코더 개발을 위한 릴리스임
  • Meta는 대규모 이미지-텍스트 데이터를 효과적으로 큐레이션하고 정렬하는 알고리듬을 개발해 모델이 세계에 대한 인간 지식을 학습하도록 함
  • 대규모·고품질·다양한 데이터셋은 세계에 대해 학습하는 기반 모델 구축에 필수적임
  • Meta CLIP은 이런 데이터셋과 기반 모델을 구축하기 위한 Meta의 작업임
  • 고품질·안전한 비전-언어 인코더 기반 모델을 위해 데이터 큐레이션과 정렬 알고리듬을 개발하고, 무결성 및 개인정보 보호 조치를 적용함
  • 공개 항목은 연구자와 개발자가 비전-언어 이해를 발전시키는 데 사용할 수 있음
    • 데이터 알고리듬
    • 학습 레시피
    • 큐레이션 데이터셋으로 학습한 기반 모델
  • 활용 예시는 MLLM용 비전 인코딩, 검색용 멀티모달 임베딩, 제로샷 분류, 데이터 품질 연구의 출발점임
  • 알고리듬과 학습 방법은 고품질 대규모 CLIP 유사 데이터셋을 처음부터 만드는 데도 사용할 수 있음
  • 논문 읽기
  • 데이터셋 다운로드
  • 코드 다운로드
  • 모델 다운로드

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 여기엔 흥미로운 내용이 정말 많고, 특히 LLM 관련 아이디어들이 눈에 띔
    토큰이 아니라 개념을 다루고 예측하는 대형 개념 모델, 표준 토큰화의 바이트 단위 대안인 동적 바이트 잠재 트랜스포머, 계산 요구량 증가 없이 키-값 메모리 계층을 확장한 희소 메모리 계층 등이 각각 품질이나 효율을 개선하는 별도 방법으로 소개되어 있음
    이 방법들을 모두 합치면 품질과 효율이 얼마나 올라갈지 궁금하고, 어쩌면 그게 Llama 4일 수도 있겠다는 생각이 듦

    • Llama 4나 5는 다른 구조였으면 좋겠음
      지금까지 공개된 Llama들은 추론 구조는 거의 비슷하고 학습 파이프라인만 더 좋아진 형태였음
      단점은 llamacpp가 새 모델을 못 돌릴 가능성이 있고, 큰 재작성까지 필요해져서 새로운 C, C++, Go, Rust 프로그램들이 필요할 수도 있다는 점임
    • 이런 콘텐츠를 더 잘 보여주는 방법이 있을지 궁금함
      비슷한 문서나 데모를 만들고 있는데, 문서 페이지라면 각 섹션을 제목, 내용, 코드 링크, 논문 링크로 균일하게 구성할 수 있음
      하지만 이 페이지 자체는 블로그 글이라 내년에 다시 찾기 어려울 것 같음
      회사들이 기술 요약을 잘 정리해 두고, 홈페이지에서도 계속 찾을 수 있게 만든 다른 예시가 있을까?
    • Meta가 결국 가장 큰 개방형 AI 조직이 된 게 좀 아이러니함
      물론 “오픈소스”는 아니지만, 사용할 수 있게 열어두고 연구도 공개적으로 발표하고 있음

  • 정말 멋짐
    첫 번째 데모를 만져보는 게 아주 재미있고, 모델이 문워크를 하게 만드는 사람이 이기는 게임 같음
    내 최고 시도는 아마 (body_speed_forward < -0.3) * (head_height > 1.0) * (stay_still > 0.2) * (body_speed_vertical < 0.1) * (stay_upright > 0.9) 정도였음
    https://i.imgur.com/O5hGMo5.gif
    그리고 “Meta Explore Theory of Mind”는 더 흥미로움
    한 달쯤 전에도 “믿음” 같은 개념과 그에 맞춰 세계 모델을 갱신하는 얘기를 나눴던 스레드가 있었음
    https://news.ycombinator.com/item?id=42035985

  • 동적 바이트 잠재 트랜스포머가 잘됐으면 좋겠음
    토크나이저는 이제 사라졌으면 함
    계층 구조인데 계층이 두 단계뿐이라는 점도 흥미롭고, 더 많은 계층을 쌓는 건 후속 연구로 자연스러운 방향처럼 보임

    • 저자임 :)
      좋은 연구 방향이라고 생각함
      다만 한 번에 하기엔 좀 많기도 하고, 계층 전체에 FLOP 예산을 어떻게 배분할지도 조심해야 함
      두 단계라면 한쪽은 바이트/로컬 인코더로 FLOP 효율적으로 만들고, 다른 한쪽은 패치/전역 인코더로 FLOP를 많이 쓰게 할 수 있음
      패치를 더 큰 단위로 묶는 방법도 찾아야 하지만, 여기서 이어질 방향은 많음

  • Meta가 이 일을 하는 사업적 배경을 생각해 보면, 현금이 700억 달러나 있으니 AI 전문가들에게 수억 달러를 주는 건 푼돈처럼 보임

    • AI 연구 세계에서 근본적인 변화가 생긴다고 상상해 보면 됨
      AI가 갑자기 프로그래머 생산성을 크게 높이거나, 취약점 탐지를 아주 잘하게 되거나, AI 채팅이 새로운 대형 엔터테인먼트가 되거나, AI 이미지가 Instagram에서 널리 공유되는 콘텐츠가 될 수 있음
      이런 일 중 하나라도 벌어졌을 때 Facebook이 내부 개발자나 도구, 앱 내 임베딩을 위해 최첨단 모델에 접근해 맞춤화하고 싶어질 수 있음
      그런데 그 접근 방법이 OpenAI 같은 모델 판매자와 7~9자리 규모 계약을 맺는 것뿐이라면 끔찍할 것임
      더 나쁘게는 광고 분야의 주요 경쟁사가 광고주들이 여러 형식에 맞춰 크리에이티브를 조정하도록 강력한 AI 도구를 제공하기 시작할 수도 있음
      그러면 Facebook은 크게 뒤처지고, OpenAI 같은 회사에 수백만 달러를 내면서도 분기마다 수십억 달러짜리 광고 점유율을 잃을 수 있음
      이 최악의 시나리오가 오면 Facebook은 어리석어 보일 테고, 이 중 하나라도 가능성이 있다면 투자는 말이 됨
      오픈소스나 Meta를 일하기 멋진 곳으로 만드는 효과는 추가 전략 보너스임
    • “보완재를 범용화하라”는 식으로 보면 좋을 듯함
      OpenAI가 크게 성공해서 유일한 선택지가 되면, 그 서비스를 쓰는 모두에게 막대한 독점 지대를 요구할 수 있음
      그래서 다른 회사들이나 AI를 쓰고 싶은 누구에게나, AI 생태계에 경쟁자가 많아져 가격이 낮게 유지되는 편이 이익임
    • 최고 연구자들을 충분히 확보하려면 논문 공개를 허용할 수밖에 없음
    • 그 AI 전문가들이 애초에 Meta가 700억 달러를 벌어들이는 데 핵심 역할을 했음
    • 지금까지 답한 사람들은 다 순진하게 틀렸다고 봄
      Facebook은 여러 앱에서 광고 공간을 팔고, 그 광고 공간이 가치 있으려면 사람들이 앱에 있어야 함
      사람들이 앱에 있으려면 끌어들일 콘텐츠가 필요함
      그러니 간단함: 개인이든 회사든 누구든 저렴하게 대량 콘텐츠를 만들고 그걸 앱에 공유하게 만들면 됨

  • 최근 AI Engineer London 밋업에서 전 Meta 출신 Ross Taylor의 발표를 들을 기회가 있었음
    전체 발표 영상도 올라와 있음
    https://www.youtube.com/watch?v=S5l5OvJ01ws
    Meta가 추론과 마음 이론 쪽에서 얼마나 많은 일을 해왔는지 놓치고 있었음

    • 좋은 영상임
      o1을 맥락 안에 놓고 볼 수 있게 해줌
      OpenAI, Google, Meta의 공개 속도가 이렇게 빠르니 다음은 Anthropic 차례일 듯함

  • 텍스트를 정리해야 할 때마다, 왜 그냥 바이트 단위 잡음 제거 오토인코더를 학습시켜 대신 처리하게 하지 않았는지 생각하게 됨

    • 재미있는 아이디어임
      비전에서는 전역과 지역 맥락을 효율적으로 잡아내니, 텍스트 데이터에도 U-Net이나 hourglass net을 실험해 보면 어떨지 늘 궁금했지만 직접 해보진 않았음

  • AI 영상에 자발적으로 워터마크를 넣는 게 AI를 더 안전하게 만드는 데 어떻게 도움이 되는지 누가 설명해줄 수 있을까?

    • AI 영상 생성 서비스를 제공하는 쪽이 자기들이 만든 모든 영상에 워터마크를 넣을 수 있게 해줌
      그래서 의도는 자발적이 아니라 서비스 단에서 적용하는 것임
      결국 현재 Big Tech 규칙을 따르지 않는 서비스들만 남게 될 수 있음
      예를 들어 Grok/X.ai가 품질은 떨어졌지만, Trump 지지 이미지를 만들려고 사람들이 Grok/X.ai를 썼던 것처럼 됨
      https://arstechnica.com/information-technology/2024/08/musks...
    • 지금 시점에서 모델 학습 비용이 얼마나 들까?
      앞으로 몇 년 안에 주요 국가나 대부분의 올리가르히가 감당할 수 있는 수준이 될 것 같고, 이미 그럴 수도 있음
      그래서 모두가 워터마킹을 자발적인 것으로 이해하는 편이 가장 현실적일 듯함
      지금은 이미지와 영상이 어떤 특정한 사실의 증거로서 그 비트값만큼의 가치도 없다고 봄

  • 말도 안 되게 흥미로운 내용들임
    다들 이것들이 얼마나 신나는지, 특히 LCM과 토큰화하지 않는 토크나이저를 얘기하고 있지만, 누가 지켜본 사람이 있다면 묻고 싶음
    왜 “advanced machine intelligence”라는 용어를 쓰는 걸까?
    처음 든 생각은 종말론자들을 달래거나 주의를 돌리려는 건가였지만, 그냥 내가 자의식 과잉일 수도 있음

    • 이 용어는 Yann LeCun의 2022년 논문에서 나온 것임
      AMI는 AGI와 구분되는 용어였음
      다만 지난 몇 년 동안 A가 맥락에 따라 autonomous, advanced, augmented로 바뀌어 왔음
      [1] https://openreview.net/pdf?id=BZ5a1r-kVsf
    • LeCun은 AGI라는 용어를 좋아하지 않는 것 같음
    • 언젠가 이것들이 Minds라고 불리게 될 때를 기다리고 있음 :)
    • 최근 시장 조사에서 일반 대중이 “AI”라고 붙은 건 대체로 사기 같고 신뢰하기 어렵다고 본다는 결과가 나와서 그에 대응한 것 같음

  • Meta는 확실히 이미지가 나아졌고, AI가 해자 없는 기술이 되도록 돕고 있음

    • Meta가 IaaS나 PaaS를 팔지는 않지만, AI가 Google과 OpenAI뿐 아니라 더 많은 플레이어의 손에 들어가면 Meta의 적합도는 올라감
      AI를 범용화하면 다양한 사업들이 생기고, 그 사업들은 Meta 플랫폼을 통해 고객에게 도달하게 됨
    • LLM으로 아무리 좋은 일을 해도, 여전히 Facebook으로 사회를 망치고 있음
    • 원죄를 계속 저지르고 있다면 구원이 아님

  • 새로운 구조를 10개쯤 한꺼번에 배우는 느낌임

답변달기