Qwen VLo - 세상을 '이해'하는 것에서 '묘사'하는 것으로

 (qwenlm.github.io)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Qwen VLo는 QwenVL·Qwen2.5 VL의 이미지 이해 능력을 이미지 생성으로 확장한 프리뷰 모델로, Qwen Chat에서 바로 써볼 수 있음
  • 이미지를 한 번에 완성하지 않고 왼쪽에서 오른쪽, 위에서 아래로 구성하는 점진적 생성으로 결과의 일관성과 조화를 높임
  • 원본 이미지의 의미와 구조를 유지하면서 색상·스타일·객체를 바꾸는 이미지 재창작에 초점을 맞춤
  • 자연어 지시만으로 배경 교체, 객체 추가·삭제, 스타일 변환, 텍스트 편집, 포스터 제작, 깊이맵·분할맵·검출맵·엣지 정보 생성까지 처리할 수 있음
  • 아직 프리뷰 단계라 부정확성, 원본과의 불일치, 지시 미준수 가능성이 있으며 다중 이미지 입력과 극단적 비율 생성 일부 기능은 공식 출시 전임

Qwen VLo의 역할과 접근 방법

  • Qwen VLo는 멀티모달 이해와 생성을 통합해, 이미지를 이해하는 데서 나아가 그 이해를 바탕으로 이미지를 다시 만드는 모델임
  • 현재 버전은 프리뷰이며 Qwen Chat에서 사용할 수 있음
  • 텍스트만으로 이미지를 만들거나, 이미지를 올린 뒤 자연어로 수정할 수 있음
    • “Generate a picture of a cute cat”처럼 텍스트 프롬프트로 이미지 생성 가능
    • 고양이 이미지를 업로드한 뒤 “Add a cap on the cat’s head”처럼 지시해 이미지 수정 가능

왼쪽에서 오른쪽으로 만드는 점진적 생성

  • Qwen VLo는 이미지를 순차적으로 구성하는 점진적 생성 방식을 사용함
  • 생성 중 예측을 계속 정제하고 최적화해 최종 이미지의 일관성과 조화를 높이도록 설계됨
  • 이 메커니즘은 시각 품질을 높이고, 사용자가 더 유연하게 결과를 제어하는 창작 경험을 제공함
  • 동적 해상도 생성과 결합해 긴 텍스트가 들어간 광고나 만화 패널처럼 세밀한 제어가 필요한 작업에 적합함
    • 생성 과정을 점진적으로 확인하며 실시간 조정 가능

이해에서 생성으로 확장된 기능

  • 원본 구조를 유지하는 재창작

    • 기존 멀티모달 모델은 생성 과정에서 의미가 어긋나거나, 자동차를 다른 객체로 오해하거나, 원본의 핵심 구조를 유지하지 못할 수 있음
    • Qwen VLo는 세부 포착 능력을 강화해 생성 중 높은 수준의 의미 일관성을 유지하는 것을 목표로 함
    • 자동차 사진에 “색상 변경”을 요청하면 차량 모델을 식별하고 원래 구조를 유지하면서 색상 스타일을 바꿀 수 있음

  • 자연어 기반 이미지 편집

    • “이 그림을 Van Gogh 스타일로 바꿔줘”, “19세기 사진처럼 만들어줘”, “맑은 하늘을 추가해줘” 같은 지시를 처리할 수 있음
    • 예술 스타일 변환, 장면 재구성, 세부 보정 같은 작업을 지원함
    • 깊이맵, 분할맵, 검출맵, 엣지 정보 예측 같은 전통적인 시각 인식 작업도 편집 지시로 수행 가능
    • 객체 수정, 텍스트 편집, 배경 변경 같은 복합 지시를 하나의 명령 안에서 처리할 수 있음

  • 다국어 지시 지원

    • 중국어와 영어를 포함한 여러 언어를 지원함
    • 사용자는 언어와 관계없이 요구사항을 설명하고 결과물을 받을 수 있음

데모에서 확인할 수 있는 작업 유형

  • 이미지 생성과 연속 편집

    • 귀여운 Shiba Inu를 생성한 뒤 배경을 초원으로 바꾸고, 빨간 모자와 검은 투명 선글라스를 추가하며, 모자에 “QwenVLo” 텍스트를 넣는 흐름을 보여줌
    • 같은 이미지를 Ghibli 스타일, 3D Q-version 스타일로 바꾸거나 수정한 객체를 이어지는 편집 맥락에서 계속 활용함
    • 펜을 파란 마스크로 검출하거나, 강아지 가장자리를 분홍 마스크로 분할하는 작업도 포함됨

  • 스타일 변환과 재해석

    • 만화를 실제 사진으로 바꾸고, 배경을 Eiffel Tower로 교체하거나, 인물을 풍선처럼 공중에 뜨게 만들 수 있음
    • 커플 사진을 미니멀 플랫 일러스트 스티커나 3D 렌더링 수집 피규어로 변환하고, “Happy Wedding” 텍스트를 추가하는 작업도 포함됨
    • Ghibli, One Piece, Dragon Ball, SpongeBob, Minecraft, 픽셀 아트 스타일 전환을 다룸
    • 고양이를 Pixar 3D 스타일로 바꾸거나, Miami 야경 스카이라인을 젤리 질감의 특수 소재 모델링 스타일로 변환하는 예시도 있음

  • 복잡한 프롬프트 처리

    • 지하철에서 검은 모자를 쓴 남성, 빨간 선글라스를 쓴 여성, Husky, 창밖의 Statue of Liberty, “Qwen VLo” 역 표지판을 함께 포함한 사진을 생성할 수 있음
    • 다이어그램을 노트에 그리는 1인칭 시점 장면, Isaac Newton이 프리즘으로 실험을 시연하는 장면처럼 이전 결과를 이어받는 지시도 처리함
    • 검은 고양이를 주인공으로 동물 무리, 외계인, 비행접시가 대치하는 광각 대형 사진을 만드는 포스터형 프롬프트도 포함됨

포스터와 텍스트 이미지 생성

  • Qwen VLo는 텍스트와 이미지 입력을 함께 쓰는 작업뿐 아니라 텍스트-이미지 생성도 지원함
  • 일반 이미지 외에 중국어·영어가 포함된 양방향 포스터를 만들 수 있음
    • “Qwen VLo!”라는 텍스트가 에너지로 만들어진 밤의 마법사 애니메이션 아트
    • 선글라스와 귀마개를 쓴 오렌지 고양이 셀피 장면
    • “2025”, “A New Beginning”, “新的开始”, “长安”, “Father’s Day” 같은 텍스트가 포함된 포스터형 이미지
  • 광고 포스터에서는 커피 캔, 핸드드립 주전자, 커피 색상 팔레트, “一杯咖啡，唤醒你的清晨” 같은 제목 배치를 다룸
  • 다른 포스터 예시는 조명 제품을 중앙 시각 요소로 두고, 어두운 파란 배경과 따뜻한 주황빛 후광, “Illuminating not just the desk, but an attitude.” 텍스트를 배치함

지각·위치 인식까지 포함한 생성

  • Qwen VLo는 생성과 편집 외에도 기존 이미지 위에 주석을 추가할 수 있음
  • 예시 작업은 다음을 포함함
    • 과일이 가득한 테이블을 생성한 뒤 엣지 검출 맵 예측
    • 이미지 속 바나나 가장자리를 빨간 마스크로 분할
    • 어지러운 책상 이미지에서 휴대폰을 빨간 박스로 표시
    • 표시된 휴대폰을 지우고 책상 위에 커피 추가
    • 최종 이미지를 엣지 검출 이미지로 변환
  • 통합 이해·생성 모델이기 때문에 생성한 이미지도 다시 분석할 수 있음
    • 강아지와 고양이를 생성한 뒤 품종을 묻는 예시에서, 강아지는 Beagle 또는 Beagle mix, 고양이는 Tabby cat으로 식별함

해상도, 화면비, 다중 이미지 입력

  • Qwen VLo는 동적 해상도 학습을 사용해 동적 해상도 생성을 지원함
  • 입력과 출력 모두 임의 해상도와 화면비의 이미지를 허용함
  • 고정 포맷에 묶이지 않고 포스터, 일러스트, 웹 배너, 소셜 미디어 커버 같은 시나리오에 맞춘 이미지를 만들 수 있음
  • 4:1 또는 1:3 같은 길쭉한 포맷도 다룰 수 있음
    • 다만 극단적 화면비 이미지 생성 기능은 아직 공식 출시 전임
  • 여러 입력 이미지를 이해하고 생성하는 기능도 포함됨
    • 세면용품 이미지를 빨간 바구니 이미지 안에 넣는 작업이 예시로 쓰임
    • 다중 이미지 입력 기능은 아직 공식 출시 전임

프리뷰 단계의 한계와 다음 방향

  • Qwen VLo는 아직 프리뷰 단계라 여러 한계가 남아 있음
    • 생성 과정에서 부정확성이 나타날 수 있음
    • 원본 이미지와 일치하지 않는 결과가 나올 수 있음
    • 지시를 따르지 못할 수 있음
    • 생성 이미지의 의도를 인식하고 이해하는 안정성이 부족할 수 있음
  • 향후에는 안정성과 견고성을 계속 개선할 계획임
  • 멀티모달 대형 모델이 텍스트와 시각 입력·출력을 양방향으로 다루면서, 답변을 텍스트뿐 아니라 이미지로도 전달할 수 있음
  • 다이어그램 생성, 보조선 추가, 핵심 영역 주석은 더 다양한 커뮤니케이션 도구로 활용될 수 있음
  • 분할맵이나 검출맵 같은 중간 결과를 생성해 모델이 자신의 이해를 확인하고 성능을 개선하는 방향도 계속 탐색할 계획임

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 가중치 공개가 없어서 아쉬움. Qwen의 강점은 역사적으로 공개 가중치 전략이었고, 4o의 자기회귀 이미지 생성과 경쟁할 진짜 공개 가중치 모델이 나왔으면 좋았을 것임
    가중치에 접근할 수 있어야 가능한 흥미로운 연구 방향이 많음. 개발비 회수가 걱정이라면 BFL의 Flux Kontext Dev 출시처럼 연구자와 개인에게는 무료로 가중치를 주고, 스타트업에는 합리적인 가격의 상업 라이선스를 받는 방식을 참고할 만함

    • 이미지의 주황빛 색조를 보면 OAI 출력으로 학습한 게 꽤 분명해 보임. 자체 데이터를 만들려는 시도는 했는지 의문임
      결국 OAI로 학습했고, OAI만큼 닫혀 있으며, 더 중요하게는 OAI보다 나쁨. 이런 걸 API 뒤에 가둬두는 전략은 이상함

      https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...

      https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...

      https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VLo/cas...

    • 어떤 이유에서인지 중국의 공개 가중치 시대는 끝난 것처럼 보임. 갑작스럽고 조율된 움직임 같음
      Alibaba는 Qwen 공개를 멈췄고, Tencent는 Hunyuan 공개를 멈췄으며, Bytedance의 Seedream은 비공개로 나왔음. 그래도 여전히 서구 모델 출력으로 학습하는 건 분명해 보임. 전략적으로는 100% 공개로 가고 인프라/서비스를 파는 편이 맞다고 봄

    • 공개 가중치를 하자는 말이라면 사람들이 자유롭게 쓸 수 있어야 하는 것 아닌가 싶음
      제안한 방식은 “공개 가중치”라기보다 시험판 가중치, 셰어웨어 가중치, 학술용 가중치에 가까움. 공개 소스 소프트웨어처럼 무엇에든 쓸 수 있다는 뜻이 빠지면 “공개”라는 표현이 잘못된 인상을 줌

    • 이미지 생성 요금만으로 수천만 달러 규모의 투자, GPU 시간, 엔지니어 연봉을 회수할 수 있을지는 개인적으로 회의적임

  • 내 눈에는 이 이미지들이 전부 불쾌한 골짜기에 걸려 있음. 색과 그림자가 다 어긋나 보임

    • 전부 꽤 엉성함. 이런 출력물이 연구 외에 어디에 쓰일 수 있을지 잘 모르겠음

  • 곰 이미지 편집 예시를 보니, 모델이 요청받은 것보다 더 많은 부분을 바꾸는 것 같음
    배경을 바꾸라고 했는데 곰 자체도 완전히 바뀌었고, 셔츠는 같지만 털과 얼굴은 확실히 다름. 곰을 풍선으로 바꿀 때도 배경을 바꾸고 포장도로를 없앴으며 수박의 왼쪽 씨도 사라짐. 더 나은 프롬프트로 고칠 수 있는지, 아니면 모델/아키텍처의 한계인지 궁금함

    • 둘 다임. 더 나은 프롬프트로 결과를 개선할 수는 있지만, 근본 원인은 서로 얽혀 있는 아키텍처와 학습 방식의 한계임

  • 필수 테스트처럼 자전거 타는 펠리컨 이미지를 SVG가 아닌 이미지로 시도했고, 아코디언 이미지도 몇 개 만들어 봄. 손가락과 검은 건반을 정확히 맞추는 데는 약간 어려움이 있지만 꽤 빠름
    https://chat.qwen.ai/s/0f9d558c-2108-4350-98fb-6ee87065d587?...

    • Simon의 테스트 포인트를 놓친 것 같음. AI가 자전거 탄 펠리컨 그림을 그리는 건 Stable Diffusion 2/3 사이 어느 시점부터 이미 해결된 문제임
      픽셀 기반 형식이 아니라 SVG를 쓰는 데 도전이 있음. SVG를 제대로 만들려면 어느 정도의 추론이 필요하기 때문임

  • 이상하게도 이미지 변경 예시, 즉 편집이나 스타일 전이 같은 결과에 GPT Image 1, 즉 ChatGPT 4o의 최신 이미지 모델에서 보이는 옅은 노란 색조가 있음. Flux Kontext는 그런 느낌이 없어 보이는데 왜 그런지 궁금함

  • 자동 낭독은 어떻게 멈추는지 모르겠음. 웹사이트는 그냥 가만히 있다가 내가 뭔가 하라고 할 때까지 기다리면 안 되나 싶음
    watch에서 전체 화면으로 동영상이 자동 재생되더니 바로 읽기까지 시작했음. 참고로 iOS의 Firefox임

    • 설정 => 사이트 설정 => 자동 재생: 오디오와 비디오 차단
      이건 Firefox Android 기준이라 iOS 버전에 같은 기능이 있는지는 모르겠음. 데스크톱에도 있음. 거기서 웹사이트의 알림 전송 요청도 완전히 막을 수 있음

  • 기계학습 연구자이자 물리학 학위 보유자로서, 이런 모델에 대해 이해와 “묘사”라는 말을 쓰는 데 꽤 조심스러움. 특히 이해라는 말은 별로 도움이 되지 않고 솔직히 해롭다고 봄
    물리학에서 수학을 쓰는 이유는 구체성 때문이고, 코딩이 어려운 이유도 같음. 사람들은 자신이 세상을 얼마나 많이 이해하는지 과소평가하는 것 같음. 중요한 건 미묘한 차이인데, 너무 일상적이라 그 중요성을 잊곤 함. Asimov의 “Relativity of Wrong”을 읽어볼 만함. 이런 시스템이 무언가를 이해한다고 말하려면 연역과 가추를 하고, 개념과 아이디어를 정제하며, 섭취한 것들의 조합 이상을 발견할 수 있어야 함. 인간 지식 전체로 학습한 뒤 그 지식을 되풀이하는 것만으로는 지능을 입증하지 못함. 이 모델 크기에 지식을 무손실 압축했을 가능성은 낮지만, 데이터와 지식을 깊게 파고들지 않으면 무엇을 알고 무엇을 외운 것인지 알기 매우 어려움. 유용한 것을 만드는 것과 지능을 만드는 것은 다른 문제임

    진짜로 이해하려면 반사실적 사고를 제안할 수 있어야 함. 모든 물리학 명제는 반사실 명제임. F=ma를 예로 들면 질량이나 가속도를 바꿔도 힘을 계산할 수 있음. 특정 질량이 특정 가속도로 움직이는 걸 보고 “두 배로 무거웠다면?”이라고 물을 수 있고 답할 수 있음. 사람의 세계 모델도 이런 일을 함. 수학으로 설명하지 않을 뿐, 우리는 반사실을 세우고 꽤 자주 잘 처리함. 현대 기계학습 시스템은 이런 일을 한다고 보기 어렵다고 봄

    원 글의 이미지가 이해 부족의 좋은 예임. 오른쪽은 손가락 수가 틀렸을 뿐 아니라 키보드 키도 이상함. 키가 반복되면 안 된다는 건 조금만 이해해도 알 수 있음. 배치도 꿈속 물건처럼 엉망이고, 키 수가 표식 수와 맞지 않을 가능성이 높으며 크기도 어긋나 보임. 오래 볼수록 더 나빠지는 것도 이런 시스템에서 흔함. 얼핏 보면 괜찮지만 자세히 볼수록 불쾌한 골짜기 깊숙이 들어감

    https://youtube.com/watch?v=cDA3_5982h8

    코드는 수학임. 튜링 완전 언어와 계산 가능한 수학 사이에는 동형성이 있음. 더 엄밀히 보려면 Church와 Turing을 찾아보면 됨. 물론 물리학과 수학은 같지 않지만, 수학은 비합리적으로 효과적임

    https://hermiene.net/essays-trans/relativity_of_wrong.html

    https://en.wikipedia.org/wiki/Counterfactual_thinking

    • 무언가를 만드는 입장에서는 이런 허수아비 논법에 지침
      입력과 출력을 널리 이해되는 단어로 표현한 건 도움이 됨. 게다가 그 단어들이 가진 장기적 함의까지 과장해 주장하는 게 아니라는 신호로 따옴표도 썼음. 릴리스를 읽는 사람은 Qwen이 예전에는 보고/인지/이해하던 VLM이었고 이제는 이미지를 생성/묘사/그릴 수 있게 됐다는 정도를 알게 됨. 그 이상으로 위기를 만들어낼 필요는 없음

  • 이 모델이나 4o 같은 방식으로 이미지를 생성하는 다른 모델에 대한 기술 보고서가 있는지 궁금함. 4o류 이미지 생성의 아키텍처를 정말 이해하고 싶음

  • 기계학습은 세상을 “이해”하기보다 묘사하는 쪽에서 훨씬 더 많이 진전했다고 봄

    • 인간이 세상을 더 잘 이해한다고 생각하는 이유가 궁금함. 우리는 세상에 감정을 갖지만, 감정이 이해를 주지는 않음. 여기서 “이해”도 여전히 정의가 필요함
      “알겠다”는 말은 사실 임의의 개인 기준일 뿐임

  • 이미지는 언어 모델이 보기 전에 256개 토큰으로 압축됨. 모자를 추가하라고 하면 얼굴 전체를 다시 그리는 이유는 객체가 별개로 저장되지 않기 때문임
    메모리 안에 지속되는 곰이 있는 게 아니라, 모든 것이 하나의 융합된 잠재 공간 수프 안에 있음. 새 제약 아래에서 다시 샘플링되는 것이고, 프롬프트를 조금만 바꿔도 전체 임베딩 균형이 다시 잡힘. 그래서 작은 수정도 이미지 전반으로 번짐. 단일 샷 장면 합성처럼 보이며, 다른 용도에는 유용함

    • 그래서 Flux Kontext가 마음에 듦. 다중모달 모델과 비슷한 편집 능력이 있으면서도 세부사항을 망가뜨리지 않음
      gpt-image-1의 편집은 “지브리풍으로 만들어줘” 같은 완전한 스타일 변경에는 잘 맞지만, 사실적인 이미지에 안경을 추가하면서 모든 디테일을 유지하는 데는 잘 안 맞음
답변달기