생성 모델은 무엇을 알고 있나? 정말 알고 있나?

 (intrinsic-lora.github.io)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 실제 장면을 그럴듯하게 만드는 GAN·자기회귀·Diffusion 모델 내부에 깊이·노멀·알베도·셰이딩 같은 장면 내재 속성이 암묵적으로 들어 있을 수 있음
  • 제안 방식은 모델 구조에 덜 묶이는 LoRA로 기존 이미지 생성 디코더를 그대로 활용해 intrinsic representation을 복원함
  • VQGAN·Stable Diffusion은 attention layer, StyleGAN은 affine layer에 가벼운 LoRA를 붙여 별도 task-specific decoding head 없이 intrinsic image를 얻음
  • Stable Diffusion에서는 rank 2 기준 전체 모델 가중치의 0.04% 만 학습 가능한 파라미터로 추가하고, 라벨 이미지 250장만으로도 intrinsic image 생성이 가능함
  • 제어 실험에서는 생성 모델 품질이 높을수록 복원된 장면 내재 속성의 정확도도 높아지는 경향이 나타났지만, 모델과 도메인에 따라 추출 가능성은 달라짐

연구 질문과 LoRA 접근법

  • 생성 모델이 실제 장면을 잘 모사한다면, 내부 표현에도 장면 내재 속성(scene intrinsic) 이 들어 있을 수 있다는 질문에서 출발함
  • 연구가 확인하려는 지점은 네 가지임
    • GAN, Autoregressive, Diffusion 모델이 어떤 intrinsic knowledge를 인코딩하는가
    • 아키텍처나 모델 유형과 무관하게 intrinsic representation을 복원하는 일반 프레임워크를 만들 수 있는가
    • 필요한 학습 파라미터와 라벨 데이터는 얼마나 적을 수 있는가
    • 생성 모델 품질과 복원된 intrinsic 정확도 사이에 직접적 연결이 있는가
  • 방법의 중심은 Low-Rank Adaptation(LoRA) 임
    • VQGAN과 Stable Diffusion에는 attention layer에 LoRA를 적용함
    • StyleGAN에는 affine layer에 LoRA를 적용함
    • 별도 task-specific decoding head나 layer를 추가하지 않고, 이미지 생성에 쓰는 동일한 decoder head를 사용함
  • 관련 자료

복원 결과와 모델별 차이

  • 작은 LoRA만으로 여러 생성 모델에서 depth, normals, albedo, shading을 복원할 수 있음
  • Stable Diffusion에서는 rank 2 LoRA 기준 학습 가능한 파라미터가 전체 모델 가중치의 0.04% 까지 줄어듦
  • 라벨 이미지가 250장만 있어도 LoRA 모듈을 통해 intrinsic image를 생성할 수 있음
  • 제어 실험에서는 모델 품질과 복원된 intrinsic 정확도 사이에 양의 상관관계가 확인됨
  • 모델과 도메인에 따라 intrinsic 추출 결과가 다르게 나타남
    • VQGAN / Autoregressive / FFHQ: normal·depth는 중간 품질, albedo·shading은 높은 품질
    • StyleGAN-v2 / GAN / FFHQ: normal·albedo·shading은 높은 품질, depth는 중간 품질
    • StyleGAN-v2 / GAN / LSUN Bed: normal·depth·albedo·shading 모두 높은 품질
    • StyleGAN-XL / GAN / FFHQ: normal·albedo·shading은 높은 품질, depth는 중간 품질
    • StyleGAN-XL / GAN / ImageNet: normal·depth·albedo·shading 모두 추출 불가
    • Stable Diffusion-UNet / Diffusion / Open: normal·depth·albedo·shading 모두 높은 품질
    • Stable Diffusion / Diffusion / Open: normal·depth·albedo·shading 모두 높은 품질
  • Stable Diffusion 2.1을 확장한 방식의 intrinsic map은 pseudo ground truth와 비교되며, 비교 항목은 surface normals, depth, albedo, shading임

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • Sora에 대한 기대가 컸던 이유 중 하나는, 몇몇 영상을 보면 내부에서 물리적 세계 시뮬레이션이 돌아가고 영상은 그 3D 장면을 카메라로 찍은 것처럼 느껴졌기 때문임
    단순히 다른 영상 조각을 이어 붙이는 것보다 훨씬 많은 일이 뒤에서 벌어지고 있다는 직감이 있었고, 이 논문은 그 증거처럼 보임
    정지 이미지 생성기에서도 모델이 사실상 3D 장면을 렌더링하고 사진을 찍는 법을 배운다는 점이 드러남. 3D 엔진을 만들려던 게 아니라 이미지 더미를 선형대수에 넣고 최적화했을 뿐인데 세계 시뮬레이터가 튀어나온 셈이라 놀라움

    • 인간은 3D 세계에 살고, 학습 데이터도 같은 장면을 여러 각도에서 보는 연속적인 양안 시각 스트림임. 반면 Sora는 TV를 보며 세계를 배운 셈이라, 3D 장면의 암묵적 표현과 렌더링을 배우려면 비디오 게임을 더 많이 해야 할지도 모름
    • 아직도 사람들이 실제로는 영상 조각을 붙이는 것뿐이라고 생각한다는 게 놀라움
    • “3D 엔진을 만들려던 게 아니라 이미지들을 선형대수에 던져 넣고 최적화했더니 세계 시뮬레이터가 나왔다”는 말은, 의인화된 진화가 마음에 대해 할 법한 말처럼 들림
    • 제작사가 고른 영상에서도 고양이에게 다섯 번째 다리가 생겼다가 금방 사라지는 장면이 있었는데, 그런 현상은 이 낙관적인 서사와 어떻게 맞는지 의문임
    • 신경망은 선형대수가 아님. 요즘 대부분 ReLU 활성화를 쓴다고 보면, 신경망의 핵심은 반쯤 선형인 구조이고 그 반쪽짜리 선형성이 힘을 줌

  • 이름은 Bojack Horseman에 나오는 가상의 게임쇼 Hollywoo Stars and Celebrities: What Do They Know? Do They Know Things?? Let's Find Out! 에서 따온 것임
    https://bojackhorseman.fandom.com/wiki/Hollywoo_Stars_and_Ce...!

    • 그 쇼를 정말 좋아해서 노트북에 스티커도 붙여 놨음. Bojack Horseman을 안 봤다면 웃기면서도 진심이 있고, 실존적인 느낌이 강한 작품이라 취향에 맞으면 꼭 볼 만함
      완성도 있는 애니메이션 패키지로는 Futurama보다 훨씬 낫다고 봄. 공감할 만한 깊이가 많고 세게 때리지만, 충분히 가볍게 유지해서 보고 나면 기분이 괜찮아짐
      지금은 filmtech 쪽에서 일하게 됐으니 Hollywoo 스티커가 더 잘 어울리게 됨
    • 제목만 보고 이 글에 추천을 눌렀음
    • 이 특정 게임쇼 제목을 꽤 자주 인용하는데, 알아듣는 사람이 많지 않아 그냥 이상한 사람처럼 보이는 게 아쉬움
    • 쇼 안에서 계속 HSaCWDTKDTKTLFO라고 부르는 것도 웃김. 긴 약어 전체를 짧은 약어처럼 하나하나 읽는 게 이 쇼에서 제일 좋아하는 반복 개그일지도 모름
    • 내 사람들을 찾은 느낌임. 이 쇼를 한 6번은 봤음

  • Unity High Definition Rendering Pipeline 테스트 프로젝트에서 G-buffer를 뽑아 보려 했던 때가 떠오름: https://www.youtube.com/watch?v=Fwtc694qNUM
    다만 이 논문이 정말 뭔가를 증명하는지는 잘 모르겠음. 여기서는 거대한 UNet LoRA 모델을 학습시키고 있는데, 기존 모델에서 무언가를 “추출”하는 건지, 아니면 지연 렌더링 파이프라인에서 나올 법한 채널을 만들어내는 새 모델을 만드는 건지 애매함
    법선, 알베도, 깊이를 조합하는 지연 렌더링은 3D 장면을 만드는 여러 기법 중 하나일 뿐이고, 비디오 게임에서도 2000년대 초 Xbox용 Shrek 게임 전까지는 쓰이지 않았음 (https://sites.google.com/site/richgel99/the-early-history-of...)
    정말 멋진 건 이미지 생성 모델에서 “카메라”의 회전·이동 행렬을 추출할 수 있는 LoRA 모델일 것 같음. 그러면 훨씬 더 강한 증거가 되고 동시에 꽤 유용할 듯함

    • 보충 자료를 보면, 무작위 초기화된 UNet으로 LoRA를 학습시키는 실험이 있음. 그 경우 사전 학습된 Stable Diffusion UNet을 쓸 때와 달리 표면 법선을 거의 추출하지 못해서, 모델 안의 기존 특징이 성능에 중요하다는 점이 꽤 분명하게 드러남
    • 잘 아는 건 아니지만, “새로 학습한 파라미터가 생성 모델 전체 파라미터의 0.6% 미만”이라는 부분이 그 의문에 답하는 것 아닐까 싶음
      0.6%는 작은 숫자로 들리는데, 올바른 것을 측정한 건지는 궁금함. 꼭 모델이 우리가 추출하는 것과 정확히 같은 표현을 인코딩했을 필요는 없지만, 모델 크기 관점에서 싸고 안정적으로 법선, 알베도, 깊이로 매핑할 수 있는 무언가를 인코딩했다면 그것만으로도 매우 의미 있어 보임
      어떤 기저 벡터를 쓰는지는 상관없고, 내 표현으로 어떻게 매핑하는지만 알면 됨

  • 논문을 훑어봤지만 많은 부분이 어려웠음. 이미지 생성 AI에 익숙하지 않은 입장에서, 핵심 문장처럼 보이는 “I-LoRA modulates key feature maps to extract intrinsic scene properties such as normals, depth, albedo, and shading, using the models' existing decoders without additional layers, revealing their deep understanding of scene intrinsics”가 정확히 무슨 뜻인지 궁금함
    “핵심 특징 맵을 변조해 장면의 내재 속성을 추출한다”는 게 무엇을 의미하는지, 추가 디코딩 층 없이 이런 장면 속성 이미지를 어떻게 생성했는지 이해하고 싶음

    • 파라미터 10억 개짜리 신경망이 있다고 하면, 거기에 500만 개 정도의 파라미터를 여기저기 추가한 뒤 LoRA 방식으로 새 파라미터만 계속 학습시키고 기본 네트워크는 건드리지 않는 식임. 그러면 장면 속성을 예측하는 변조된 네트워크가 됨
      흥미로운 점은 추가 파라미터가 아주 적게 들어간다는 것이라, 원래 네트워크가 이미 그 지점에 꽤 가까웠다는 뜻으로 보임

  • Toyota나 Adobe가 왜 이런 이름의 연구에 자금을 대는지는 모르겠지만 정말 마음에 듦. 과학에도 다시 장난기가 좀 돌아왔으면 좋겠음
    더 실질적으로는, “적은 수의 라벨 이미지로 최적화된 모델 비의존 접근법이 Diffusion 모델, GAN, Autoregressive 모델 등 다양한 생성 아키텍처에 적응한다”는 설명을 보면, 이게 순전히 시각·공간 도구인지 궁금함
    예시가 우연히 시각적인 것일 뿐이 아니라, 텍스트 모델로 확장할 방법은 없는 건가? 이런 해석 가능성 접근은 처음 보는데 매우 인상적임

    • 언어 모델의 사실 정보를 편집하는 연구도 있음. https://rome.baulab.info/
    • Toyota나 Adobe가 컴퓨터 비전 연구에 자금을 대는 이유가 정말 이해 안 되는 건가?
    • 우리가 필요하다는 걸 몰랐던 Bojack Horseman 레퍼런스임

  • 꽤 놀라움. 이 모델들이 해독 불가능한 수십억 차원 초평면에서 마술을 부리는 것만이 아니라, 실제로 인간이 해석 가능한 표현을 배우는 셈임

    • 오래된 3D 그래픽스 엔지니어 입장에서, 그 안에 알베도가 있다는 사실은 예상 가능하면서도 정말 인상적임
      물리 기반 렌더링의 핵심 구성요소는 위치, 표면 법선, 들어오는 빛, 그리고 최소한 알베도와 반사성·거칠기 같은 표면 재질 속성 중 하나임. 위치는 이미지의 XY와 깊이에서 유도할 수 있음
      AI가 깊이를 모델링하는 건 꽤 예상 가능하고, 표면 법선은 깊이의 국소 합성곱처럼 볼 수 있음. 하지만 들어오는 빛과 분리된 알베도를 모델링한다는 건 훌륭함. 반사성도 어딘가 숨어 있을지 궁금함
    • 생성 모델이 꽤 복잡한 내부 세계 모델을 갖고 있다는 증거가 많은데도, 여전히 그저 “확률적 앵무새”이고 “아무것도 진짜로 이해하지 못한다”고 우기는 사람들이 있다는 게 놀라움

  • 이건 VR, 혹은 공간 컴퓨팅에 좋은 소식임. 논문이 보여주는 만큼 모델이 물리 세계를 이해한다면, 한 장면에서 두 개의 투영을 생성하는 건 그리 어려운 요구처럼 들리지 않음. 앞으로가 정말 기대됨

  • 이게 실제 이미지에서 알베도와 조명을 예측할 수 있다면, 누군가 재조명 가능한 Gaussian splatting 장면을 만들어 줬으면 함. 동적 조명은 사진으로 만든 3D 스캔의 활용도를 크게 넓혀 줄 텐데, 아직 그 분야에서 “좋다”고 부를 만한 결과를 본 적이 없음

    • 실제 이미지를 확실히 쓸 수 있는 건가? 가능하다면 실제 이미지에서 깊이 지도를 추출하는 게 가장 유용한 응용일 것 같음

  • 회의적으로 굴려는 건 아니지만, 이미지 생성 회사들이 데이터셋에 법선 맵 같은 것을 넣어 강화하지 않았다는 걸 어떻게 알 수 있는지 궁금함
    이 논문이 검증 가능한 오픈소스 모델을 다룬다는 건 이해하지만, 더 발전된 모델들의 비밀 소스가 그런 것일 수도 있지 않을까?

    • 그러려면 법선 맵 이미지와 원본 이미지를 짝지어 학습해야 함. 내가 알기로 그런 방식은 흔한 학습 기법이 아니고, 이 능력은 여러 오픈 모델을 가로질러 나타나는 듯함

  • 생성 모델의 지각 능력이 인간보다 나은지, 인간이 속는 착시로 테스트해 보면 흥미로울 것 같음. 예를 들어 Ponzo 착시 같은 상황에서 깊이를 올바르게 판단하는지 궁금함

답변달기