▲

AV1@Scale: 필름 그레인 합성의 각성

 (netflixtechblog.com)
1P by GN⁺ 8시간전 | ★ favorite | 댓글 1개
  • Netflix는 AV1 Film Grain Synthesis(필름 그레인 합성) 기술을 전 세계 회원들에게 대규모로 적용하기 시작함
  • 이 기능은 노이즈와 영화적 질감을 더 현실적으로 보존하면서도 영상 압축 효율을 높임
  • AV1 FGS는 2가지 핵심 기법(패턴 복원, 강도 조절) 을 사용하여 원본 그레인 특성을 정확하게 재현함
  • 이를 통해 비트레이트 절감과 동시에 영상 품질 개선, 시청자 경험 향상 가능함
  • Netflix는 이 기술을 통해 아티스틱 무결성을 유지하며 더 많은 콘텐츠에서 데이터 효율성을 높임

AV1@Scale: 필름 그레인 합성의 각성

Netflix에서 필름 그레인 합성 도입과 수백만 명을 위한 영상 품질 강화

  • Netflix는 AV1 Film Grain Synthesis(FGS) 스트림의 대규모 도입을 통해, 필름 그레인의 예술적 감성과 현실감을 보존하면서 데이터 효율성을 극대화하는 혁신을 실현함
  • 필름 그레인은 스토리텔링의 깊이를 더하고, 클래식 영화의 분위기와 사실감을 살리는 중요한 시각적 요소임
  • 그러나 전통적 압축 알고리듬으로는 랜덤성 높은 그레인을 효과적으로 처리하고 압축하기 어려움이 있었음

# AV1에서 필름 그레인 합성 이해

  • AV1 필름 그레인 합성(FGS) 도구는 두 가지 주요 모델을 사용함

    • 필름 그레인 패턴: 자가회귀(AR) 모델로 그레인 패턴을 모사하며, AR 계수는 소스 영상과 디노이즈된 영상의 차이(노이즈)에서 추정함
      • 해당 계수로 64x64 노이즈 템플릿을 생성하고, 재생 시 무작위 32x32 패치를 추출해 복원된 영상에 결합함
      • 이 방식은 원본 영상의 노이즈 특성 및 공간적 상관관계를 충실히 재현함
    • 필름 그레인 강도: 스케일링 함수로 밝기 상황에 따라 그레인 강도를 세밀하게 조절함
      • 인코딩 시 픽셀값과 노이즈 강도의 관계를 구간별 선형 함수로 모델링하며, 영상의 밝기와 색상에 따라 그레인 강도를 조정함
      • 이 방식으로 원본 영상의 질감을 더욱 정확히 복원함

  • AV1 표준은 디노이즈 기법에는 특정 방식을 강제하지 않으므로, 사용자는 원하는 디노이저를 선택 가능함

  • 디노이즈 후, 영상(그레인 없는 영상)이 압축되고, 그레인 패턴·강도 파라미터와 함께 데이터로 전송됨

  • 사용자 재생기에서는 블록 기반 방식으로 그레인이 복원되며, 소비자 기기에 최적화된 구현임

# 압축 효율 및 영상 품질, 시청자 혜택

  • Netflix에서 AV1 FGS 활성화로 비트레이트 절감 효과와 함께, 영화 예술적 무드를 유지한 고품질 영상 스트리밍을 제공 가능해짐
  • 실제 예시를 통해, 기존 방식에 비해 품질 향상 및 데이터 사용량 감소가 동시에 이루어짐
  • FGS는 특히 필터 처리나 애드된 그레인이 많은 콘텐츠에서도 데이터 효율과 원본 질감 보존을 모두 만족하게 함

# 요약

  • AV1 Film Grain Synthesis(필름 그레인 합성)는 예술적 무결성, 시청 경험 강화, 스트리밍 효율 개선을 실현하는 기술임
  • Netflix는 해당 기술의 대규모 도입으로 더 많은 작품에서 품질·데이터 절감의 균형을 갖춰 전달함
  • 이로써 고전 영화에서 현대 영상에 이르기까지, 감성적 질감과 기술적 효율성을 모두 구현하게 됨
▲
GN⁺ 8시간전  [-]
Hacker News 의견

  • 합성된 노이즈가 원래의 노이즈가 갖고 있던 세부 정보와 디테일을 완전히 재현하지 못한다는 점을 간과한 논의라 생각함. 고화질 인코딩에서 실제 노이즈가 포함되어 있을 때, 정지 화면에서 영상으로 넘어갈 때 해상도가 확 뛰는 경험을 하게 됨. 24fps에서 노이즈가 신호 위에서 움직이듯 보여지지만, 신호 자체는 여전히 선명하게 남아 있음. 반면 손실 압축이나 합성 노이즈를 프레임별로 합성하면, 원래 존재하던 세부 정보는 복구 불가. 실제 24fps 영상에서는 흐릿해진 느낌을 받으며, 특히 오래된 필름 영상은 디테일 차이가 2배 이상 커짐. 만일 h.265나 AV1이 항상 여러 프레임을 고려해 움직임에 맞게 노이즈만 빼는 식으로 인코딩한다면 디테일 유실이 없지만, 실제로 그렇게 동작하는지 모르겠음. 노이즈 제거 vs 합성 비교는 정지 이미지로 판단해서는 안 되고, 실제 영상을 나란히 비교해야 제대로 알 수 있음. 노이즈는 그 자체로도 디테일임을 강조함.

    • 그레인(노이즈 패턴)은 프레임별로 독립적으로 존재하고, 장면 내 객체 움직임에 따라 같이 움직이지 않으므로 합성된 노이즈에 뚜렷한 시간적 패턴만 없으면 정지 화면 비교로도 충분하다고 생각함. 미적 관점에서, AV1 합성 그레인은 소스의 그레인 크기를 제대로 반영하지 못해 옛날 필름의 큰 결정들이 잘 안 살아나고, 색상 채널도 따로 모델링 안 하는데 넷플릭스 소스 영상이 원래 크로마 서브샘플링이라 큰 상관은 없을 수 있음. 관련 논문 링크는 여기. 관련 내용은 가볍게 읽어본 수준이라 잘못 알고 있을 수 있음

    • 시간적 측면을 설명하려면 옛날 필름 프로젝터를 생각하면 좋겠음. 매 프레임 사이에는 어두운 순간이 있는데, 눈은 이 깜빡임을 거의 인지 못하고 평균화해줌(flicker fusion threshold). 노이즈와 그레인도 비슷하게 지각되어, 안정된 신호보다 덜 두드러짐. 천체사진 촬영 시에도 여러 이미지를 합성해서 더 좋은 SNR을 만드는데, 인간 두뇌도 약간 그렇게 처리함. 시간에 따라 노이즈가 평균으로 수렴하면서 신호가 더 명확히 드러나는 것. 단일 프레임만 처리하는 디노이즈 알고리즘은 그 컨텍스트가 없어 디테일이 사라지거나, 추측으로 보상하게 됨. AV1은 특정 디노이즈 알고리즘을 규정하지 않아, 똑똑한 알고리즘이라면 시간적 맥락을 잘 살릴 수 있을 거라 생각함

    • 노이즈 자체에는 신호가 없고, 신호 위에 무작위로 더해지는 잡음으로서 정보가 아님. 정적인 이미지를 여러 장 평균내면 신호는 살아있고 잡음은 상쇄되어 SNR이 높아진다는 점에서, 노이즈를 일부러 남기는 것은 별의미가 없다고 봄. 눈에 띄는 효과가 있다면 원래 필름 그레인에 대한 미적 만족감이거나, 아니면 낮은 비트레이트(압축 강한) 영상의 아티팩트와 높은 비트레이트(원본 유지) 영상간 비교로 인해 발생한 차이일 수 있음

    • 이 부분이 정말 흥미롭다는 의견임. 머신러닝도 밤에 촬영한 영상을 사람보다 더 잘 분석하는 경우가 있는데, 센서의 잡음조차도 피처로 쓸 수 있음. 노이즈가 그냥 노이즈만은 아니라는 점 강조함

    • 최근 4K 블루레이에는 DRR 기술이 사용되는데, 디노이즈 과정에서 얼굴의 모공까지 사라지는 경우가 생겨 배우의 표정이 밀랍처럼 보인 적도 있음

  • 노이즈 추가의 철학적 의미는 차치하고, 이 예시에서 디노이즈 과정이 지나치게 블러를 주어 원본보다 덜 선명하고 합성 그레인 자체도 진짜 필름 그레인보다는 그냥 노이즈같이 느껴짐

    • 맞는 말이라고 여김. 고비트레이트가 되기 전까지는 오히려 압축 과정에서 원래의 그레인에 비트를 너무 많이 써야 해서 영상이 더 흐려지거나 머디하게 보임. 필름 그레인 합성(FGS)은 대역폭 제한이 있는 스트리밍에는 꽤 합리적인데, 예시 영상들에서 합성 그레인이 진짜 그레인처럼 보이지 않는다는 점에는 동의함. 디노이징 정도와 방법에 따라 씬 디테일이 확실히 흐려질 수 있음

    • 영화 후반 작업에서는 항상 여러 트릭을 써왔음. 원하는 이펙트(예: 필름 시뮬레이션) 적용 여부를 시청자가 선택할 수 있는 옵션이 있었으면 함. The Holdovers처럼 특정 시대를 재현하려는 영화에서는 필름 시뮬레이션이 정말 멋졌다고 느낌. 넷플릭스도 앞으로 포스트 이펙트를 클라이언트에서 처리하게끔, 예를 들어 색약 모드를 제공하거나 인공 그레인 끄기가 가능해질 것 같음

    • AV1의 FGS는 레벨 조절이 가능한데, 내 눈에는 조금 높게 설정된 것 같음(비트레이트 환경에 따라선 이 정도가 다른 아티팩트보다 훨씬 볼만하기도 함). 참고사항으로, 정지 장면은 영상 품질 평가에 한계가 있고, 이론적인 완벽 노이즈 제거 필터(비노이즈 디테일 100% 유지)도 원본보다 덜 디테일하게 느껴진다는 점. 뇌와 눈이 노이즈 이미지를 볼 때 오히려 더 디테일을 ‘창조’하는 현상이 있음

    • 이 주제를 탐구한 영화로는 안토니오니의 Blowup가 대표적인 예시. Blowup 위키백과

    • 모션픽처 필름을 가까이서 관찰해온 입장에서 이번 예시 영상의 필름 그레인은 실제와 거리가 멀다고 느낌. 결국 디더링과 유사한 효과일 뿐임

  • 이번 논의에서 가장 중요한 점은 ‘at scale’이라는 부분임. 그동안 AV1 인코더에서 필름 그레인 합성은 있었지만, 문제 생기지 않으려면 매번 손으로 세팅을 건드려야 해서 한정된 콘텐츠에서만 실제 활용함. 여기에 나온 방법이 그런 어려움을 어떻게 극복했는지 자세한 설명은 없지만, 대규모 운영이 가능해진 점이 반가움

    • 요즘엔 적응형 버전(Adaptive variant)이 나와서 자동화가 훨씬 쉬워졌음

  • 필름 그레인에 부정적인 시선에 대해, 모든 이미지에는 어느 정도의 노이즈나 그레인이 있음. 최고의 디지털 센서나 심지어 우리 눈에도 존재함. 단순 미학적 용도뿐 아니라 샤프니스 인지 상승, 밴딩이나 압축 아티팩트를 숨겨주는 실제적인 역할도 있음. 물론 모든 그레인이 좋다는 건 아니고, 기술적 한계나 잘못된 창의적 선택으로 인한 경우도 많음. 그럼에도 불구하고, 모든 영상을 디노이즈하여 부드럽게 만든 결과가 오히려 훨씬 비현실적이고 거슬린다는 것이 내 생각임

    • 첨단 디지털 센서의 그레인은 요즘 영화에서 추가되는 양에 비하면 미미한 수준임

    • 내 문제의식은 그레인 적용 여부는 창작자의 예술적 결정이어야 하고, 데이터 압축 집단이 임의로 선택하는 문제는 아니라는 점임

    • HBO 인트로 애니메이션은 옛날 아날로그 방송 신호의 잡음을 활용하는데, 4K에서도 품질이 엉망임. 랜덤 노이즈는 압축이 거의 불가능하므로, 여기와 같은 방법(노이즈 제거 후 복원)이 꼭 필요하게 됨

  • “grains는 현실감을 주고, 이야기의 깊이를 더한다”는 주장에는 동의 못함. 내 눈에는 그레인 따위 없어서, ‘현실=그레인’ 논리는 이해 안 감. 그럼에도 미적 도구로서의 그레인은 멋지다고 생각하며 이번 기술도 흥미롭게 봄

    • 기사에서 언급한 그레인의 마스킹 효과(아티팩트 가림)와 익숙함·노스탤지아가 있지만, 한 가지 더 설명이 추가됨. 현실의 모든 표면은 미세 텍스처가 있는데, 영상으로 기록할 때는 카메라, 해상도, 압축한계 등으로 이 디테일이 사라짐. 필름 그레인은 이런 고주파 시각 자극을 다시 제공함. 눈과 뇌는 그 자극 자체를 좋아하며, 그 잡음의 위치나 패턴엔 큰 신경 안 씀. 예를 들어, x265 인코더의 psy-rd와 psy-rdoq 파라미터는 “영상이 에너지가 살아있게(약간 거칠게) 보이도록” 조정 가능하며, 데이터를 더 많이 쓰지 않고도 영상 품질을 높일 수 있음

    • 어두운 밤에는 우리 눈에도 일종의 ‘스파클링’이나 ‘스태틱’이 보이며, 실제로 인간의 눈도 기술적으로 보면 약간씩 노이즈를 갖고 있음. 현실의 느낌(Realness)은 당대 기술의 흔적으로 정의된 것. 마치 빈센트 반고흐의 붓질이 그림의 일부인 것처럼, 필름 그레인도 매체의 현실 중 하나이므로, 가능하다면 그 흔적을 최대한 유지하려고 하는 것임

    • 사람들은 미적 취향을 논리적으로 합리화하고 싶어함. 미디어에 대한 경험과 이해 수준이 높을수록 세부 변화를 더 예민하게 느끼고, 그것은 취향에 반영됨. 어린이는 옛 무성 코미디에서 내용에 반응하지, 필름 특성에는 신경 쓰지 않을 것임. 반면 전문가일수록 이런 세부 차이에 예민해짐. 필름 그레인 자체가 실제(real)로 느껴진다는 것도, 각 시대의 사회적 경험과 자기 인식의 산물임. 앞으로 40년 후엔 영화 그레인을 초현실이나 ‘노이즈’로 인식할 수도 있다고 생각함

    • 내 생각에 그레인은 영상이 실제보다 더 디테일해 보이게 만들고, 압축 아티팩트나 흐릿함도 가려줌. 심리적 요인은 잘 모르겠지만, 분명 추가적인 고주파가 들어가거나 디더링 효과가 있는 듯함. 인간의 눈에도 실제로 양자 현상에 의해 그레인이 있지만, 뇌가 강하게 필터링하기 때문에 인식하지는 못함

    • 디지털 카메라가 대세가 되던 초창기에는 디지털 영상이 비현실적이라고 느껴서, 필름 영화가 더 아름답다는 인식이 강했음. 아마 클래식 영화를 즐기는 시네필이 필름=좋음의 근거가 되기도 함. 결국 샤프니스를 줄이고 싶을 때 유용한 미적 도구라 생각함

  • 휴대폰 통화의 AMR-WB 오디오 코덱도 공식적으로는 50 Hz-7,000 Hz까지 지원하지만, 가장 널리 쓰이는 12.65 Kbps에서는 6,400 Hz까지만 실제로 저장하고 그 이상의 영역은 낮은 주파수+노이즈 합성으로 채움. 이게 노이즈 없이 그냥 잘라내는 것보다 훨씬 더 자연스럽게 들리기 때문임

  • 미러리스 카메라 포토그래퍼로서 후처리로 특별한 느낌을 만드려고 항상 노력함. 예를 들어 조리개를 최대한 조이고, 디노이즈-샤프닝-컬러그레이딩을 적극적으로 활용함. 만약 내 사진이 오래된 책에서 꺼낸 느낌이 난다면 그걸 긍정적으로 봄. 필름룩 필터도 여러 가지 시도해봤지만, 내가 생각하는 불규칙 결정체 스타일의 필름 그레인(촬영 전부터 필름에 존재하는 불규칙 픽셀들)을 진짜로 재현한 필터는 아직 못 봄. 대부분 픽셀 형태의 사각 그레인이라 설득력이 없음

  • “필름 그레인이 진짜 느낌과 향수를 더해준다”는 주장에는 동의 못함. 내 입장에선 오히려 세부 정보를 가려버리는 시각적 노이즈일 뿐임. 향수는 배우나 내가 그 시절 봤던 경험에서 오는 것이지 굳이 그레인 때문이 아님. “현실감 부여”라는 주장도 비현실적임. AV1이 이런 시각적 쓰레기를 비트로 낭비하지 않고, 쉽고 유연하게 합성·제거할 수 있게 만들어주는 건 긍정적임

    • 다큐멘터리는 ‘현실 재현’이 목표일 수 있지만, 영화는 감독의 시각이 우선임. 그레인도 음악처럼 감정과 분위기를 연출하는 예술적 요소로 볼 수 있음

    • 물리적으로 조명이나 촬영 자체에 샷 노이즈가 있기 때문에, 실제로 ‘완전 무잡음’ 현실은 없음. 샷 노이즈 위키 참고

    • 필름 그레인의 장점을 잘 설명하지는 못했다고 보지만, 실제로는 그레인이 이미지의 샤프함과 디테일감을(비록 착각일 뿐이어도) 높여 주며, 촬영감독 Steve Yedlin도 “관객의 눈이 잡을 무언가를 준다”고 표현함

    • 영화에서 ‘노이즈’인지 ‘디테일’인지의 판단은 주관적 해석이 강하다고 생각함. 요즘 영상 압축 기술로 인해 발생하는 다른 시각적 노이즈도 엄연히 존재함

  • 많은 분들이 간과하는 핵심은, 노이즈 제거 후 압축하면 압축 효율이 대폭 증가함. 동일 비트레이트에서, 노이즈를 안 빼고 그냥 압축하면 디테일과 엣지가 크게 손상됨. 이는 데스크톱 미디어플레이어에서도 오래전부터 쓰여온 개념임

    • 맞는 말임. 다들 그레인 품질만 따지는데 진짜 중요한 건 넷플릭스 입장에서는 대역폭/품질 비율임. 비슷한 비트레이트라면 노이즈 제거 후 소프트웨어로 복원하는 쪽이 훨씬 퀄리티가 좋게 나옴. 잡음을 압축하는 건 정말 별로임

  • 필름 그레인은 이제 퇴출되어야 한다고 생각함. 세피아 사진이나 16fps 무성영화 시대는 이미 끝났고, 필름 그레인도 그만 둘 때임. 이스트만 비즈니스 파크도 철거됨. 유튜브 영상에 먼지와 스크래치 연출하는 장면도 이제 그만 보고 싶음

    • 혹시 페이크 필름 그레인은 몰라도, 아예 필름 그레인 자체를 없애자는 건 마치 유화 붓터치까지 없애자는 주장과 같음

    • 필름 그레인이 꼭 사라져야 하는 이유가 뭔지 궁금함

답변달기