AV1@Scale: 필름 그레인 합성의 각성

• Netflix는 AV1의 Film Grain Synthesis(FGS) 스트림을 전 세계로 확대해, 필름 그레인의 질감을 유지하면서 스트리밍 데이터 사용량을 줄이려 함
• FGS는 그레인을 그대로 압축하지 않고, 제거된 영상과 그레인 모델 파라미터를 보내 재생 시점에 블록 단위로 다시 합성함
• They Cloned Tyrone 예시에서는 일반 AV1 8274 kbps 대비 AV1 FGS가 2804 kbps로, 강한 필름 그레인 장면에서 약 66% 비트레이트 감소를 보임
• 약 300개 타이틀 평가에서 1080p 이상은 평균 비트레이트가 36% 감소했지만, 1080p 미만은 다운스케일링으로 노이즈가 줄어 효과가 10% 수준에 그침
• 롤아웃 전 A/B 테스트에서는 초기 비트레이트 24%, 평균 비트레이트 31.6%, 재버퍼링 10%, 시작 지연 10% 감소가 관찰됐고, 지원 기기에는 2025년 3월부터 대규모 적용 중임

---

Netflix의 AV1 Film Grain Synthesis 확대

• Netflix는 최근 AV1 Film Grain Synthesis(FGS) 스트림을 전 세계 회원 대상으로 확대 적용함
• FGS는 AV1 표준 초기부터 포함됐지만, Netflix의 2021년 AV1 코덱 초기 출시 당시에는 제한된 수의 타이틀에만 활성화됐음
• 이번 확대의 목적은 필름 그레인의 예술적 무결성을 보존하면서 데이터 효율을 높이는 데 있음
• 필름 그레인은 고전 영화의 질감, 사실감, 향수를 만드는 요소지만 무작위성이 커서, 기존 압축에서는 파일 크기 절감과 그레인 보존 사이에서 절충이 필요했음
• 디지털 영상에도 카메라 센서 노이즈나 후반 작업에서 의도적으로 추가한 그레인이 있어 압축 처리가 더 어려워짐

AV1 FGS가 그레인을 처리하는 방식

• AV1 FGS는 그레인을 직접 압축하는 대신, 원본 영상에서 그레인을 제거한 denoised video를 먼저 인코딩함
• 그레인의 모양과 강도를 모델링한 파라미터를 압축 영상 데이터와 함께 전송하고, 재생 중 다시 합성함
• AV1 표준은 그레인 제거 방식 자체를 특정하지 않아 사용자가 원하는 denoiser를 선택할 수 있음
• 재생 단계에서는 소비자 기기에서 원활하게 동작하도록 최적화된 블록 기반 방식으로 필름 그레인을 복원함
• 더 자세한 설명은 원 논문에서 확인할 수 있음

그레인 패턴과 강도 모델

• Film Grain Pattern

  • 자동회귀 모델(auto-regressive model)이 필름 그레인 패턴을 복제함
  • 핵심 파라미터는 AR 계수이며, 소스 영상과 denoised video 사이의 잔차에서 추정할 수 있음
  • 이 모델은 그레인 샘플 사이의 공간적 상관관계를 포착해 원본 노이즈 특성을 유지함
  • AR 계수 {ai}를 조정하면 그레인의 형태를 더 거칠거나 더 미세하게 만들 수 있음
  • 이 계수로 64x64 노이즈 템플릿을 생성하고, 재생 중에는 무작위 32x32 패치를 추출해 디코딩된 영상에 더함

• Film Grain Intensity

  • 스케일링 함수가 밝기 조건에 따라 그레인의 외형을 제어함
  • 이 함수는 인코딩 중 추정되며, 픽셀 값과 노이즈 강도의 관계를 구간별 선형 함수로 모델링함
  • 영상의 밝기와 색상에 따라 그레인 강도를 조정해 원본 영상의 외형에 더 가깝게 재현함

화질 개선과 비트레이트 절감

• Netflix는 They Cloned Tyrone의 한 프레임을 예시로 일반 AV1과 AV1 FGS를 비교함
• 일반 AV1은 8274 kbps, AV1 FGS는 2804 kbps로 약 66%의 비트레이트 감소를 보임
• 강한 필름 그레인이 있는 이 예시에서 일반 AV1은 DCT 같은 패턴의 왜곡된 노이즈가 나타날 수 있지만, FGS 버전은 더 낮은 비트레이트에서도 필름 그레인의 무결성을 보존함
• 합성된 노이즈는 압축 아티팩트를 마스킹해 시각적으로 더 나은 경험을 만들 수 있음
  • 일반 AV1 스트림과 합성 노이즈가 없는 AV1 FGS 스트림에서는 압축 아티팩트가 보임
  • 그레인 합성이 적용된 AV1 FGS 스트림은 인간 시각 시스템의 대비 마스킹을 통해 일부 압축 아티팩트를 가림

품질 측정의 한계와 카탈로그 평가

• Netflix에는 현재 필름 그레인 합성을 위한 전용 품질 모델이 없음
• 소스 영상과 디코딩 영상의 노이즈가 서로 다른 픽셀 위치에 나타나기 때문에, PSNR이나 VMAF 같은 픽셀 단위 비교 방식은 품질 점수를 낮게 줄 수 있음
• 내부 평가에서는 시각 품질 개선과 기술적 가치가 확인됨
• 그레인 수준이 다양한 약 300개 타이틀을 골라 AV1 FGS의 영향을 평가함
  • 1080p 이상 해상도에서는 평균 비트레이트가 36% 감소함
  • 1080p 미만 해상도에서는 비트레이트 감소가 약 10% 에 그침
  • 낮은 해상도에서 효과가 작은 이유는 다운스케일링 과정에서 노이즈가 필터링되기 때문일 가능성이 있음
  • FGS 코딩 도구를 켜면 비트스트림에 문법 오버헤드가 계속 추가됨

A/B 테스트에서 관찰된 스트리밍 영향

• Netflix는 롤아웃 전에 A/B 테스트로 AV1 FGS 활성화가 스트리밍 전반에 미치는 영향을 평가함
• 테스트 결과는 더 부드럽고 안정적인 QoE로 이어짐
• 관찰된 개선 사항은 다음과 같음
  • 재생 시작 시 비트레이트가 24% 감소하고 평균 비트레이트가 31.6% 감소해 네트워크 대역폭 요구와 다운로드 스트림 저장 필요가 줄어듦
  • 재생 오류율이 약 3% 감소함
  • 재버퍼링 횟수가 10% 감소하고 재버퍼링 지속 시간은 5% 감소함
  • 시작 지연이 10% 감소했으며, 낮아진 비트레이트로 기기가 목표 버퍼 수준에 더 빨리 도달했을 가능성이 있음
  • 눈에 띄는 비트레이트 하락이 10% 감소하고, 사용자가 재생 위치를 조정하는 시간도 10% 감소함
  • 4K 지원 기기에서는 시청 시간의 약 0.7% 가 1080p 이하에서 2160p로 이동함
  • 이 해상도 이동은 전환 지점의 비트레이트 감소로 세션 중 최고 해상도에 도달하기 쉬워진 데서 비롯됨

롤아웃 상태와 다음 계획

• Netflix는 2025년 3월부터 FGS를 대규모로 롤아웃해 왔고, 현재 많은 사용자가 지원 기기에서 FGS 활성화 스트림을 볼 수 있음
• FGS 스트림 체험 예시로 The Hot Spot, Kung Fu Cult Master, Initial D, God of Gamblers II, Baahubali 2: The Conclusion, Dept. Q가 제시됨
• 일부 타이틀에서는 설정 메뉴에서 HDR을 꺼야 새 FGS 스트림을 직접 경험할 수 있음
• 다음 글에서는 Netflix의 비디오 인코딩 파이프라인에서 이 작업을 구현한 방식과 얻은 인사이트를 다룰 예정임

[GN⁺]

Hacker News 의견들

• 합성된 노이즈가 원본 노이즈에 들어 있던 디테일과 정보를 담지 못할 수 있다는 점을 놓치고 있음
  실제 노이즈가 포함된 고품질 인코딩을 보면, 정지 화면에서 영상으로 넘어갈 때 해상도가 놀랄 만큼 올라간다. 노이즈가 신호 위에서 춤추는 것처럼 보이고, 24fps에서는 그 뒤의 신호가 여전히 선명하게 보임
  반대로 정지 프레임 단위로 노이즈를 버린 뒤 “미적으로” 비슷한 인공 노이즈를 다시 얹으면, 원래 디테일은 복구할 수 없고 24fps로 볼 때 근본적으로 더 흐릿해진다. 오래된 노이즈 많은 영화에서는 디테일 차이가 2배까지 날 수 있음
  H.265나 AV1이 움직임을 고려하면서 앞뒤 여러 프레임을 함께 보고 “노이즈 제거” 프레임을 만든다면 이론적으로는 시간축에 걸친 전체 디테일의 신호를 찾아 인코딩할 수 있겠지만, 실제로 그렇게 하는지는 모르겠음. 틀렸다면 알고 싶다
  핵심은 노이즈 제거와 합성 비교를 정지 이미지로 하면 안 된다는 것임. 디테일이 버려지는지 보존되는지는 실제 영상을 나란히 비교해야 한다. 노이즈는 그냥 노이즈가 아니라 디테일이기도 함

  • 필름 그레인은 프레임마다 독립적이라 장면 속 물체와 함께 움직이지 않음. 이미 이상하게 인코딩된 영상이 아니라면, 합성 노이즈에 눈에 띄는 시간적 패턴만 없으면 정지 프레임 비교도 괜찮다고 봄
    미적 측면에서는 AV1의 합성 그레인이 원본 영상의 입자 크기를 고려하지 않는 것 같음. 그래서 오래된 필름의 큰 할로젠화은 결정에서 오는 두툼한 그레인이 합성에서는 미세한 그레인처럼 나타나 어색해질 수 있음. 좋은 필름 노이즈 제거기가 이를 완화할 수도 있음
    또 필름의 분리된 색 성분을 제대로 모델링하지 않지만, Netflix의 영상 소스가 애초에 크로마 서브샘플링된 경우가 많아 별문제가 아니라고 함: https://norkin.org/pdf/DCC_2018_AV1_film_grain.pdf
    이 분야를 가볍게 읽어본 정도라 틀릴 수도 있음
  • 정말 좋은 포인트임
    시간적 측면을 설명하자면 전통적인 필름 영사기를 떠올리면 됨. 프레임 사이마다 아주 짧은 시간 동안 완전한 어둠을 보게 된다. 그 어둠을 “노이즈”라고 부를 수도 있고, 그 순간에 머무르면 원래 신호는 전혀 보이지 않을 것임
    하지만 우리의 시각 체계는 어느 정도 시간 평균을 내기 때문에 그 깜빡임을 거의 알아차리지 못함(https://en.wikipedia.org/wiki/Flicker_fusion_threshold). 노이즈와 그레인도 비슷하게 인식되어, 안정적인 신호/이미지 부분에 비해 덜 두드러지는 것 같음
    천체사진가들이 노이즈 많은 이미지를 쌓아 신호대잡음비가 높은 이미지를 얻는 것처럼, 뇌도 어느 정도 그런 일을 한다고 봄. 없는 디테일을 환각으로 만들어낸다는 뜻이 아니라, 기록된 노이즈가 시간에 따라 평균으로 돌아가고 그 평균이 실제 신호를 더 명확하게 나타낸다는 뜻임. 물론 계통적/비무작위 노이즈 때문에 완전하진 않지만 대개 덜 중요함
    개별 프레임만 처리하는 노이즈 제거 알고리즘은 이 맥락이 없어 디테일을 잃거나 추측으로 보정하려 듦. AV1은 특정 알고리즘을 강제하지 않으니, 이론적으로는 똑똑한 알고리즘이 시간적 맥락을 써서 추가 디테일을 보존할 수 있음
  • 노이즈는 신호를 담고 있지 않고, 그 위에서 춤추지도 않으며, 디테일도 아님. 신호에 더해지는 순수한 무작위 변동일 뿐임
    정적인 프레임 몇 장을 평균 내면 변하지 않는 신호는 유지되고 무작위 노이즈는 상쇄되어 신호대잡음비가 좋아짐. 노이즈 자체를 보존하는 건 유용하지 않음
    보이는 효과는 원본 그레인 동작에 대한 미적 선호이거나, 평활화/저역 통과 필터링 같은 강한 압축 아티팩트가 있는 저대역폭 콘텐츠를 전체 디테일을 유지한 고대역폭 버전과 비교해서 생긴 것일 수 있음. 이건 위에 얹힌 그레인과는 별개임
  • 이 개념이 마음에 듦. 머신러닝 얘기할 때 비슷한 예로, 사람이 야간 카메라 영상을 분석하는 방식과 머신러닝 알고리즘이 사람이 생각 못 할 요소, 심지어 센서 아티팩트까지 특징으로 잡아내는 방식을 자주 비교함. 노이즈는 좀처럼 그냥 노이즈만은 아님
  • 새 4K 디스크 중 일부는 DNR을 쓰는데, 노이즈 제거 과정에서 사람 얼굴의 모공이 가끔 사라져 배우 얼굴이 밀랍처럼 보임

• 노이즈를 더하는 것의 가치는 철학적으로 따져볼 여지가 있지만, 여기 예시의 문제는 노이즈 제거 과정이 모든 것을 과하게 흐리게 만들어서 노이즈 제거본과 합성 그레인 이미지 모두 원본보다 눈에 띄게 덜 선명해 보인다는 점임
  그레인 자체도 너무 기본적인 노이즈처럼 보이고, 실제 필름 그레인답지 않음

  • 같은 비트레이트라면 아주 높은 비트레이트로 가지 않는 한, 압축된 원본은 보통 더 나쁘고 덜 선명해 보임. 원본 그레인을 인코딩하려고 너무 많은 비트를 쓰기 때문임
    그 결과 원본 그레인이 더 넓은 영역으로 “번져” 탁해 보이고, 날카로운 그레인을 인코딩하려다 실제 장면의 선명도까지 잃게 됨
    필름 그레인 합성은 대역폭이 제한된 스트리밍에서는 말이 됨. 다만 예시의 합성 그레인이 별로 그레인처럼 보이지 않는다는 데는 동의함. 그리고 노이즈 제거의 양과 방식에 따라 장면 디테일이 흐려질 수 있음
  • 영화 초창기부터 편집자들은 후반 작업에서 여러 트릭을 넣어왔음
    필름 시뮬레이션을 켜고 끌 수 있는 선택지를 제공해 주면 좋겠음
    가장 좋아하는 영화 중 하나인 The Holdovers는 필름 시뮬레이션을 매우 잘했음. 70년대를 배경으로 해서 그 시대 영화처럼 보이려 함
    내 눈에는 훌륭했지만, 진짜 필름 매니아라면 정확하지 않은 부분을 많이 알아챌 것임
    가까운 미래에는 Netflix가 클라이언트에서 일부 후반 효과를 처리할 수도 있을 듯함. 색각 이상이면 그에 맞는 모드를 쓰고, 가짜 그레인이 싫으면 끄는 식으로
  • AV1에는 조절 가능한 FGS 레벨이 있고, 내 눈에는 여기서 아주 약간 높게 잡은 것 같음. 다만 트레이드오프가 있음. 어떤 비트레이트에서는 흐림+재노이즈가 그 외 시각적 아티팩트보다 훨씬 나아서 그 정도로 높게 두고 싶어질 수 있음
    몇 가지 주의할 점이 있음
    정지 프레임은 영상 품질 평가에 그다지 좋은 방법이 아님
    이론적으로 완벽한[1] 노이즈 제거 필터라도 항상 원본 소스보다 덜 디테일해 보일 것임. 뇌/눈 시스템은 흐릿한 이미지보다 노이즈 있는 이미지에서 더 많은 디테일을 만들어내기 때문임
    [1] 여기서 완벽하다는 건 그레인이 아닌 디테일을 100% 보존한다는 뜻이지, 노이즈 때문에 잃은 디테일을 마법처럼 복구한다는 뜻은 아님
  • 이 주제를 다룬 영화로 Antonioni의 Blowup이 있음: https://en.wikipedia.org/wiki/Blowup
  • 요즘 최종 결과물에서 보는 노이즈/그레인은 후반 작업에서 추가된 경우가 많음. 이상적으로는 스튜디오가 배급사에 노이즈 없는 소스와 그레인 합성 파라미터를 함께 제공하면 좋겠음
    보너스로, 많은 시청자는 끌 수 있는 옵션을 환영할 것임

• 여기서 진짜 이야기는 “대규모 적용” 부분임. 필름 그레인 합성은 일반적인 AV1 인코더에 이미 한동안 있었지만, 문제를 피하려면 어느 정도 수동 조정이 필요했음
  그래서 제작 환경에서는 카탈로그가 매우 제한적이거나 특별히 중요한 타이틀에만 쓰였음. 여기서는 그 문제를 어떻게 극복했는지 자세히 밝히진 않지만, 더 넓게 배포되는 건 반가움

  • 요즘은 적응형 변형이 있어서 자동화가 훨씬 쉬워짐

• 그레인을 싫어하는 쪽에 대해 말하자면, 모든 것에는 자연스럽게 어느 정도 노이즈나 그레인이 있음. 최고의 디지털 센서에도 있고, 심지어 눈에도 있음
  단순한 미적 효과 이상으로 쓸모가 있다. 체감 선명도를 높이고, 색상 계단 현상이나 압축 아티팩트 같은 결함을 숨기는 경향이 있음
  그렇다고 모든 노이즈와 그레인이 좋다는 뜻은 아님. 기술적 한계 때문에 피할 수 없을 수도 있고, 나쁜 창작 선택의 결과일 수도 있으며, 산만할 수도 있음
  하지만 모든 것에 노이즈 제거를 거는 대안은 훨씬 나쁘다고 봄. 요즘 많은 카메라가 기본적으로 그렇게 하는데, 내 눈에는 노이즈 제거로 생기는 평활화가 종종 비현실적이고 훨씬 더 거슬림

  • 최신 디지털 센서의 그레인은 평균적인 영화에 추가되는 것과는 비교도 안 될 정도로 적음
  • 내 문제의식은 그레인이 콘텐츠 창작자의 창작 결정에 따라 좋을 수도 있다는 것임. 0과 1을 압축하는 너드 무리가 결정할 일이 아님
  • 대표 사례가 HBO 인트로 애니메이션임. 옛 아날로그 시대의 잡음을 쓰는데, 4K에서도 형편없어 보임. 무작위 노이즈는 여기서 설명한 전략, 즉 제거했다가 나중에 렌더링하는 방식 없이는 압축이 불가능하기 때문임

• “그레인 = 사실감”이라는 말은 이해가 안 됨. 실제 내 눈에는 그레인이 없음
  다만 그레인이 예술적 도구로 쓰이는 역할은 인정하므로, 이 기술 자체는 여전히 흥미로움

  • 글에서는 그레인의 마스킹 효과, 즉 가짜처럼 보이는 압축 아티팩트를 숨기는 효과와 익숙함/향수 측면을 짚고 있음. 여기에 설명을 하나 더 보태고 싶음
    주변을 보면 거의 모든 표면에는 어떤 형태로든 미세한 질감이 있고 시각적으로 균일하지 않음. 이것이 영상으로 기록될 때 카메라 광학, 제한된 해상도, 압축 평활화 때문에 미세 질감이 줄어듦. 필름 그레인은 잃어버린 고주파 시각 자극의 일부를 공급함
    우리의 눈과 뇌는 그런 고주파 자극을 좋아하고, 원래 장면의 정확한 노이즈 패턴이 재현되는지에는 까다롭지 않음. 그래서 H.265 영상을 만드는 x265 인코더에는 그레인 합성이 없지만 psy-rd 파라미터가 있음. 이는 “압축 영상이 원본만큼 ‘에너지’ 있게 보이도록 해라, 그 에너지가 정확히 같은 위치가 아니어도 된다”에 가깝고, psy-rdoq는 “전반적으로 더 높은 에너지를 선호하라”에 가까움
    이런 파라미터를 조정하면 더 많은 데이터를 저장하지 않고도 압축 영상을 더 좋게 보이게 할 수 있음
  • 실제 눈도 어두운 밤에는 분명히 그레인이 있음. 희미한 빛에서 일종의 “반짝임”이나 “정전기” 같은 것이 생김
    다행히 우리 눈은 카메라보다 감도가 훨씬 좋음. 하지만 여기서 “사실감”은 당시 기술로 포착된 방식에서 오는 것임. 축음기 잡음이나 CRT 신호가 흐려지는 방식과 다르지 않음. 영화감독이 사용한 기술, 그리고 그들이 관객이 영화를 보리라고 알던 방식에 대해 “진짜”인 것임
    Van Gogh의 붓질이 그의 그림에 대해 진짜였던 것과 같음. 유화를 사포로 갈아 평평하게 만들고 싶지는 않을 것임. 원래 매체의 현실이기 때문임. 그래서 필름의 디지털 프린트에서도 원본의 현실을 최대한 유지하고 싶어짐
  • 사람들은 늘 미적 취향을 합리화하고 정당화하려 함. 어떤 대상에 대한 이해의 깊이와 뉘앙스는 그 대상의 변주를 인식하는 방식을 바꿈. 기타 톤우드, 음악 스타일, 물감 종류, 맥주 맛, 필름 그레인 모두 마찬가지임
    어떤 주제를 많이 알면 그 대상의 역사를 많이 읽어낼 수 있고, 그게 감정도 바꿈
    Buster Keaton 촌극을 보며 숨을 삼키고 킥킥대며 즐기는 아이와, 어떤 필름과 카메라가 쓰였는지, 장면의 추상화가 무엇을 뜻하는지, Keaton 의상의 천이 어떤지까지 아는 영화평론가는 같은 매체에 대해 서로 다른 주관적 미적 경험을 하게 됨
    주관적 미적 취향은 인지의 영역에 있음. 인간 뇌에 매핑된 공식적인 지능 이론이 필요하고, 이런 주관적 현상은 결국 개인화된 데이터 처리와 초기 조건으로 귀결됨
    깨끗한 셀 애니메이션과 대비되는 필름 그레인은 사람들이 불신을 유예하기 쉽게 만들 수도 있음. 그레인이 없으면 비현실적 애니메이션, 특정 매체, CGI와 연결된다고 학습했기 때문임. 홈비디오와 뉴스 등에는 그레인과 낮은 품질이 있었으니 그레인은 “진짜”와 상관관계를 갖게 됨
    내 보기엔 그보다 더 깊은 건 없음. 우리는 시대의 산물임. 40년 뒤에는 매체가 바뀌어 필름 그레인이 초현실성과 연결되거나, 근본적으로 노이즈라서 완전히 제거될 수도 있음
  • 내가 보기엔 그레인은 영화를 실제보다 더 디테일해 보이게 만들고, 압축 아티팩트와 흐릿함도 숨길 수 있음
    그 뒤의 시각 심리는 잘 모르겠음. 압축으로 씻겨 나가는 고주파를 더해 주는 것일 수도 있고, 어떤 종류의 디더링처럼 작동할 수도 있음
    눈에 대해서는, 양자 물리학상 눈에도 그레인이 있다고 보는 게 맞을 것임. 다만 뇌가 걸러내기 때문에 인식하지 못할 뿐임. 이것이 필름 그레인과 어떻게 상호작용하는지는 잘 모르겠음
  • 현대 창문에 가짜 창살을 붙이는 일이 떠오름. 실제로 여러 작은 유리판이 있는 것처럼 보이게 하려고 덧대는 띠일 뿐인데, 사람들이 그 모습에 익숙해서 “맞는” 느낌을 받음
    과거 유리 제작자들은 지금처럼 균일하고 큰 유리판을 만들 수 있다는 데 엄청나게 매혹됐을 것 같은데, 우리는 그들이 어쩔 수 없이 택했던 타협을 익숙하다는 이유로 흉내 내고 있음

• “고전 영화를 볼 때 필름 그레인의 미묘한 움직임이 모든 장면에 진정성과 향수를 더한다”는 말은, 실제 장면의 디테일을 가리는 시각적 노이즈를 더할 뿐이라고 봄
  향수는 옛 배우나 처음 봤을 때의 오래된 기억 같은 더 두드러진 시각 단서에 붙을 수도 있음
  “영화의 사실감에 기여한다”는 말도 현실에는 그레인이 없으니 오히려 반대임
  그래도 AV1이 계속 발전해서 시각적 쓰레기를 인코딩하는 데 비트레이트를 낭비하지 않고 알고리즘적 대체 메커니즘을 갖는 건 반가움. 이렇게 되면 더 쉽게 끌 수도 있음

  • 다큐멘터리는 현실을 정확히 표현하는 데 신경 쓸 수 있음. 하지만 다른 모든 영화 장르에서 “진정성”은 본질적 목표가 아님
    필름 그레인이 감독의 비전 일부라면, 장면 뒤에 극적인 비(非)장면내 음악을 까는 선택만큼이나 유효함. 그것은 매우 비진정적이지만 감정을 불러일으키는 데 매우 효과적이고, 그게 예술의 목적임
  • 사실 조명은 본질적으로 무작위라서, 장면을 시간 제한을 두고 포착하는 모든 방식은 눈을 포함해 샷 노이즈의 영향을 받음: https://en.wikipedia.org/wiki/Shot_noise
  • 글쓴이가 필름 그레인의 장점을 설득력 있게 팔지는 못한 것 같음. 무슨 뜻이었는지는 잘 모르겠지만, 필름 그레인은 이미지의 체감 선명도와 체감 디테일을 높임. 그것이 착시일지라도 그렇다
    촬영감독 Steve Yedlin은 이를 관객의 눈이 “붙잡을” 무언가를 주는 것이라고 설명함
  • 그것이 현대 영상 압축 기법보다 더 많이 디테일을 가리는가? 영화에서 무엇이 노이즈인지는 어느 정도 주관적임

• 휴대전화 통화에서 AMR-WB 코덱은 명목상 50Hz~7000Hz를 포착함. 하지만 그건 선택 가능한 최고 비트레이트인 23.85Kbps에서만 그렇다
  가장 흔한 12.65Kbps에서는 6400Hz까지만 담고, 6400~7000Hz는 낮은 주파수와 노이즈로 합성함. 노이즈가 없는 것보다 있는 편이 더 좋게 들리기 때문임

• 필름 그레인은 사라져야 함. 그 시대는 지났음. 세피아 사진과 16fps 무성영화를 24fps로 돌리는 것도 이미 죽었고, 다음은 필름 그레인임
  Rochester의 Eastman Business Park도 철거됐음
  그리고 YouTube 영상에 먼지와 스크래치 좀 그만 넣었으면 함

  • 가짜 필름 그레인은 그럴 수 있지만, 모든 필름 그레인이 사라져야 한다는 건 유화의 붓질이 사라져야 한다고 말하는 것과 같음
  • 그런데 왜 필름 그레인이 사라져야 함?

• 영상을 먼저 촬영하고, 후반 작업에서 노이즈를 제거하고, 다시 노이즈를 넣고, 인코딩에서 또 노이즈를 제거한 뒤, 디코딩에서 다시 노이즈를 넣는다는 점이 좀 답답함

  • 너무 걱정할 필요 없음. 전부 가짜임. “촬영본”이라고 생각하는 것도 여러 소스에서 온 많은 레이어를 합성한 것일 가능성이 큼
    가짜 조명, 가짜 그림자, 가짜 하늘 등등
  • 그 과정을 알고 있을 때만 신경 쓰일 뿐이고, 영상 콘텐츠를 소비하는 사람의 99.9%는 모름. 시청자 관점에서는 비트레이트를 비용으로 신경 쓰지 않는 한 그저 중요하지 않은 구현 세부사항임

• 이제 모든 것이 가짜임. 원본 필름 스캔으로 동작하는 기술을 원함. 디테일 손실의 첫 단계인 JPEG 압축조차 하지 않는 방식이면 좋겠음
  움직임 감지, 키 프레임, 델타 프레임은 괜찮지만 무손실 영상이어야 함. 물론 Blu-ray에 담는 것이고, 스트리밍은 별로 신경 쓰지 않음

  • 4K/24p 영화를 Apple ProRes 4444 XQ로 인코딩하면, ProRes RAW도 아닌데 시간당 716GB임. 2시간 영화를 보려면 총 30장의 Blu-ray 디스크를 4분마다 갈아 끼워야 함
  • 그런 기술로 얼마나 얻을 수 있을지 궁금함. 진짜 비압축 4K 영상이라면 90분 영화가 몇 테라바이트 규모라서 가장 큰 4K Blu-ray 디스크보다 훨씬 큼. 무손실 압축을 쓰면 그보다 줄겠지만, 의미 있을 만큼 충분히 줄어들까?