TSAC - Low Bitrate 오디오 압축 기술

(bellard.org)

10P by xguru 7달전 | favorite | 댓글 5개

FFMPEG/QEMU를 만든 Bellard의 새로운 프로젝트
TSAC는 오디오 압축 유틸리티로, 44.1kHz에서 모노 5.5kb/s 또는 스테레오 7.5kb/s와 같은 매우 낮은 비트레이트에 도달하면서도 좋은 음질을 제공
TSAC는 3.5분 길이의 스테레오 노래를 192KiB 크기의 파일로 압축할 수 있음
빠른 동작을 위해서는 Nvidia GPU가 필요하며, CPU만으로도 지원되지만 속도가 느림

기술 정보

TSAC는 스테레오로 확장된 Descript Audio Codec의 수정 버전과 압축률을 더욱 높이기 위한 Transformer 모델을 기반으로 함. 두 모델 모두 파라미터당 8비트로 양자화됨
Transformer 모델은 결정적이고 재현 가능한 방식으로 평가되므로, 결과는 정확한 GPU 또는 CPU 모델이나 구성된 스레드 수에 의존하지 않음. 즉 압축된 파일은 서로 다른 하드웨어나 소프트웨어 구성을 사용하여 압축 해제할 수 있음.

▲

botplaysdice 7달전 [-]

홈페이지보니 잠깐 LLM에 관심을 가지기도 했더군요;;;; 이런 사람이 이런 최신 기술을? 이런 생각이 들면서 역시 AI가 대세구나 싶었습니다.

답변달기

▲

xguru 7달전 [-]

Hacker News 의견

요약:

Bellard의 새로운 오디오 코덱인 TSAC에 대한 긍정적 반응이 많음. 특히 낮은 비트레이트에서의 성능이 기존 코덱 대비 우수한 편임.
TSAC의 압축 파일을 손상시키면 흥미로운 결과가 나옴. Fast 모드와 일반 모드의 사운드가 서로 다름.
실시간 처리를 위해서는 NVIDIA GPU가 필요하며, 모바일 기기에서의 디코딩은 부담이 될 수 있음. 저사양 임베디드 시스템에서의 활용은 제한적일 듯함.
TSAC 디코더의 압축 파일 크기가 237MB나 되어 의아함을 자아냄. 오디오 샘플이 디코더에 포함되어 있는 것 아닌가 하는 의문이 제기됨.
Codec2 등 더 낮은 비트레이트를 지원하는 코덱과의 비교가 궁금함.
DAC(TSAC의 기반 코덱) 개발자로부터 TSAC에 대한 코멘트가 있었음. Transformer를 활용한 개선 방식이 흥미로움.
TSAC의 동작 방식이 AI 음악 생성 모델들과 유사함. 일부는 토큰을 언어 모델에 입력하여 음악을 생성하고, 일부는 Diffusion 모델을 위한 연속적 표현을 제공하는 방식으로 토큰화를 대체함.
TSAC의 결정적이고 재현 가능한 평가 방식에 대한 의문이 제기됨. Floating Point와 동시성을 활용하는지 궁금해 함. AMD GPU로의 포팅이 결정론적 동작에 영향을 미칠 수 있음.
대부분의 미디어 압축 기술은 저비트레이트 시나리오에 초점을 맞추고 있음. 고비트레이트에서의 개선 효과는 어느 정도일지 궁금해 함. 예를 들어 256kbps AAC 대비 AV1의 10Mbps 성능 차이 등.

답변달기

▲

xguru 7달전 [-]

예전에 적었던 괴물 같은 아저씨 Fabrice Bellard에 대한 소개를 업데이트 하면..

Fabrice Bellard

1989년에 LZEXE 개발

1996년에 Harissa - Java Virtual Machine 이자 Java to C 코드 컴파일러

1997년에 2진법 표기시 파이(π)의 특정 자리수 값을 알아내는 공식 발표.
-> 앞자리를 전혀 계산하지 않는 방법으로 계산. 1조번째 자리는 "1"
https://en.wikipedia.org/wiki/Bellard%27s_formula

1998년에 TinyGL 발표 - 작고 임베드가능한 OpenGL 구현체

2000년에 FFMpeg 발표. 현재 우리가 보고있는 대부분의 동영상 플레이어가 사용중.

2000년에 가장 큰 소수를 찾는 448바이트 C코드로 IOCCC 우승. 이 소수는 2016년까지 발견된 가장 큰 소수였음.

2001년에 Tiny C Compiler 발표 - 초경량 C 컴파일러