# Meta(구 Facebook), 내부 사용하던 AI용 고성능 압축 솔루션 'OpenZL' 오픈소스로 공개

> Clean Markdown view of GeekNews topic #23498. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=23498](https://news.hada.io/topic?id=23498)
- GeekNews Markdown: [https://news.hada.io/topic/23498.md](https://news.hada.io/topic/23498.md)
- Type: news
- Author: [darjeeling](https://news.hada.io/@darjeeling)
- Published: 2025-10-07T16:12:33+09:00
- Updated: 2025-10-07T16:12:33+09:00
- Original source: [openzl.org](https://openzl.org/)
- Points: 28
- Comments: 3

## Summary

Meta가 **AI·머신러닝** 환경에서 사용하는 대규모 데이터셋에 최적화된 **고성능 데이터 압축 프레임워크**인 OpenZL을 오픈소스로 공개했습니다. 이 솔루션은 데이터 구조를 분석해 맞춤형 압축기를 생성하는 **Format-Aware** 방식으로, 기존 범용 기술을 뛰어넘는 **압축률**과 **속도**를 동시에 제공합니다.

## Topic Body

Meta(구 Facebook)가 내부적으로 사용해 온 고성능 데이터 압축 프레임워크 'OpenZL'을 오픈소스로 공개했습니다. 특히 AI 및 머신러닝 워크로드와 같이 방대한 양의 특수 데이터셋 처리에 최적화된 OpenZL은, 기존 범용 압축 솔루션의 한계를 뛰어넘는 **높은 압축률**과 **빠른 속도**를 동시에 제공합니다.  
  
##### 특징 및 기능  
  
OpenZL의 가장 큰 특징은 데이터 형식에 최적화된 **맞춤형 압축기**를 생성하는 'Format-Aware' 압축 방식에 있습니다. 데이터의 구조를 분석하여 가장 효율적인 압축 알고리즘을 구축하므로, 데이터센터 워크로드에서 요구하는 빠른 처리 속도를 유지하면서도 범용 압축기로는 불가능했던 수준의 높은 압축률을 달성합니다.  
  
또한, 생성된 모든 특수 압축기는 단일 **범용 압축 해제기**와 호환되어 시스템 유지보수가 용이하며, 'Trace Visualizer' 도구를 통해 압축 과정을 시각적으로 분석할 수 있는 기능도 제공합니다.  
  
##### 성능 데이터 (실레시아 압축 코퍼스 SAO 데이터 기준)  
  
| 구분 | **OpenZL** | zstd -3 | xz -9 |  
| :--- | :--- | :--- | :--- |  
| **압축률** | **x2.06** | x1.31 | x1.64 |  
| **압축 속도** | **203 MB/s** | 115 MB/s | 3.1 MB/s |  
| **압축 해제 속도**| **822 MB/s** | 890 MB/s | 30 MB/s |  
  
Meta의 이번 OpenZL 오픈소스 공개는 대용량 데이터 처리가 필수적인 AI 및 다양한 산업 분야에서 데이터 저장 및 전송 비용을 절감하고, 작업 효율성을 크게 향상시키는 데 기여할 것으로 기대됩니다.

## Comments



### Comment 44670

- Author: xguru
- Created: 2025-10-08T07:34:58+09:00
- Points: 1

[OpenZL: 파일 포맷 인식이 가능한 오픈소스 압축 프레임워크](https://news.hada.io/topic?id=23499)  
페이스북의 소개글을 AI가 번역한 것도 같이 참고하세요

### Comment 44663

- Author: t7vonn
- Created: 2025-10-07T21:23:15+09:00
- Points: 1

압축은 메타가 이끌고가네요 ㄷㄷ zstd도 큰 발전이었는데

### Comment 44664

- Author: darjeeling
- Created: 2025-10-07T23:32:05+09:00
- Points: 1
- Parent comment: 44663
- Depth: 1

내부에서 이미 잘 쓰다가.. 공개라는것은..  
큰거 한발 더 온다는거죠.