- Google이 AI 기반의 파일 유형 식별 시스템인 Magika를 오픈소스로 공개
- Magika는 맞춤형, 최적화된 딥러닝 모델을 사용하여 CPU에서도 수밀리초 내에 정확한 파일 식별이 가능함
- Magika 웹 데모를 사용해볼 수 있으며,
pip install magika명령어로 파이썬 라이브러리 및 독립 실행형 명령줄 도구로 설치할 수 있음
파일 유형 식별이 어려운 이유
- 컴퓨팅 초기부터 파일 유형을 정확히 감지하는 것은 파일 처리 방법을 결정하는 데 중요함.
- 리눅스는 libmagic과 file 유틸리티를 갖추고 있으며, 이는 50년 이상 파일 유형 식별의 사실상 표준으로 사용됨.
- 파일 유형 감지는 웹 브라우저, 코드 편집기 등 다양한 소프트웨어에서 파일을 올바르게 렌더링하는 데 필수적임.
- 파일 형식마다 구조가 다르거나 구조가 없기 때문에 정확한 파일 유형 감지는 악명 높은 문제임.
- libmagic과 대부분의 파일 유형 식별 소프트웨어는 각 파일 형식을 감지하기 위해 수작업으로 만든 휴리스틱과 규칙에 의존함.
- 이러한 수작업 접근 방식은 시간 소모적이고 오류가 발생하기 쉬움.
Magika 성능
- Magika는 AI 모델과 대규모 훈련 데이터셋 덕분에 100가지 이상의 파일 유형을 포함하는 100만 파일 벤치마크에서 기존 도구보다 약 20% 더 나은 성능을 보임.
- 특히 텍스트 파일, 코드 파일, 설정 파일 등 다른 도구들이 어려워하는 파일 유형에서 더 큰 성능 향상을 보임.
Magika의 Google 내 사용
- Magika는 Google 내부에서 Gmail, Drive, Safe Browsing 파일을 적절한 보안 및 콘텐츠 정책 스캐너로 라우팅하여 사용자의 안전을 향상시키는 데 사용됨.
- 수백억 개의 파일을 주간 평균으로 볼 때, Magika는 수작업 규칙에 의존하던 이전 시스템에 비해 파일 유형 식별 정확도를 50% 향상시킴.
- Magika는 VirusTotal과의 통합을 통해 기존 Code Insight 기능을 보완하고, 글로벌 사이버보안 생태계에 기여하여 더 안전한 디지털 환경을 조성할 예정임.
Magika 오픈 소싱
- Magika를 오픈 소싱함으로써 다른 소프트웨어의 파일 식별 정확도 향상과 연구자들에게 대규모로 파일 유형을 식별하는 신뢰할 수 있는 방법을 제공하고자 함.
- Magika 코드와 모델은 Github에서 Apache2 라이선스 하에 무료로 제공되며, pypi 패키지 매니저를 통해 쉽게 설치할 수 있음.
- Magika 사용법에 대한 자세한 내용은 Magika 문서 사이트를 참조할 것.
GN⁺의 의견
- Magika의 오픈소스 공개는 파일 유형 식별의 정확성을 향상시키는 데 큰 도움이 될 것으로 보임.
- 특히 보안 분야에서 정확한 파일 식별은 매우 중요하며, Magika는 이를 위한 강력한 도구가 될 수 있음.
- Google의 기술력과 오픈소스 커뮤니티에 대한 기여는 글로벌 사이버보안 생태계를 강화하는 데 중요한 역할을 할 것으로 예상됨.