GN⁺: Meta LLM 컴파일러 발표
(twitter.com/AIatMeta)- Meta가 Code Llama를 기반으로 개발한 코드 최적화 및 컴파일러 기능을 갖춘 LLM Compiler 모델군 발표
- 이 모델들은 다음과 같은 기능 보유:
- 컴파일러 에뮬레이션
- 코드 크기 최적화를 위한 최적의 패스 예측
- 코드 역어셈블
- 새로운 최적화 및 컴파일러 작업을 위해 미세 조정 가능
주요 특징
- 코드 크기 최적화 및 역어셈블리에서 최고 수준의 결과 달성
- AI가 코드 최적화를 학습하고 있으며, 컴파일러 전문가들의 최적화 기회 식별을 지원할 수 있음을 입증
모델 공개
- LLM Compiler 7B 및 13B 모델을 연구 및 상업적 사용 모두에 대해 허용적인 라이선스로 공개
- 개발자와 연구자들이 쉽게 활용하고 이 분야의 새로운 연구를 수행할 수 있도록 지원
Hacker News 의견
- LLM을 컴파일러/디컴파일러로 사용하는 것은 흥미로운 응용임
- 컴파일러는 신뢰성과 정확성이 중요함
- LLM은 본질적으로 예측 불가능하므로 빌드 파이프라인에 포함하는 것이 이상하게 느껴짐
- 논문에서는 CodeLlama를 시작으로 세 가지 작업에 모델을 훈련시켰음
- 첫 번째 작업은 컴파일: 입력 코드와 컴파일러 플래그를 주고 출력 어셈블리를 예측하는 것
- 두 번째 작업은 컴파일러 플래그 예측/최적화: 어셈블리 크기를 최적화하는 것
- 세 번째 작업은 디컴파일: 이전 접근 방식보다 장점이 있다고 주장함
- 디컴파일 접근 방식의 검증 가능성에 문제가 있음
- 디컴파일된 코드를 다시 컴파일하여 정확성을 확인하는 방법을 사용함
- 정확도가 약 45%로 아직 신뢰할 수 없지만 전통적인 디컴파일러와 함께 사용하면 유용할 수 있음
- 이 모델이 성능 최적화로 확장될 수 있는지 탐구해보고 싶음
- LLM이 직관을 제공하고 기계적/엄격한 방식으로 처리하는 시스템이 증가할 것 같음
- LLM이 입력의 의미를 보존하는지 확인하는 방법이 궁금함
- 이전 연구는 GitHub에서 확인할 수 있음
- Twitter는 이 연구에 감명받았지만, 프로그램을 망칠 가능성이 높다고 생각함
- Meta의 다른 AI 논문과 달리 Instagram, Facebook, Meta에서 사용된다는 언급이 없음
- "LLM Compiler"보다 "Compiler LLM"이 더 정확한 이름일 것 같음
- 이 작업의 목적을 이해하지 못하겠음
- <i>Deus Ex</i> 게임에서 Meta Technologies Neural Optimizer와 Disassembler를 거래했던 기억이 있음