Meta LLM 컴파일러 발표

• Meta가 Code Llama를 기반으로 개발한 코드 최적화 및 컴파일러 기능을 갖춘 LLM Compiler 모델군 발표
• 이 모델들은 다음과 같은 기능 보유:
  • 컴파일러 에뮬레이션
  • 코드 크기 최적화를 위한 최적의 패스 예측
  • 코드 역어셈블
• 새로운 최적화 및 컴파일러 작업을 위해 미세 조정 가능

주요 특징

• 코드 크기 최적화 및 역어셈블리에서 최고 수준의 결과 달성
• AI가 코드 최적화를 학습하고 있으며, 컴파일러 전문가들의 최적화 기회 식별을 지원할 수 있음을 입증

모델 공개

• LLM Compiler 7B 및 13B 모델을 연구 및 상업적 사용 모두에 대해 허용적인 라이선스로 공개
• 개발자와 연구자들이 쉽게 활용하고 이 분야의 새로운 연구를 수행할 수 있도록 지원

[ragingwind]

아이디어는 재미있어 보이네요.

[GN⁺]

Hacker News 의견

• LLM을 컴파일러/디컴파일러로 사용하는 것은 흥미로운 응용임
• 컴파일러는 신뢰성과 정확성이 중요함
• LLM은 본질적으로 예측 불가능하므로 빌드 파이프라인에 포함하는 것이 이상하게 느껴짐
• 논문에서는 CodeLlama를 시작으로 세 가지 작업에 모델을 훈련시켰음
  • 첫 번째 작업은 컴파일: 입력 코드와 컴파일러 플래그를 주고 출력 어셈블리를 예측하는 것
  • 두 번째 작업은 컴파일러 플래그 예측/최적화: 어셈블리 크기를 최적화하는 것
  • 세 번째 작업은 디컴파일: 이전 접근 방식보다 장점이 있다고 주장함
• 디컴파일 접근 방식의 검증 가능성에 문제가 있음
• 디컴파일된 코드를 다시 컴파일하여 정확성을 확인하는 방법을 사용함
• 정확도가 약 45%로 아직 신뢰할 수 없지만 전통적인 디컴파일러와 함께 사용하면 유용할 수 있음
• 이 모델이 성능 최적화로 확장될 수 있는지 탐구해보고 싶음
• LLM이 직관을 제공하고 기계적/엄격한 방식으로 처리하는 시스템이 증가할 것 같음
• LLM이 입력의 의미를 보존하는지 확인하는 방법이 궁금함
• 이전 연구는 GitHub에서 확인할 수 있음
• Twitter는 이 연구에 감명받았지만, 프로그램을 망칠 가능성이 높다고 생각함
• Meta의 다른 AI 논문과 달리 Instagram, Facebook, Meta에서 사용된다는 언급이 없음
• "LLM Compiler"보다 "Compiler LLM"이 더 정확한 이름일 것 같음
• 이 작업의 목적을 이해하지 못하겠음
• <i>Deus Ex</i> 게임에서 Meta Technologies Neural Optimizer와 Disassembler를 거래했던 기억이 있음