# Meta LLM 컴파일러 발표

> Clean Markdown view of GeekNews topic #15601. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=15601](https://news.hada.io/topic?id=15601)
- GeekNews Markdown: [https://news.hada.io/topic/15601.md](https://news.hada.io/topic/15601.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2024-06-30T09:59:04+09:00
- Updated: 2024-06-30T09:59:04+09:00
- Original source: [twitter.com/AIatMeta](https://twitter.com/AIatMeta/status/1806361623831171318/photo/1)
- Points: 6
- Comments: 2

## Topic Body

- Meta가 Code Llama를 기반으로 개발한 코드 최적화 및 컴파일러 기능을 갖춘 LLM Compiler 모델군 발표  
- 이 모델들은 다음과 같은 기능 보유:  
  - 컴파일러 에뮬레이션  
  - 코드 크기 최적화를 위한 최적의 패스 예측  
  - 코드 역어셈블  
- 새로운 최적화 및 컴파일러 작업을 위해 미세 조정 가능  
  
### 주요 특징  
  
- 코드 크기 최적화 및 역어셈블리에서 최고 수준의 결과 달성  
- AI가 코드 최적화를 학습하고 있으며, 컴파일러 전문가들의 최적화 기회 식별을 지원할 수 있음을 입증  
  
### 모델 공개  
  
- LLM Compiler 7B 및 13B 모델을 연구 및 상업적 사용 모두에 대해 허용적인 라이선스로 공개  
- 개발자와 연구자들이 쉽게 활용하고 이 분야의 새로운 연구를 수행할 수 있도록 지원

## Comments



### Comment 26820

- Author: ragingwind
- Created: 2024-07-01T09:59:55+09:00
- Points: 1

아이디어는 재미있어 보이네요.

### Comment 26792

- Author: neo
- Created: 2024-06-30T09:59:04+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=40819479) 
- LLM을 컴파일러/디컴파일러로 사용하는 것은 흥미로운 응용임
- 컴파일러는 신뢰성과 정확성이 중요함
- LLM은 본질적으로 예측 불가능하므로 빌드 파이프라인에 포함하는 것이 이상하게 느껴짐
- 논문에서는 CodeLlama를 시작으로 세 가지 작업에 모델을 훈련시켰음
  - 첫 번째 작업은 컴파일: 입력 코드와 컴파일러 플래그를 주고 출력 어셈블리를 예측하는 것
  - 두 번째 작업은 컴파일러 플래그 예측/최적화: 어셈블리 크기를 최적화하는 것
  - 세 번째 작업은 디컴파일: 이전 접근 방식보다 장점이 있다고 주장함
- 디컴파일 접근 방식의 검증 가능성에 문제가 있음
- 디컴파일된 코드를 다시 컴파일하여 정확성을 확인하는 방법을 사용함
- 정확도가 약 45%로 아직 신뢰할 수 없지만 전통적인 디컴파일러와 함께 사용하면 유용할 수 있음
- 이 모델이 성능 최적화로 확장될 수 있는지 탐구해보고 싶음
- LLM이 직관을 제공하고 기계적/엄격한 방식으로 처리하는 시스템이 증가할 것 같음
- LLM이 입력의 의미를 보존하는지 확인하는 방법이 궁금함
- 이전 연구는 GitHub에서 확인할 수 있음
- Twitter는 이 연구에 감명받았지만, 프로그램을 망칠 가능성이 높다고 생각함
- Meta의 다른 AI 논문과 달리 Instagram, Facebook, Meta에서 사용된다는 언급이 없음
- "LLM Compiler"보다 "Compiler LLM"이 더 정확한 이름일 것 같음
- 이 작업의 목적을 이해하지 못하겠음
- <i>Deus Ex</i> 게임에서 Meta Technologies Neural Optimizer와 Disassembler를 거래했던 기억이 있음