▲cosine20 2023-07-26 | parent | ★ favorite | on: 가장 인상 깊었던 최근 논문은 무엇인가요?(news.ycombinator.com)Integral Neural Networks가 굉장히 인상적이네요. 가중치 분포를 이산화한다는 개념이 핵심 같은데 샘플링이론처럼 연속함수로 표현된 가중치 분포를 이산화해서 연산량을 최적화시킬수 있다는 얘기같네요. 최근의 LLM들도 보면 모델을 양자화시켜서 비슷한 성능에 적은 연산량을 필요로하는 모델을 만들기도 하던데 비슷한 방법론 같아요.
Integral Neural Networks가 굉장히 인상적이네요.
가중치 분포를 이산화한다는 개념이 핵심 같은데 샘플링이론처럼 연속함수로 표현된 가중치 분포를 이산화해서 연산량을 최적화시킬수 있다는 얘기같네요.
최근의 LLM들도 보면 모델을 양자화시켜서 비슷한 성능에 적은 연산량을 필요로하는 모델을 만들기도 하던데 비슷한 방법론 같아요.