Show GN: speculative_decoding.c: llama2.c 기반으로 작성한 speculative decoding C 코드
(github.com/mscheong01)C 로 구현해본 간단한 speculative decoding 인퍼런스 코드입니다.
기반으로 한 llama2.c 와 같이 교육 목적의 단순한 코드로 작성해 보았습니다.
다음으로는 조금 더 최신 논문들을 구현해 볼 예정입니다.
C 로 구현해본 간단한 speculative decoding 인퍼런스 코드입니다.
기반으로 한 llama2.c 와 같이 교육 목적의 단순한 코드로 작성해 보았습니다.
다음으로는 조금 더 최신 논문들을 구현해 볼 예정입니다.