talk-llama - 터미널에서 LLaMA와 대화하기

• Whisper Medium(Whisper.cpp) + LLaMA v2 13B Q8_0 을 M2 Ultra에서 시연
• Whisper로 음성인식하여 해당 질문을 LLaMA에게 보낸뒤 답변을 MacOS의 음성합성(say 명령)을 이용해서 출력
• 세션 관리를 지원해서 기존 대화 내용에 기반한 연속적인 대화 가능

[ragingwind]

13B 는 울트라에서 잘 되는거 같아요. M3 Max 에서는 어떨까 궁금하네요