Show GN: Ailoy: 쉬운 on-device AI agent 제작 도구
(github.com/brekkylab)ailoy라고, LLM agent를 쉽게 만들어주는 라이브러리입니다.
python / javacript(node) 두가지 버전이고, 현존하는 툴들 중에 제일 쉽다고 자부합니다.
머신러닝 전문가 아니어도 만들 수 있는 것이 장점입니다.
구글 오픈ai 앤트로픽 다 결국 api를 많이 쓰게 하려다보니, 돈먹는 하마인 것 같아서 on-device AI로 agent를 돌릴 수 있도록 만들어 봤습니다.
깃헙 디스코드 링크로 오시면 막히는 점 도와드리겠습니다. 한번 써보시고 의견 남겨주시면 감사하겠습니다!
확실히 gpt 시리즈라던지 deepseek r1에 비해서는 아쉬운 느낌이 있습니다. 30B 모델은 확실히 괜찮은데 이쪽은 on-device로 하려면 5090정도 되는 GPU가 있어야된다는 단점이 있구요....
그래서 openai 모델이랑 비슷한 성능을 내면서 토큰 최적화를 하려면 openai를 사용하면서 쉬운 태스크는 local model을 사용하는 하이브리드 방식이 제일 좋은 것 같습니다.