▲bmrcreative90 10달전 | parent | ★ favorite | on: Show GN: Ailoy: 쉬운 on-device AI agent 제작 도구(github.com/brekkylab)확실히 gpt 시리즈라던지 deepseek r1에 비해서는 아쉬운 느낌이 있습니다. 30B 모델은 확실히 괜찮은데 이쪽은 on-device로 하려면 5090정도 되는 GPU가 있어야된다는 단점이 있구요.... 그래서 openai 모델이랑 비슷한 성능을 내면서 토큰 최적화를 하려면 openai를 사용하면서 쉬운 태스크는 local model을 사용하는 하이브리드 방식이 제일 좋은 것 같습니다. ▲bmrcreative90 10달전 [-]그래도 못쓸 정도는 아니고, 복잡한 태스크가 아니라 번역, 요약 정도는 그렇게 큰 차이가 없다는 느낌이긴 합니다... ㅎㅎ 답변달기▲netcleaner 10달전 [-]그렇군요^^ 답변감사합니다 답변달기
확실히 gpt 시리즈라던지 deepseek r1에 비해서는 아쉬운 느낌이 있습니다. 30B 모델은 확실히 괜찮은데 이쪽은 on-device로 하려면 5090정도 되는 GPU가 있어야된다는 단점이 있구요....
그래서 openai 모델이랑 비슷한 성능을 내면서 토큰 최적화를 하려면 openai를 사용하면서 쉬운 태스크는 local model을 사용하는 하이브리드 방식이 제일 좋은 것 같습니다.