ajh508 1 karma 가입일 2024-02-17 최근 활동 최근 작성한 댓글 전체 보기 프롬프트 캐싱 안되면 토큰이 그냥 녹을거같은데요 최근 triton이나 cuda 이용해서 gpu커널 개발을 좀 하고 있는데, 3.5만해도 제대로 실행되는걸 못보다가 4.5에서는 어느정도 제대로된 코드나 최적화를 해주는게 보이더라구요 다소 협소하긴한데 홈랩 구축시 도움을 많이 받았던 곳이 생각나네요 https://svrforum.com/ 그런 전문 커뮤니티가 있으면 좋을것 같긴 합니다. 여태 뭐하나 나올때마다 호들갑은 계속 떨었는데 openAI 넘는건 하나도 없었던 거같은데.. 개인적으론 모든 백본을 Mamba로 교체한 LLM이 빨리 나왔으면 하네요 확장되서 conda를 대체할수있으면 좋겠네요 전체 배지 장기 활동 스페셜 더 많은 GeekBadge가 있습니다. 활동을 통해 모으거나, GeekGold로 구매해 보세요.
