최근 빅테크들이 파라미터 수를 높이며 성장했는데 방향성이 바뀔려나요?
제 개인적으로는 점점 파라미터 올리면서 성장하는게 사실 답이 없다라고 생각했어서요.
당장의 미래를 포기하고 성장한다는 느낌이라고 할까요? 특히 MoE가 가장 심할 때라고 보였어요.
구글의 Gemma 3 27b 정도 높은 편이였는데 이제는 LLM에서는 그 정도의 파라미터 수는 적은 것 처럼 보였었죠.
기술발전도 중요하지만 실제 그걸 서빙하는 단계를 고려한 무언가가 나와야 하지 않을까 싶은데 이번거는 괜찮은 시도인것 같네요.
(파라미터 늘어나는거에 회의적인 이유는 성능 좋은건 알겠는데 그걸 서빙하는데 더 큰 비용이 들기 때문이였습니다.)