알려주셔서 감사합니다. 우선 정적 사이트가 아니므로 굳이 프론트엔드단에서 처리보단 백엔드에서 수행하고 API 키를 최대한 숨기려고 합니다.
이전엔 그럴 생각이 적긴 했지만, OpenAI나 다른 API를 선거날 7일전이나 14일전에 할 예정입니다.
그 전까지는 아무리 소형모델로 비용을 줄일수 있다하지만 얼만큼 사용될지 추정이 안되어서 사용에 조심스럽습니다.
WebLLM 은 덕분에 알아봤습니다. 저는 딥러닝 연구하는 입장에서 모델을 CDN 등에 서빙하고 실행할 걸 고민했는데 저렇게 서빙해주는 걸 알게되었네요. 그러나 여전히 고민스러운 부분은 있습니다. 프론트엔드에서 수행되면 물론 부하는 줄지만 초기 모델 서빙 부분이 조금 오래걸리는게 문제이지 않을까 싶습니다. 이 부분은 고민이 돼네요. 그래도 덕분에 저런 좋은 프로젝트를 알게되었습니다. 제대로 보진 않아서 ReadMe에 있는 모델만 되는지 호환되는 모델들도 서빙되는건지 아니면 다른 CDN에 올려야하는지 온전히 이해하진 못했네요. 제 생각에는 따로 모델 자체를 서빙해야할 것 같습니다. 그러면 이 부분이 고민될 것 같네요. 해외는 모르겠지만 국내에선 모델을 서빙할 CDN이 있을까 해서요. 제가 찾아본 국내 CDN은 대게 이미지만 허용하는 것으로 알고 있어서요.