▲savvykang 6달전 | parent | ★ favorite | on: 로컬에서 오픈 LLM과 코딩 어시스턴트를 사용하시나요? 환경을 공유해주세요(news.ycombinator.com)LLM 셀프호스팅 시작은 앞으로 5년 동안은 선투자 비용이 커서 수지타산이 맞지 않는 상태가 지속될 거라 생각합니다. 3~5년 후에 코드 자동완성 한정으로 적당히 빠른 하드웨어가 나와서 가격 메리트가 생겼을 때 다시 고민해볼 예정입니다 검토한 구성들 올인원 구성: 업무장비에서 LLM 구동 불가합니다. 개발툴, 브라우저 기반 앱들 돌리기에도 램이 모자랍니다 LLM 전용 머신 구성: 회사에선 그래픽카드가 없어서 구동 불가합니다. 개인용 PC로도 사양 선투자가 쉽지 않습니다
LLM 셀프호스팅 시작은 앞으로 5년 동안은 선투자 비용이 커서 수지타산이 맞지 않는 상태가 지속될 거라 생각합니다. 3~5년 후에 코드 자동완성 한정으로 적당히 빠른 하드웨어가 나와서 가격 메리트가 생겼을 때 다시 고민해볼 예정입니다
검토한 구성들