▲iolothebard 2024-06-17 | parent | ★ favorite | on: Llama-3 8B-Instruct 모델 셀프 호스팅 비용(blog.lytix.co)모델 구축하는것도 아니고 Llama 8B로 추론만 하는데 장비가 과하네요. 24G gpu(3090이나 4090)이면 충분(200~300만) 한달 전기요금 3만원 정도면 충분. 써놓고 보니 밑에 있네요 ㅎ
모델 구축하는것도 아니고
Llama 8B로 추론만 하는데 장비가 과하네요.
24G gpu(3090이나 4090)이면 충분(200~300만) 한달 전기요금 3만원 정도면 충분.
써놓고 보니 밑에 있네요 ㅎ