▲popkins 8달전 | parent | ★ favorite | on: Ask HN: ChatGPT가 7억 명을 서비스할 수 있는데, 나는 왜 GPT-4 하나도 로컬에서 못 돌릴까?(news.ycombinator.com)openai의 경우 nvidia하드웨어만이 아닌 amd의 mi300x도 추론에 사용중임 학습에는 엔비디아온리지만 추론에선 어떻게든 투자비용대비 vram확보하려고 혈안중임 ms의 경우도 마찬가지로 추론에는 nvidia와 amd섞어쓰고있고 ▲popkins 8달전 [-]특히 아시아쪽 azure리전에서 openai가쓰는 amd비중이 nvidia 8 / amd 2정도임 답변달기
openai의 경우 nvidia하드웨어만이 아닌 amd의 mi300x도 추론에 사용중임 학습에는 엔비디아온리지만
추론에선 어떻게든 투자비용대비 vram확보하려고 혈안중임
ms의 경우도 마찬가지로 추론에는 nvidia와 amd섞어쓰고있고