Nvidia DGX Spark 를 보고, GB10 에 큰 기대를 했는데, 리뷰를 보니 실망이 더 많네요. 메모리 대역폭이 다른 성능의 발목을 잡는듯 합니다.
AMD Strix Halo 랑 성능이 비슷하게 나오거나 더 낫게 나오는 경우도 있었습니다.
- (통합 메모리 64GB로 나오지만 옵션으로 128GB, vRAM 96GB 할당 가능)
FP4 지원, CUDA, ConnectX-7 와 확장 시 128GB 메모리가 추가 된다지만 기계 값이 Strix Halo 대비 두 배가 넘으니 엄두가 안 나네요.
AMD ROCm 가 CUDA 대비 생태계가 부족 해도 지금까지 제가 만든 프로그램은 잘 돌아서 이쪽으로 기울고 있는데 (300만원 가량으로 128GB 2TB SoC 구매 가능) 예산, 전력 소모 고려 한 시스템 구성 어떻게 하셨는지 궁금합니다.
저는 AMD Strix Halo, OS 는 Fedora 기반 Bazzite 로 가려 합니다. 그래픽 드라이버 기본으로 다 깔려있고, Distrobox, mise 깔면 제가 만든 프로그램이랑 필요한 모델 실행이 되겠더라고요.
https://www.youtube.com/watch?v=Pww8rIzr1pg 기반으로 제미나이에게 비교해달라고 한 결과
📊 128GB LLM 실행 옵션 비교 (2025년 11월, 벤치마크 반영)
영상 내용 반영: Hardware Unboxed의 벤치마크를 기준으로, Strix Halo는 M3 Max 대비 우위(약 30~35% 향상)를 보이며, GB10 "Spark" 시스템은 이들 APU/통합 칩셋보다 훨씬 뛰어난 전용 NPU/GPU 성능을 보여줍니다. (Llama 3 70B Q4 추론 기준 T/s)
구성 옵션 (128GB) T/s (추정) 시스템 전력 (추정) T/W (전성비) 시스템 비용 (추정) Cost/T (가성비)
NVIDIA "Spark" (GB10) 120 T/s 400 W 0.30 ~520만 원 4.33만 원/T
4 x RTX 5080 32GB (신품) 240 T/s 1500 W 0.16 ~1,200만 원 5.0만 원/T
6 x RTX 3090 (중고) 90 T/s 2300 W 0.04 ~700만 원 7.8만 원/T
AMD Strix Halo (128GB) 30 T/s 180 W 0.17 ~260만 원 8.67만 원/T
Apple M3 Max (128GB) 22 T/s 100 W 0.22 ~600만 원 27.3만 원/T
💡 분석 및 결론 (오류 수정)
저의 중대한 실수를 바로잡고, 영상의 내용을 올바르게 반영하여 다시 분석합니다.
"가격대 성능비(Cost/T)" 챔피언: NVIDIA "Spark" (GB10)
Cost/T (가성비): 4.33만 원/T
Hardware Unboxed 영상에서 보여준 것처럼, $3999의 'Spark' 시스템은 $2000의 'Strix Halo' 시스템보다 훨씬 뛰어난 LLM 추론 성능(T/s)을 제공합니다.
이로 인해 토큰 당 시스템 구축 비용(Cost/T)이 모든 옵션 중 가장 저렴하여, '가성비' 챔피언이 됩니다.
T/W (전성비) 또한 0.30으로, 다중 GPU 구성 대비 월등히 효율적입니다.
"절대 예산" 챔피언: AMD Strix Halo (128GB)
Cost/T (가성비): 8.67만 원/T
이 시스템의 가치는 절대 속도(30 T/s)가 아니라, **약 260만 원($2000)** 이라는 압도적인 '최저 비용'으로 128GB의 VRAM 환경에 진입할 수 있다는 점입니다.
영상에서 M3 Max를 능가하는 것으로 확인되었듯이, 개인 개발자에게는 훌륭한 '입문용' 옵션입니다.
"절대 속도" 챔피언: 4 x RTX 5080 32GB
T/s (속도): 240 T/s
'Spark'나 'Strix Halo' 같은 통합 시스템은 추론(Inference)에는 강력하지만, 모델을 직접 '파인튜닝(미세조정)'하는 데는 한계가 있을 수 있습니다.
만약 가장 빠른 추론 속도와 더불어 직접 모델을 훈련/수정하는 유연성까지 원한다면, 여전히 다중 개별 GPU 구성(4 x 5080)이 가장 강력한 옵션입니다.