AMD Ryzen AI Halo, $4000(약 600만원) AI 개발 키트

 (lttlabs.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 로컬 AI 개발 환경을 직접 맞추는 부담을 줄이기 위해, Ryzen AI Halo는 Ryzen AI Max+ 395 미니 PC에 ROCm·드라이버·모델·개발 도구를 묶어 제공함
  • 단일 구성은 16코어/32스레드 Zen 5 CPU, Radeon 8060S 내장 GPU, XDNA 2 NPU, 128GB LPDDR5x-8000 통합 메모리, 2TB SSD로 구성되며 가격은 $3,999.99 USD
  • llama-bench에서는 Apple Silicon Mac Studio가 Ryzen AI Max+ 395 장비보다 앞섰고, 특히 토큰 생성은 메모리 대역폭 차이 때문에 Gemma 4에서 2~3배 높은 성능을 보임
  • Halo의 차별점은 새 프로세서가 아니라 AMD Ryzen AI Developer Center, Best Known Configurations, AMD AI Playbooks처럼 호환성이 맞춰진 출발점을 제공한다는 데 있음
  • AMD Lemonade와 FastFlowLM으로 XDNA 2 NPU에서 gpt-oss-20b-FLM을 실행했으며, CPU/GPU 사용률이 거의 없는 상태에서 최대 35W와 20 tokens/s 생성을 확인함

Ryzen AI Max+ 395 기반 미니 AI 개발 키트

  • AMD Ryzen AI Halo는 Zen 5 기반 AMD Ryzen AI Max+ 395 프로세서를 중심으로 만든 소형 PC로, ROCm 또는 AMD 하드웨어 기반 AI 개발 학습을 쉽게 시작하도록 설계됨
  • 프로세서는 16코어/32스레드 구성이며, 대부분의 AI 작업은 Radeon 8060S 통합 그래픽이 담당함
  • 과거 활용 사례가 많지 않았던 NPU도 이번 장치에서는 실제로 사용할 수 있었음
  • 단일 하드웨어 구성으로 판매되며 주요 사양은 다음과 같음
    • 탈착 가능한 2TB M.2 SSD
    • 128GB LPDDR5x-8000 통합 메모리
    • 메모리 대역폭 256GB/s
  • 2TB 저장공간은 로컬 모델을 쌓아두기에 충분하고, 128GB 메모리는 적당한 크기의 모델 몇 개를 올린 뒤에도 시스템 운영 공간을 남길 수 있는 수준임
  • 판매가는 $3,999.99 USD이며, Windows 11 Pro 또는 Linux가 사전 설치된 단일 구성으로 구매 가능함
  • 사용자가 받은 뒤 원하는 OS를 설치할 수 있지만, AMD가 공장 출하용 Linux/Windows 이미지와 패키지된 드라이버·프로그램·모델을 별도로 제공하지는 않을 것으로 파악됨
  • 테스트 제품은 Debian 13.4 기반 커스텀 AMD Linux 배포판을 실행하는 Linux 버전임

작은 섀시와 확장성

  • Halo는 마케팅 이미지와 달리 매우 작은 상자형 장치로, 바닥 면적은 약 15cm 정사각형, 높이는 5cm 미만임
  • 무게는 1.2kg이지만, 휴대하려면 필수 구성인 240W 전원 어댑터까지 함께 고려해야 함
  • 전원 버튼과 포트는 모두 후면에 배치됨
    • USB 3.2 Type-C 포트 4개
    • HDMI 2.1 포트 1개
    • 10GbE 이더넷 포트 1개
    • Wi-Fi 7 및 Bluetooth 5.4
    • 전원 버튼에 가장 가까운 USB-C 포트는 USB-C Power Delivery 입력 전용
  • 명확한 적층 구조는 없지만, 코너 받침과 모든 측면의 흡기구 덕분에 Windows와 Linux를 따로 쓰거나 클러스터를 구성하는 식으로 쌓아둘 여지가 있음
  • 냉각은 블로어 팬 2개가 상단과 측면에서 공기를 흡입해 방열판을 통과시킨 뒤 후면으로 배출하는 구조임
  • 평소에는 조용하지만, 내부 프로세서의 120W TDP를 처리할 때는 팬 속도가 올라갈 수 있음
  • 케이스 하단의 흰색 조명 링은 절전 상태에서 파란색으로 점멸하며, 조명은 끌 수 있음

분해와 내부 구성

  • 밀집형 미니 PC 구조라 내부에서 직접 확인할 수 있는 부분은 많지 않지만, 자석식 탈착 받침 아래 볼트 4개를 제거하면 하단 커버를 열 수 있음
  • M.2 2280 SSD는 추가 분해 없이 쉽게 접근 가능함
  • 상단 셸을 제거해 컴퓨트 코어를 드러내려면 몇 개의 연결부를 더 분리해야 함
  • 코어 자체는 꺼낼 수 있지만, 사용자가 추가로 손댈 부분은 많지 않음
  • 하단 케이스를 처음 열었을 때 보이는 금속판은 볼트 4개로 분리 가능하지만, 열전도 재료를 건드리지 않기 위해 제거하지 않았음

llama-bench로 본 LLM 성능

  • Ryzen AI Max+ 395, 코드명 Strix Halo는 2025년 봄부터 이미 제공된 프로세서라 Halo가 이 부분에서 새로운 성능을 내세우지는 않음
  • 같은 프로세서를 쓰는 다른 하드웨어로는 Framework Desktop, Beelink GTR9 Pro, X+ Rival, ACEMAGIC M1A PRO가 있음
  • 성능 테스트는 제품의 핵심인 소프트웨어 구성을 보기 전에, 기대 수준의 성능이 나오는지 확인하기 위한 용도임
  • 테스트는 llama.cpp에 포함된 llama-bench를 중심으로 진행됨
    • llama.cpp는 GGUF 형식의 대형 언어 모델을 로드하고 실행하는 오픈소스 추론 엔진임
    • llama-bench는 프롬프트 처리(prompt processing, pre-fill)와 토큰 생성(token generation, decoding)을 측정함
  • LLM 토큰/초 성능은 호환성 차이와 변동성에 민감하므로, 결과는 여러 출처와 함께 봐야 함

기본 llama-bench 테스트 결과

  • 기본 테스트는 pp512/tg128 구성으로, 사용자가 512 토큰을 입력하고 모델이 128 토큰을 생성하는 상황을 시뮬레이션함
  • 사용 모델은 최근 관심을 받은 17~32GB급 모델 3개임
    • Qwen 3.6 35B A3B(Q4_K_M)
    • Gemma 4 31B IT(IQ4_XS)
    • GLM 4.7 Flash(Q8_0)
  • 비교 대상은 다음 장치였음
    • AMD Ryzen AI Halo: AI Max+ 395, 128GB
    • Framework Desktop: AI Max+ 395, 128GB
    • M2 Ultra Mac Studio: 76코어 GPU, 128GB 통합 메모리
    • M3 Ultra Mac Studio: 80코어 GPU, 512GB 통합 메모리
  • Halo와 Framework Desktop에서는 ROCm/HIP와 Vulkan 런타임을 모두 사용함
  • Apple Silicon Mac Studio가 AMD Ryzen AI Max+ 395 장비보다 더 높은 성능을 냈고, 주요 차이는 Mac의 약 800GB/s 메모리 대역폭과 Max+ 395의 256GB/s 대역폭에서 나옴
  • 프롬프트 처리 구간은 일반적으로 연산 제약이 크며, dense 모델인 Gemma 4에서는 Apple Silicon과 Max+ 395의 차이가 메모리 대역폭만 비교했을 때보다 작게 나타남
  • Qwen 3.6 35B A3B와 GLM 4.7 Flash 같은 sparse Mixture of Experts 모델의 프롬프트 처리는 연산 의존도가 낮아 Mac의 메모리 대역폭 이점이 더 크게 드러남
  • 토큰 생성은 일반적으로 메모리 대역폭 제약이 훨씬 크며, Gemma 4에서는 Apple Silicon 장치가 2~3배 높은 토큰/초 성능을 보임
  • Ryzen AI Max+ 395에서 Vulkan과 ROCm/HIP 사이에는 명확한 승자가 없었음
    • 더 빠른 백엔드는 호환성, 모델 구조, 컨텍스트 크기, 하드웨어, 소프트웨어 최적화에 따라 달라짐
    • 두 백엔드 모두 계속 업데이트되고 있음
  • 테스트는 Flash Attention을 켠 상태로 진행됐지만, 이 설정이 항상 최고 성능을 보장하지는 않으므로 각 시스템에서 직접 테스트하는 편이 좋음

컨텍스트 증가와 에이전트형 사용 시뮬레이션

  • 에이전트형 LLM 사용이 늘어나면서, 컨텍스트 크기가 커질 때 성능이 어떻게 떨어지는지 보기 위한 llama-bench 테스트가 추가됨
  • 테스트는 지시를 받은 에이전트가 도구 호출을 하거나 답변을 제공하는 상황을 단순화해 시뮬레이션함
  • 주요 인자는 다음과 같음
    • -p, -n: 프롬프트 처리와 토큰 생성에 사용할 토큰 수 지정
    • -b, -ub: 배치와 마이크로배치 크기 지정
    • -fa: Flash Attention 활성화 또는 비활성화
    • -ngl: GPU로 오프로드할 모델 레이어 수 지정
    • -r: 반복 횟수 지정
    • -d: 이미 컨텍스트에 들어 있는 토큰 수 지정
  • 테스트를 연속 실행할 때 생길 수 있는 열 누적을 줄이기 위해, 자체 스크립트로 루프와 지연 시간을 넣어 실행함
  • 세 모델 모두 컨텍스트 크기가 증가하면서 성능 저하가 크게 나타남
  • Gemma 4는 Vulkan 백엔드와 65,536 토큰 컨텍스트 조합에서 30분 안에 완료되지 않았음

전력과 온도

  • Halo는 매우 작은 섀시를 갖고 있어 Ryzen AI Max+ 395 패키지의 최대 TDP 120W, 부스트 최대 140W를 지속할 수 있는지 확인함
  • 비교 대상으로 같은 Ryzen AI Max+ 395를 쓰는 Framework Desktop도 함께 테스트함
  • 테스트는 Quarch QTL2843으로 벽면 전력 소비를 측정하면서 llama-bench prefill 테스트 20회를 실행하는 방식으로 진행됨
  • 두 장치 모두 “Performance” 모드였고, Halo는 전력이나 냉각 사용자 설정을 허용하지 않음
  • Framework Desktop의 AI Max+ 395는 테스트 내내 120W 기준선을 유지했고, 130W까지의 전력 스파이크가 비교적 자주 발생함
  • Halo는 테스트 시작 후 약 5분간 140W를 유지하다가, 이후 나머지 테스트 동안 120W TDP로 내려감
  • Halo의 블로어 설계와 모든 측면의 흡기구는 열평형 상태에서도 외부를 비교적 차갑게 유지했지만, 하단은 약 50°C까지 따뜻해짐
  • 팬은 열을 빼내는 동안 크게 회전하지만, 소리는 날카롭기보다 “woosh”에 가까운 성격임

소프트웨어가 만드는 제품 가치

  • Ryzen AI Max+ 395 기반 미니 PC는 여러 제품으로 살 수 있으므로, Halo의 독특한 가치는 새 하드웨어보다 AMD Ryzen AI Developer Center, 선별 구성, 1st-party 지원 약속에 있음
  • Halo는 NVIDIA DGX Spark처럼 특정 AMD 또는 NVIDIA 하드웨어에서 테스트해야 하는 개발자가 환경 설정에 쓰는 시간을 줄이도록 설계됨
  • DGX Spark와 달리 Halo는 Linux와 Windows 버전이 모두 있음
  • Linux 버전은 부팅하면 AMD Ryzen AI Developer Center로 진입하며, 이곳에서 소프트웨어 설치·업데이트, 문서 접근, 시스템 제어를 수행함
  • AMD에 따르면 Halo는 잠겨 있지 않아 사용자가 원하는 OS를 설치할 수 있음
  • 다만 AMD의 공장 출하용 Windows/Linux 구성 사이를 전환할 수 있는 이미지는 제공되지 않을 것으로 파악됨

Best Known Configurations와 Playbooks

  • AI Halo와 Developer Center는 AMD의 Best Known Configurations(BKC) 에 접근하게 해줌
  • BKC는 포함된 소프트웨어, 패키지, 드라이버가 서로 호환된다고 AMD가 검증한 시스템 구성임
  • 이 구성은 playbook을 실행하거나 학습을 시작할 때 의존성 문제를 먼저 해결해야 하는 부담을 줄여줌
  • 일반 AI Max+ 시스템의 AMD AI Playbook은 메모리 할당을 위해 명령줄 지시를 제공하지만, AI Halo에서는 Linux 또는 Windows에 따라 슬라이더나 드롭다운으로 단순화됨
  • Halo는 수동 설정이나 복잡한 구성을 막지 않으며, 구현과 하드웨어 세부사항을 추상화하는 위험이 있지만 더 깊이 들어가기 전의 시작점을 제공함
  • AMD AI Playbooks는 AMD 하드웨어에서 AI 워크로드를 탐색할 수 있게 하는 간단한 튜토리얼 모음임
  • Playbooks는 AI Halo에 초점을 맞추지만 Radeon GPU용 버전도 제공됨
  • Playbooks는 GitHub에도 공개되어 있으며, AMD는 BKC처럼 이를 최신 상태로 유지하고 매월 새 playbook을 추가하겠다고 함

사용해 본 Playbooks

  • AMD Sync는 네트워크를 통해 Halo에 원격 접속하는 간단한 방법을 제공함
    • 라이브 메트릭 확인
    • VSCode 프로젝트 열기
    • Jupyter Labs 프로젝트 시작
    • 터미널 접근
  • AMD Sync는 원격 장치에 AMD Sync를 설치하고 SSH 정보를 복사하는 것만 필요했으며, 테스트에서는 문제 없이 진행됨
  • LM Studio와 Lemonade 관련 playbook은 로컬 LLM을 다운로드, 관리, 서빙, 상호작용하는 과정을 다룸
    • LM Studio는 이미 로컬 모델 실행에 널리 쓰이는 프로그램임
    • Lemonade는 AMD가 더 최근에 개발한 LLM 실행 도구임
  • LM Studio와 Lemonade playbook은 소프트웨어 설치, 런타임 업데이트, 첫 모델 다운로드까지 짧고 따라가기 쉬운 흐름으로 구성됨
  • 두 playbook은 로컬 LLM을 코딩 보조로 쓰거나 OpenAI API와 프로그래밍 방식으로 상호작용하는 단계까지 이어짐
  • VSCode playbook은 이전 playbook에서 호스팅한 로컬 LLM을 IDE 안의 Cline agent와 연결함
  • PyTorch 기반 LLM 실행과 파인튜닝 playbook은 사전 설치된 소프트웨어, 드라이버, 모델 덕분에 4~5단계로 LLM을 실행할 수 있음을 보여줌
  • PyTorch playbook은 스크립트의 내부 동작까지 다루는 완전한 튜토리얼은 아니지만, 의존성을 연결하고 작동 여부를 확인하는 스모크 테스트 역할에는 성공적임
  • 초보자를 위해 “Next Steps”로 다음에 시도할 아이디어도 제공함

소프트웨어 구성의 장점과 약점

  • BKC와 playbooks는 여러 튜토리얼을 따라 했는데도 아무것도 실행되지 않는 상황을 줄여주는, 언제든 돌아갈 수 있는 기준 상태를 제공함
  • Developer Center의 System Reset 버튼으로 해당 상태에 접근할 수 있음
  • Halo는 일반 컴퓨터처럼 필요한 대로 설치하고 구성할 수 있으므로, BKC와 playbooks가 사용자의 자유를 막지는 않음
  • BKC와 playbooks는 3rd-party 튜토리얼에서도 알려진 시작점과 호환성을 가정할 수 있게 해, 사용자가 더 멀리 나아가기 쉽게 만들 수 있음
  • AI Playbook GitHub issues에서 볼 수 있듯, 현재 일부 playbook은 실패하는 부분이 있으며 실제 테스트 중에도 문제가 발생함
  • AMD가 이런 문제를 빠르게 해결하지 않으면 전체 소프트웨어 가치가 흔들릴 수 있고, 미래 가치 약속을 보고 구매할 때의 위험으로 남음

실제로 사용된 NPU

  • Halo에서는 AMD Lemonade와 FastFlowLM을 통해 XDNA 2 NPU에서 LLM을 실행할 수 있었음
  • 실행 모델은 gpt-oss-20b-FLM이며, NPU 사용률 원격 측정은 제공되지 않았음
  • CPU/GPU 사용률이 거의 0인 상태에서 AI Max+ 395 패키지가 최대 35W를 소비했고, 생성 성능은 20 tokens/s였음
  • NPU는 GPU보다 연산 성능이 낮은 경우가 많지만, 대신 훨씬 높은 에너지 효율을 갖는 것이 장점임
  • 카메라 같은 센서를 빠르게 처리해 CPU와 GPU를 주요 작업에 남겨두는 식의 작업에 적합함
  • Ryzen AI Max+ 395와 NPU를 포함한 이 개발 키트는 거대한 GPU 대신 더 전력 효율적인 로컬 LLM 개발을 진전시키는 데 도움이 될 수 있음

USB-C Power Delivery 동작

  • Halo는 전적으로 USB-C PD로 전원을 공급받음
  • USB-C는 현재 최대 240W를 전달할 수 있으며, Halo에는 USB-C PD Extended Power Range(EPR)를 지원하는 Delta ADP-240KB BA AC/DC 전원 어댑터가 포함됨
  • 이 어댑터는 최대 48V, 5A를 제공할 수 있음
  • 테스트에서 Halo는 전원 공급 장치로부터 200W를 넘게 끌어오지 않았음
  • Infineon CY4500-EPR로 전원 어댑터와 Halo 사이의 PD 패킷을 측정함
  • 전원 어댑터는 처음 연결될 때 SOURCE_CAPABILITIES 메시지로 제공 가능한 전압과 전류를 알림
  • 처음에는 20V, 5A, 즉 100W로 제한되는 Standard Power Range(SPR) 출력 모드만 표시됨
  • Halo는 EPR_MODE 메시지를 보내 전원 어댑터의 EPR 모드를 요청하고, 이후 전체 EPR 기능을 확인함
  • Halo는 최대 5A를 쓸 수 있는 고정 48V 출력 모드를 요청해 최대 240W 구성을 사용함
  • Halo는 전원 어댑터로 EXTENDED_CONTROL_MESSAGE를 계속 보내며, 고정 전압 출력에서 이런 형태의 지속 메시지를 본 점이 흥미로운 부분임

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 새롭게 짚을 만한 건 AMD playbooks(https://developer.amd.com/playbooks/, https://github.com/amd/playbooks)임
    Nvidia의 playbooks(https://build.nvidia.com/spark, https://github.com/NVIDIA/dgx-spark-playbooks)에 대한 AMD의 답이고, AMD가 이 영역을 더 진지하게 다루기 시작한 건 좋게 봄
    하드웨어는 작년에 2천 달러에 팔리던 것과 완전히 같고, 중국 OEM에서는 아직도 1천 달러 더 싸게 살 수 있음
    LTT Lab의 LLM 테스트가 더 정교해지는 건 좋지만, ROCm/Vulkan 버전과 llama.cpp 빌드 버전에 따라 수치가 꽤 크게 달라질 수 있음
    Strix Halo 성능을 최대한 뽑으려면 커널 조정과 ryzenadj 같은 유틸리티가 도움이 되고, http://strixhalo.wiki/에 대부분 정리돼 있음
    코딩이나 에이전트 작업에 쓴다면 모델이 MTP를 지원할 때 이미 꽤 성숙했고, 디코드가 대략 30% 정도 빨라질 수 있음

  • 시간을 아끼자면 기사에도 나오듯 AMD Ryzen AI Max+ 395(Strix Halo) 프로세서는 2025년 봄부터 이미 있었고, Halo가 그 면에서 새로 제공하는 건 없음
    이전 보드들과 같은 256 GB/s 메모리 대역폭 제한이 있는데, 왜 지금 새 물건처럼 출시되는지 모르겠음
    비슷한 가격이면 Framework Desktop을 살 수 있고, GMKtec EVO-X2는 조금 더 싸게 살 수 있음

    • 지금 출시하는 이유는 수익성이 매우 높고 수요도 많으며, 지난 1년 동안 가격까지 올랐기 때문임
      AMD 입장에서는 PC 제조사에 더 싸게 넘기기보다 직접 수익을 챙기려는 게 당연함
    • 맞음. 2025년 11월에 거의 같은 사양의 Framework Desktop을 약 2.5천 달러에 샀음
    • 1년 전에는 이 컴퓨터를 2천 달러에 살 수 있었는데, 지금은 사실상 두 배 가격임
    • 256GB/s 대역폭은 정말 꽤 큰 제약임
    • 공간 제약이 없다면 왜 Framework Desktop을 고르나 싶음
      그냥 일반 타워나 서버 랙 컴퓨터를 사면 됨

  • 128GB 이상 메모리 머신은 정말 갖고 싶지만, 4천 달러에 256 GB/s밖에 안 되는 건 혹독함
    ARM과 AMD 양쪽의 단점까지 감수해야 함
    RTX Spark가 나올 때쯤이면 6천 달러가 돼야 할 것 같고, 128GB 이상에 700+ GB/s 머신이 나오면 1만 달러로 대부분 소비자 손이 닿지 않는 가격이 될까 걱정됨

    • Mac Studio는 메모리 대역폭 면에서 훨씬 나은 구매지만, 128GB 구성으로는 살 수 없음
      솔직히 지금은 좋은 선택지가 별로 없고, 시장이 덜 미쳐 돌아갈 때까지 기다리는 게 나을 수도 있음
    • 현재 4천~5천 달러 정도에서는 속도, 즉 GPU+32GB VRAM을 택하거나, 용량, 즉 DGX Spark/Halo를 택할 수 있지만 둘 다는 어려움
      누군가 둘을 모두 갖춘 머신을 만들면 쉽게 1만 달러에 팔릴 것이고, 사람들이 줄 서서 살 것 같음
    • Strix Halo 메모리를 추론 작업으로 가득 채우면 토큰 속도가 불편할 정도로 느려진다는 걸 알아야 함
      예를 들어 DS4, 즉 DeepSeek V4 Flash의 1비트 양자화 모델은 초당 9~13토큰 정도이고, 첫 토큰까지 걸리는 시간이 매우 김
      에이전트형 대화식 코딩 모델로는 현실적이지 않음
      Strix Halo는 마음에 들고, 주로 소프트웨어 보안 감사나 학습 실험 같은 비대화형 작업을 계속 돌리는 데 잘 쓰고 있음
      AI 실험용 플랫폼으로는 좋지만, 4천 달러면 Nvidia 기반 Asus Ascend GX10을 살 수 있고 그쪽이 아마 더 나음
      로컬 대화형 에이전트 용도라면 Qwen 3.6이나 Gemma 4를 돌리게 될 텐데, 이들은 2x64GB GPU에 여유롭게 들어가고 오래된 GPU도 Strix Halo보다 빠를 수 있음
      32GB에도 빡빡하게 들어가며, 48GB나 64GB Mac에서도 잘 돌 것임
      지금 GPU 쪽 sweet spot은 Radeon AI Pro R9700 두 장으로 보임
      5090이나 4090처럼 중고차 값은 아니면서 로컬 추론에 충분한 메모리와 성능을 제공하고, eBay의 오래된 서버 GPU처럼 까다롭거나 이상하거나 3D 프린트 팬 덕트를 요구하지도 않음
      현재로서는 이런 128GB 추론 머신에서 더 잘 돌아가면서 64GB 머신에서는 잘 안 되는 모델이 딱히 없음
      64GB 머신이 더 빠를 수도 있고, 32GB GPU 중에도 더 느린 게 많지는 않겠지만, 벤더 드라이버와 CUDA 또는 ROCm에서 현재 적극 지원되지 않는 GPU는 사지 않는 게 좋음
    • 정확히는 GB/s이고, 이는 초당 2테라비트임

  • 이 장치들은 DGX Spark보다 쌀 때는 훌륭했음
    하지만 가격이 같다면 Spark 대신 이걸 살 이유가 없음
    Spark는 말 그대로 더 빠른 버전이고, 소프트웨어 지원도 더 좋음
    Ryzen AI Max 395 장치를 가진 입장에서 하는 말임

    • Spark와 달리 아무 운영체제나 돌릴 수 있다는 점은 꽤 큰 장점임
    • Framework 메인보드를 랙마운트 케이스에 넣어서 빠르고 저전력인 x86 홈랩이자 추론 서버로 쓰고 있음
    • 참고로 지금 DGX Spark FE를 가장 싸게 구해도 대략 4,700달러였음
      여러 고등교육 공급처 기준임
    • 용도에 따라 다름
      Ryzen의 CPU는 DGX Spark보다 낫고, 특히 AVX-512를 쓰도록 업데이트된 현대 프로그램에서는 멀티스레드 성능이 훨씬 높음
      GPU 애플리케이션에 한해서만 NVIDIA 시스템이 더 나을 가능성이 큼
    • 맞음. 하드웨어 가격이 완전히 미쳐버리기 전인 2025년 말에 산 유일한 이유도 Spark의 절반 가격이었기 때문임
      맞는 Linux 커널, 커널 펌웨어, ROCm 설치 등을 꽤 오래 만지작거렸음

  • Strix Halo 장치를 갖고 있고 마음에 들지만, 이 가격이면 AI 용도라면 Nvidia 기반 ASUS GX 10을 사는 편이 나음
    CUDA 생태계가 여전히 더 강함
    AMD는 CPU가 더 좋아서 데스크톱 머신으로는 더 낫지만, Nvidia 쪽이 추론과 학습 작업에서는 조금 더 빠르고 지원도 조금 더 좋음
    ROCm으로도 거의 항상 같은 일을 할 수는 있지만, 손이 조금 더 감
    다만 Nvidia가 자사 하드웨어에 실어 보내는 커스텀 Ubuntu는 다루기 힘들 정도로 별로임
    Nvidia는 소프트웨어를 잘하지 못하고, Jetson 라인을 몇 년 다뤄봤지만 여전히 형편없음
    여전히 투박한 커스텀 Ubuntu이고, 복잡한 이미지 기반 구조에 UEFI도 없어서 그냥 다른 Linux를 설치하면 되는 식이 아님
    큰 장치에도 Ubuntu를 실어 보낼 거라 추정하지만, 직접 다뤄본 건 작은 임베디드 Jetson 머신뿐임
    AMD 쪽은 일반 x86_64 PC라서 거의 어떤 Linux든 설치할 수 있고, 내 장치에는 바로 Fedora를 올렸음

    • 내 Spark의 Ubuntu가 그렇게 형편없다고 느끼지는 않음
      그냥 Ubuntu이고 별 문제를 겪지 않았음
      지금까지 본 ARM64 Linux 장치 중 제대로 지원되는 Linux를 실제로 출하하는 유일한 벤더라는 점도 있음
      ASUS GX10을 일상용 주 워크스테이션으로 쓰고 있고, 안 되는 건 Spotify 정도인데 아마 DRM 문제 같음
      Signal ARM64 클라이언트도 없는 듯함
      DGX Spark가 Strix Halo보다 갖는 큰 장점은 프리필 속도가 훨씬 빠르다는 것임
      대략 5배 빠름
      네트워크 하드웨어도 말도 안 되게 강력하지만, 나와 다른 Spark 사용자 99%는 그 성능을 끝까지 쓰지 않을 가능성이 큼

  • 256GB/s 메모리 대역폭은 3090의 약 1/4 수준임
    메모리를 절반으로 줄이고 속도를 4배로 올렸다면 더 나은 구매였을 것임

    • 정말 그렇게 확신할 수 있나 싶음
      높은 메모리 속도는 밀집 모델이나 높은 동시성 서빙에는 좋음
      하지만 로컬 단일 사용자 환경에서는 이런 플랫폼 덕분에 더 강력하고 큰 MoE 모델을 합리적인 속도와 낮은 동시성으로 쓸 수 있는 편이 더 나을 때가 많음
    • 카드 내부 대역폭으로 얻는 성능 이득은 시스템 RAM으로 넘치기 시작하면 사라짐
      그때는 느린 PCIe 레인이 병목일 가능성이 큼
      작업이 24GB 카드에 들어간다면, 애초에 이들이 만들려는 AI 미니 PC 틈새시장의 대상 사용자가 아님
    • 상황에 따라 다름
      작은 모델은 훨씬 잘 돌릴 수 있음
      개인적으로 3090은 최소 2장, 이상적으로 4장 살 수 있을 때 가장 말이 되는데, 그때는 완전히 다른 예산 이야기가 됨
    • 중요한 건 메모리 용량임
      새 MTP 모델인 Qwen3.6 35B MoE는 약 80k 문맥까지도 큰 둔화 없이 토큰을 뽑아냄
      많은 토큰을 얻는 것도 좋지만, 문맥을 처리하고 확장할 수 있다는 점 때문에 작은 그래픽 카드들에 비해 계속 훌륭한 머신으로 남을 것임

  • 32GB DDR4 RAM 모듈은 대역폭이 25GB/s이고 160달러임
    8개를 사면 1,280달러에 256GB RAM과 200GB/s 대역폭을 얻음
    16GB 모듈 16개를 개당 60달러에 사면 960달러로 400GB/s 대역폭을 얻을 수 있음
    문제는 메모리 컨트롤러가 8개 또는 16개 필요하다는 것임
    메모리 컨트롤러는 그렇게 비싸지 않음
    Intel Core i3-14100F는 2채널 컨트롤러가 있고 110달러이니, 16채널 컨트롤러는 880달러 이하, 8채널 컨트롤러는 440달러 정도로 추정할 수 있음
    그렇다면 128GB만 있는 4천 달러 장비 대신 16개 DRAM 컨트롤러를 가진 저렴한 CPU를 만드는 게 낫지 않나 싶음
    또는 RAM 채널 8개씩 가진 CPU 2개도 가능함
    DDR5는 32GB가 360달러로 두 배 비싼데 대역폭은 두 배도 안 돼서 살 가치가 없음
    RAM 채널을 더 많이 만들고 DDR4를 꽂는 편이 더 합리적임

    • Epyc를 원한다면 그렇게 가면 됨
      다만 메인보드가 꽤 비쌀 수 있음
    • 산업계가 잘못된 방향으로 갔다고 봄
      비싼 DDR5로 넘어가는 대신, 가장 저렴한 CPU에도 8/16개 DDR4 채널을 지원하게 했어야 함
      32GB DDR5-4800 모듈은 360달러이고 32GB DDR4-3200 모듈 두 개는 320달러라서, 용량은 두 배, 대역폭은 더 높고 가격은 더 낮음
      DDR5는 그냥 바가지임

  • 이전 형태에서는 2천 달러 “밖에” 안 했지만, 이 업데이트된 박스에서도 메모리 대역폭이 심각하게 부족함
    하이브리드 추론을 위해 전용 GPU를 넣을 공간이 있는 모델도 몇 개 있지만, 개인적으로는 그만한 가치가 없음
    Xeon이나 EPYC 빌드에 돈을 아껴두는 게 나음

  • 비슷한 제품들은 왜 전부 128GB VRAM에서 딱 막히는지 모르겠음
    이 가격이면 최소 224GB VRAM은 기대했음

    • 495는 192GB를 지원할 예정임
      메모리 버스에 따라 달라짐
      128비트는 96GB, 256비트는 192GB, 512비트는 384GB, 1024비트는 768GB 정도로 볼 수 있음
    • 플랫폼의 한계 때문임
      https://community.frame.work/t/was-there-no-possible-way-to-...
    • GPU 제조사들은 데이터센터 제품을 팔아 이익을 모두 냄
      마진이 낮은 소비자/홈랩 제품이 데이터센터 제품을 대체하는 걸 원하지 않기 때문에, 그런 제품의 VRAM을 일부러 제한해서 데이터센터 용도로 덜 매력적으로 만듦

  • 이건 CUDA가 있는 Nvidia DGX Spark나, 128GB에 두 배 메모리 대역폭을 가진 Mac보다 조금 싼 정도임
    Strix Halo의 장점은 원래 훨씬 강력한 그 머신들의 절반 가격이었다는 데 있었음
    이 가격에 AMD 칩을 사는 건 미친 짓에 가까움
    다만 하드웨어 시장 전체가 지금 미쳐 있어서, 안타깝게도 이것도 잘 팔릴 것 같음

    • M5 Max 최상위 모델만 AMD의 두 배가 넘는 메모리 대역폭을 갖고 있지만, 그런 구성은 1만 달러가 넘을 만큼 훨씬 비쌈
      M5 Pro는 메모리 대역폭이 약간 더 높지만 현재는 최대 64GB DRAM까지만 가능함
      이 작은 메모리 구성조차 AMD나 NVIDIA보다 비싸고, 작은 SSD가 아니라 LLM을 넣고 직접 양자화를 계산할 수 있을 정도의 정상적인 크기 SSD를 원하면 더 비쌈
      예를 들어 4TB SSD와 64GB DRAM이면 5,600달러가 넘음
      LLM 추론을 하려는 경우 Apple은 경쟁력 있는 해법으로 보이지 않음
      가격이 훨씬 높고, 몇 개의 LLM을 저장하려면 많은 공간이 필요한데 SSD 확장도 제한적임
      맞는 부분은 AMD Strix Halo 시스템이 예전에는 NVIDIA보다 훨씬 쌌지만 이제는 같은 가격이 됐다는 것뿐임
      Strix Halo의 CPU는 NVIDIA보다 낫지만, NVIDIA GPU가 AMD GPU보다 나을 가능성이 크고 CUDA는 잘 동작할 것이 보장됨
    • 개인적으로는 가격이 더 싸지 않더라도 Nvidia 경쟁자가 있는 것 자체는 완전히 괜찮음
    • Nvidia DGX는 4.5천 달러에 안 팔리고 선반에 쌓여 있음
    • 어디에서 “두 배 메모리 대역폭”을 본 건지 궁금함
답변달기