Hacker News 의견

• Apple의 M 시리즈 칩은 메모리를 CPU와 같은 패키지에 탑재하고 넓은 대역폭을 제공하는 통합 메모리 모델이 매우 강력한 것으로 밝혀짐. 이에 많은 LLMA 커뮤니티 사람들이 고용량 메모리를 가진 Mac을 선호하게 됨.

• 새로운 Ryzen 코어에 NPU가 포함된 것은 반가운 일이나, 다이 외부 메모리를 사용하는 AMD의 접근 방식이 Apple만큼 효과적일지는 의문임.

• NVIDIA 고가 카드가 아닌 제품에서 이런 기능을 보게 된 것은 큰 진전임. 로컬 NPU는 엣지에서 화상회의 기능 등을 더 많이 배포하는데 도움이 될 수 있음.

• Zen4 아키텍처는 매우 아름다움. APU를 많이 활용하고 있으며, GPU 코어에서 임의 코드를 실행하는 것도 가능함. 다만 아직 소프트웨어 스택이 완전히 갖춰지진 않았음.

• Ryzen AI NPU는 아직 주요 추론 프레임워크에 통합되지 않아서 지금은 쓸모없는 실리콘 면적에 불과함.

• 각 벤더마다 고유한 하드웨어를 가지고 있어 툴 지원이 미흡하고, 설령 지원된다 해도 일부 소프트웨어에서만 사용됨. 한편으로는 다이 면적과 자원을 차지하게 됨.

• NPU가 PyTorch LLM 스택으로 다뤄질 수 있을지 의문임. NPU는 디바이스/벤더에 따라 의미가 매우 다름.

• 이번에 나온 신제품은 코어 옵션이 최대 8개로, 이전의 5900X, 5950X가 12/16개였던 것에 비해 후퇴한 느낌임.

• TOPS에 초점을 맞추는 것은 LLM 현실과 맞지 않음. 메모리 대역폭이 따라주지 않으면 TOPS는 의미가 없음. 쿼드 채널 메모리가 아닌 듀얼 채널로 보임.