엔비디아의 Project Digits, "개인용 AI 슈퍼컴퓨터"

 (techcrunch.com)
3P by GN⁺ | ★ favorite | 댓글 2개
  • Nvidia는 CES 2025에서 Grace Blackwell 기반 AI 하드웨어를 책상 위에 둘 수 있는 소형 기기 형태로 공개함
  • Project Digits는 Nvidia의 AI 소프트웨어 스택을 로컬에서 실행하는 개인용 AI 슈퍼컴퓨터로, 클라우드와 워크스테이션 사이의 선택지를 겨냥함
  • 단일 기기는 GB10 Grace Blackwell Superchip으로 최대 1페타플롭 성능과 2,000억 파라미터 모델 실행을 지원한다고 Nvidia가 설명함
  • GB10은 MediaTek과 협력해 개발됐으며 Blackwell GPU, 20코어 Grace CPU, 128GB 메모리, 최대 4TB 플래시 스토리지를 포함함
  • 5월부터 주요 파트너를 통해 3,000달러에 판매될 예정이라, 강력한 로컬 AI 개발 환경이지만 개인 구매층은 제한될 수 있음

책상 위로 내려온 Grace Blackwell

  • Nvidia는 Las Vegas에서 열린 CES 2025에서 Project Digits를 공개함
  • Project Digits는 회사의 Grace Blackwell 하드웨어 플랫폼을 소형 폼팩터로 제공하는 “개인용 AI 슈퍼컴퓨터”임
  • 주요 대상은 AI 연구자, 데이터 과학자, 학생으로 제시됨
  • Jensen Huang CEO는 Project Digits가 Nvidia의 전체 AI 스택을 실행하며, 책상 위에 놓는 클라우드 컴퓨팅 플랫폼이자 워크스테이션처럼 쓰일 수 있다고 설명함

모델 실행 규모와 하드웨어 구성

  • GB10 Grace Blackwell Superchip

    • Project Digits에는 Nvidia의 새 GB10 Grace Blackwell Superchip이 들어감
    • AI 모델 프로토타이핑, 파인튜닝, 실행에 최대 1페타플롭 컴퓨팅 성능을 제공함
    • 단일 Project Digits 기기는 최대 2,000억 파라미터 모델을 실행할 수 있다고 Nvidia가 설명함

  • 칩과 메모리 구성

    • GB10은 MediaTek과 협력해 개발됨
    • Nvidia Blackwell GPU와 20코어 Nvidia Grace CPU가 연결된 구조임
    • 내부에는 128GB 메모리 풀과 최대 4TB 플래시 스토리지가 들어감

  • 확장과 사용 방식

    • 두 대의 Project Digits를 연결하면 작업에 따라 최대 4,050억 파라미터 모델을 실행할 수 있음
    • 독립형으로 사용할 수 있고, 기본 Windows 또는 Mac PC에 연결해서도 쓸 수 있음
    • 운영체제는 Nvidia의 Linux 기반 DGX OS임

출시 일정과 가격

  • Project Digits는 5월부터 “주요 파트너”를 통해 3,000달러에 판매될 예정임
  • Huang은 Grace Blackwell Superchip을 수백만 개발자에게 가져오고, 데이터 과학자·AI 연구자·학생의 책상 위에 AI 슈퍼컴퓨터를 놓는 것이 AI 시대 참여를 넓힌다고 말함

함께 보면 좋은 글 β

berry   [-]

주장하는 데로 성능도 잘나오고 유지보수도 잘해주면 좋겠네요

답변달기
GN⁺   [-]
Hacker News 의견들

  • 구석에 있는 Jetson Nano를 보면, Nvidia가 4년 만에 버려서 은퇴 후 문진 역할만 하고 있음
    “AI”용 단일 보드 컴퓨터로 나왔지만 이미 낡은 맞춤형 Ubuntu 18.04 기반이었고, 18.04가 지원 종료되자 Nvidia는 독점 JetPack과 드라이버 업데이트를 완전히 중단함
    그 결과 CUDA, Pytorch 같은 기계학습 스택도 쓸모없어졌고, 소프트웨어 지원이 Linux 커널 업스트림에 들어가지 않는 한 Nvidia 단일 보드 컴퓨터는 다시 사지 않을 생각임

    • 정말 중요한 포인트임
      Nvidia와 Linux의 관계는 전반적으로 복잡했음. 드라이버를 제공하긴 하지만, Linux 설치를 복구 불가능하게 망가뜨리는 가장 확실한 방법 중 하나가 그 드라이버를 설치하거나 업그레이드하는 일이었음
      Linux를 1급 지원 대상으로 우선시한다기보다, “동작한다”고 말할 수 있는 최소한만 감수하는 느낌임
    • 비슷한 일을 겪었고, Xavier NX도 마지막 업데이트 뒤 작동을 멈춰 지금은 먼지만 쌓이고 있음
      솔직히 Nvidia 단일 보드 컴퓨터는 얻는 것보다 번거로움이 더 컸음
    • Orin 시리즈 이후는 UEFI를 쓰고, GPU가 활성화되지 않은 업스트림 커널도 실행할 수 있는 것으로 보임. 관련 사용자 가이드 페이지도 있음
      많이 나아진 것 같지만, JetPack Linux 포크에 Tegra용 nvgpu 드라이버가 따로 있고 아직 그 트리에서 분리되지 않았기 때문에 GPU 없는 커널이라는 한계가 큼
      로보틱스와 엣지 AI 추론을 명시적으로 하는 게 아니라면 더 나은 대안이 있음
      이 장치는 이름, DGX 스타일 설계, DGX OS 같은 소프트웨어를 보면 Tegra보다는 Grace Hopper/데이터센터 설계에 더 가까운 느낌임
      그런 워크스테이션/서버 쪽은 UEFI이고, 원하는 배포판에서 업스트림 Linux 커널과 오픈소스 Nvidia 드라이버를 쓸 수 있을 가능성이 있음
      그렇다면 Jetson 시리즈보다 훨씬 익숙한 보통의 Linux 머신이 될 수 있지만, GH200/GB200에도 맞춤 패치가 필요할지는 아직 모름
      시간이 말해주겠지만, 좋은 GPU와 좋은 ARM Cortex 설계가 결합되고 Jetson 시리즈보다 전통적인 Linux 박스처럼 동작한다면 훌륭한 로컬 AI 추론 머신이 될 수 있음
    • DGX OS를 실행하고, Jensen도 이 장치가 Nvidia 하드웨어 스택의 완전한 일부가 될 거라고 직접 말했음
    • 별도의 연장 유지보수가 없다면 Ubuntu 22.04도 2년 뒤 지원 종료임
      경험상 벤더들은 보안 패치를 업스트림만큼 잘 챙기지 못함. Nvidia의 닫힌 생태계를 생각하면 장기 지원에 큰 기대는 안 됨

  • 이건 5x 시리즈 GPU보다 더 큰 의미가 있어 보임
    AI/LLM 열풍을 생각하면 M4 Max/Ultra Mac mini가 나오더라도, Apple이 잡고 있는 취미형 AI 개발자층 일부를 잠식할 수 있음
    지난 몇 년 Nvidia는 모든 걸 제대로 하고 있는 것 같아서 주식을 들고 있었으면 좋았겠다는 생각이 듦

    • 모든 회사가 반드시 갖춰야 하는 건 온보딩 경로임
      Xeon Phi는 여러 이유로 실패했지만, 최적화된 소프트웨어의 가용성만큼은 실패하지 않아도 됐던 부분임
      지금은 Xeon, EPYC, 많은 효율 코어를 가진 MI300C가 있지만, 지난 10년 동안 이런 하드웨어에 맞춘 소프트웨어를 써 왔다면 성능을 뽑아내는 문제는 이미 해결됐을 것임
      Itanium도 마찬가지로 Intel이 가장 먼저 보장했어야 할 건 좋은 Linux 지원이었고, 첫 실리콘이 나오기 전에도 준비할 수 있었음
      한동안은 Itanium 지원이 좋았지만 이제는 오래전에 죽은 플랫폼이 됨
      Sun도 SPARC에서 비슷하게 실패했음. 워크스테이션을 포기한 뒤 쉬운 온보딩 경로가 없었기 때문임
      OpenSolaris로 운영체제의 관련성을 유지하고, x86 Solaris를 사실상 묵인해 사람들이 배우고 훈련할 수 있게 한 점은 잘했음
      Oracle Cloud가 최소한 SPARC를 클라우드 인스턴스로 제공했으면 좋았을 것임
      IBM도 지금 같은 길을 가고 있음. 워크스테이션급 x86과 성능으로 경쟁할 만한 합리적인 입문용 POWER 머신이 없음
      책상 옆 케이스에 넣을 수 있는 작은 하프랙 머신 정도가 전부임
      AIX, IBMi, Linux on POWER로 새 시스템을 배포하려는 회사를 거의 보지 못했는데, 경쟁 플랫폼에서 구축하는 게 너무 쉽기 때문임
      IBM Cloud에서 AIX, IBMi, IBM Z 인스턴스는 구할 수 있지만 쉽지 않고, “0에서 SSH/5250/3270까지” 가는 튜토리얼도 찾지 못했음
      Linux on Z는 가능하지만 IBM에서 Linux on POWER를 제공하는 방법은 없어 보이고, 일부 HPC 연구소만 아직 그런 자원을 제공함
    • 여기서 말하는 개발자는 단순한 취미 사용자만이 아니라, 고용주를 위해 모델을 개발하려고 SuperMicro와 Lambda PC를 사던 개발자들도 포함됨
      많은 기업이 비싼 엔터프라이즈급 칩을 상용 용도로 비워두기 위해 이런 장치를 로컬 개발용으로 살 것임
      천재적인 움직임. Mac mini 비슷한 크기에 이 정도 성능을 넣었다는 폼팩터가 오히려 더 놀라움
      6000달러로 두 대를 사면 400B+ 모델을 로컬에서 돌릴 수 있다니 말이 안 될 정도임
      데스크톱에서 ChatGPT 같은 걸 돌리는 상상은 1년 전만 해도 꿈도 못 꿨음
    • 취미 사용자 쪽은 시장에서 아주 작은 비중이라고 봄
      그래도 취미 사용자들이 기술 스택 개선을 많이 밀어붙이기 때문에, 이걸 쓰기 시작하면 NVIDIA 생태계는 더 깊이 자리 잡을 것임
    • Jensen이 최근 인터뷰에서 “그들이 내 회사를 죽이려 한다”는 취지로 말했음
      통합 메모리를 가진 Mac들은 그가 즉시 대응해야 하는 위협임. 보기엔 Jensen은 전시 CEO이고 농담하는 게 아님
      AMD가 하이엔드 공간에서 빠져 있는 것도 놀랍지 않음. Nvidia는 Apple과 정면으로 붙고 있고, AMD는 Apple과 경쟁하는 사업을 하는 회사가 아니기 때문임
    • 주변 사람들을 보면 취미 시장은 이미 Nvidia 4090/3090으로 포화된 느낌임
      사람들이 여가 시간에 파인튜닝도 하고 성인용 이미지 생성도 하려 하기 때문임
      집에서 확산 모델과 LLM을 돌린다고 올리는 사용자들의 벤 다이어그램은 거의 원에 가까움

  • Nvidia가 Wintel 쪽 어떤 것보다 가격 대비 성능이 좋은 Linux 데스크톱 슈퍼컴퓨터를 내고, 새 소프트웨어 스택은 Win32로 이식하지 않고 WSL2에서만 돈다니 놀라움
    진짜로 Linux 데스크톱의 해가 올 수도 있겠음

    • 가격 대비 성능이 더 좋다고 판단하기는 아직 애매함
      Neoverse N2 20코어가 Zen 5 16코어와 비교해 특별히 잘할 것 같지는 않음
      GPU 쪽은 유망해 보이지만 메모리 대역폭, 구성, 세부 사양, 성능을 언급하지 않고 있음
      “3000달러부터”, 최대 4TB NVMe, 최대 128GB RAM 같은 흐릿한 정보만 봤음
      AMD Strix Halo, 즉 AI Max+ 395도 꽤 경쟁력 있을 것으로 예상함
    • 이건 데스크톱이라기보다 워크스테이션에 가까워 보임
      그러면 지난 수십 년간 이어진 “워크스테이션 위의 Unix” 흐름의 연장선 아닌가 싶음
    • Nvidia는 당연히 Windows 라이선스 비용을 내고 싶지 않을 것임
      Nvidia는 Microsoft와 긴밀히 협력해 카드를 개발하고, 주요 기능은 DirectX에 먼저 들어간 뒤 Vulkan과 OpenGL에는 Nvidia 확장으로 들어가며, 나중에 다른 벤더들이 비슷한 확장을 따라오면 표준이 됨
    • Win32를 지원하지 않는다는 말은 어디에 나와 있음?
    • “전체 새 소프트웨어 스택이 WSL2에서만 실행되고 Win32로 이식하지 않는다”는 게 정확히 무슨 뜻인지 모르겠음
      WSL2는 본질적으로 가상 머신 아닌가? 그러면 Linux에서 돈다는 뜻이고, Linux를 WSL2에서도 돌릴 수 있다는 말 아닌가?
      정말 WSL2에서만 동작한다면 얘기가 다름
      Linux 워크스테이션이라고 생각해서 기대했는데, 어떤 식으로든 WSL2가 끼거나 필수라면 바로 도망가야 함

  • 비용을 저렴한 클라우드 솔루션과 비교하는 댓글이 많아서 조금 놀랐음
    Nvidia의 가치 제안은 완전히 다르다고 봄
    예를 들어 EU에서 개인정보나 회사 기밀을 다루는 스타트업이 LLM으로 이를 분석하려고 한다면, 성능이 병목이 아닌 한 데이터가 지하실 밖으로 나가지 않는 것만으로도 3000달러 이상의 가치가 있을 수 있음

    • 좋은 모델을 로컬에서 요청 처리용으로 돌릴 수 있다면 이 장치에 3000달러를 낼 의향이 있음
      토큰당 요금을 내는 것보다 내가 소유한 하드웨어에서 LLM으로 멍청한 실험을 훨씬 더 많이 하게 됨
      실제로 지금도 Claude보다 작은 로컬 Llama들과 보내는 시간이 훨씬 많음
      민감한 일을 하지 않더라도 내 데이터를 이런 회사들에 보내는 건 여전히 꺼려짐
      이건 클라우드와 경쟁하는 게 아니라 Mac mini와 고성능 GPU와 경쟁하는 제품이고, 그 시장에서 3000달러는 매우 매력적인 가격대임
    • 많은 중소기업은 자기 데이터를 클라우드 블랙박스로 보내고 싶어 하지 않을 것임
    • 기존 기업에도 훌륭함
      기술 회사가 이런 장치 몇 대를 로컬에 두면, 사용자들이 민감한 데이터로 회사 LLM을 질의할 수 있음
    • “직접 PC 조립” 같은 다른 로컬 대안과 비교해도 가격이 꽤 경쟁력 있어 보임
      지금은 데스크톱 업그레이드 뒤 남은 부품을 엮은 하드웨어로 돌리는 모델들을 개발·학습·사용하고 있는데, 이걸 하나는 확실히 사고 잘 동작하면 두 대도 살 수 있음
    • 데이터가 지하실 밖으로 나가지 않는 가치가 3000달러 이상일 수 있다는 말은 이해함
      다만 규제나 사업상 이해관계는 데이터 중복성과 보호를 요구하기도 해서, 모든 걸 온사이트에만 두는 방식으로는 그 요건을 충족하지 못할 수 있음

  • 여기서 잘 다루지 않은 시장이 하나 있는데, 생물정보학임
    이 시장의 강자인 Illumina는 수천 개 유전체를 빠르게 분석하기 위해 DRAGEN이라는 서버용 맞춤형 하드웨어 칩을 이미 공급하고 있음
    인간 유전체 시퀀싱이 흔해지면서 이 제품의 주된 시장은 개인 맞춤 의료임
    Oxford Nanopore 같은 회사들은 시퀀서에서 나오는 원시 전기 신호를 A, T, G, C로 변환하는 염기 판독에 온보드 GPU를 쓰지만, 크기와 전력 제약 때문에 기대만큼 잘 되지는 않음
    이 장치는 ONT 같은 곳에 큰 게임 체인저가 될 수 있고, 적응형 시퀀싱 같은 더 멋진 작업에도 특히 그럴 수 있음
    생물정보학의 다른 영역, 예를 들어 일상적인 분석 소프트웨어 대부분은 여전히 CPU와 RAM 의존도가 큼

    • 현재로서는 비교적 작은 시장임
      Illumina가 이 칩을 만드는 회사를 1억 달러에 인수했음
      클라우드에서 범용 하드웨어로 유전체 하나를 분석하는 비용은 보통 10달러 미만임
      물론 이런 칩이 현재는 불가능하거나 비용 때문에 막힌 분석을 가능하게 할 수는 있음
      하지만 적어도 지금 유전체학의 병목은 분석이 아니라 시퀀싱 비용이고, 현재 유전체당 400~500달러 수준임
    • Illumina가 보안에 별로 신경 쓰는 것 같지는 않음: https://arstechnica.com/security/2025/01/widely-used-dna-seq...
    • 더 큰 그림에서는 OpenAI o3/o4와 특화 모델들이 유전체 태깅과 발견의 문을 활짝 열 것임
      다만 ASI가 본격화하려면 아직 1~3년은 남았다고 봄
    • 이건 연구실, 병원, 아니면 개인 가정용 중 어디를 겨냥한 건가?
    • 작은 정정인데, Illumina는 시퀀싱 시장의 주인이지 생물정보학 시장 전체의 주인은 아님

  • 궁금해서 찾아봤는데, 이 장치는 DGX OS라는 걸 실행함
    DGX OS 6의 주요 기능은 Ubuntu 22.04 기반, 최신 장기 지원 Linux 커널 5.15, Python과 GCC 같은 소프트웨어 패키지 업데이트, 추가 패치 없이 GPU Direct Storage를 지원하는 Nvidia 최적화 Linux 커널, 모든 Nvidia GPU 드라이버 브랜치와 CUDA Toolkit 버전 접근, 기본 Ubuntu OFED와 추가 기능용 NVIDIA OFED 선택 설치, Secure Boot 지원, DGX H100/H200 지원임

    • Nvidia 최적화라는 건 공개되지 않은 패치와 업그레이드하기 어려운 운영체제를 뜻하는 건가?
      바이너리 덩어리 Nvidia 드라이버를 올려둔 상태에서 업그레이드하면 어떻게 되는지 떠오름
    • DGX OS에는 어떤 종류의 스파이웨어가 들어 있을지 궁금함
      아, 미안, 텔레메트리라고 해야겠네

  • Nvidia가 Intel/AMD가 CUDA 생태계를 위협하려면 했어야 할 일을 해버렸음
    “저렴한” 128GB 로컬 추론 장치/GPU를 내놓은 것임
    잘했고, 앞으로 Intel/AMD의 AI 시도는 암울해 보임

    • 핵심을 짚은 것 같음
      Nvidia의 위치를 기본적인 SWOT 분석만 해도, 경쟁자가 이런 제품을 낼 가능성을 반드시 고려해야 했을 것임
      이미 이 영역 주변을 조금씩 갉아먹는 Apple이든, 할 수 있거나 해야 했던 AMD/Intel이든 말임
      꼭 이렇게 흘러간다는 보장은 없지만, 모든 책상과 모든 집에 LLM 같은 모델이 올라가는 미래는 충분히 그럴듯함

  • 이건 컴퓨터에 연결해 특수 작업을 돌리는 주변기기가 아니라, Linux를 실행하는 완전한 컴퓨터임
    정원의 은둔자 같은 물건임. 언젠가 모두가 이런 것의 미래 버전을 하나씩 두고, 그 장치가 함께 살며 함께 배우고, 클라우드 기반 SaaS AI와 달리 즉시 가르칠 수 있어서 평균에서 벗어나는 이점을 줄 수 있는 미래를 상상하게 됨

    • 하나 갖고 싶긴 하지만, 아주 특정한 틈새를 넘어서기는 어려울 것 같음
      장점이 있어도 스트리밍 구독 대신 자기 Plex 서버를 운영하는 사람은 여전히 아주 적음
      로컬 쪽에서도 하드웨어 발전과 작은 모델이 다양한 작업을 꽤 잘 처리할 수 있다는 발견이 이어지면, 이런 고성능 로컬 워크스테이션은 많아야 틈새 매력에 머물 것 같음
    • “정원의 은둔자”라는 표현은 흥미롭고 생생함
      어디서 나온 말인지 궁금함

  • IBM Roadrunner는 2008년 5월 25일 1페타플롭, 즉 초당 1천조 부동소수점 연산에 도달한 첫 슈퍼컴퓨터였음
    1억 달러, 2.35MW, 6000ft²였음
    반면 Project Digits는 AI 연구자, 데이터 과학자, 학생을 위해 설계됐고, Nvidia의 새 GB10 Grace Blackwell Superchip으로 프로토타이핑, 파인튜닝, AI 모델 실행에 최대 1페타플롭 성능을 제공함
    3000달러, 1kW, 0.5ft²임

    • Digits의 페타플롭은 FP4이고, Roadrunner의 페타플롭은 FP32임
      그래서 최소 8배 차이가 나고, 실제로는 훨씬 더 클 것임
      Digits가 FP32에서 1/8페타플롭을 낼 수 있을지도 매우 의심스러움
      그 외의 차이는 20년이라는 시간을 고려하면 그럴듯해 보임

  • Nvidia Jetson AGX Orin 64GB Developer Kit의 후속처럼 보임: https://www.okdo.com/wp-content/uploads/2023/03/jetson-agx-o...
    메모리 대역폭과 계산 성능 면에서 세부 사양이 궁금함

    • Jetson 플랫폼에서 흔하던 것처럼 운영체제 지원이 끔찍하지 않기를 바람
      지금과 같다면 커널 주요 업데이트를 평생 1~2번만 받고, OS를 플래시하는 유틸리티를 실행하려고 x86 PC에 6년 된 Ubuntu를 설치해야 하는 이상한 일을 해야 함
    • Jetson Orin Dev Kit은 생산 환경의 엣지 컴퓨팅, 예를 들어 로봇 비전 등에 Jetson 모듈을 쓰려는 사람을 위한 개발 키트에 정확히 맞춰진 제품임
      기술 커뮤니티에서 유명한 건 단일 보드 컴퓨터 증후군 때문임
      사람들이 할 수 있을 것 같은 일에 들떠서 샀다가, 실제로 잘하는 일이 구매 이유와 달라서 1년 뒤 95%가 서랍에 들어감
      이 제품은 기사에서 말한 것처럼 HPC 변형의 후손에 더 가까움
      임의의 PC보다 일반적인 AI 작업을 더 잘 수행하거나 실행하려는 사람들에게 실제로 유용한 입문 장치가 되도록 의도된 것으로 보임
    • AGX Orin은 LPDDR5 64GB에 가격이 5000달러였으니, 이건 128GB에 아마 HBM일 가능성을 생각하면 확실히 싸게 보임
      다만 Nvidia는 가격을 잘 내리지 않는 회사라 어딘가에 단서가 있을 것임
답변달기