▲

Apple, Arm Mac에서 Nvidia eGPU 사용을 허용하는 드라이버 승인

 (theverge.com)
4P by GN⁺ 2일전 | ★ favorite | 댓글 1개
  • 이 드라이버는 Nvidia가 아닌 Tiny Corp이 개발했으며, Apple의 서명 승인으로 System Integrity Protection(SIP) 을 비활성화하지 않아도 사용 가능함
  • 드라이버는 Docker를 통해 직접 컴파일해야 하며, 일반적인 플러그 앤 플레이 방식은 아님
  • Tiny Corp 문서에 따르면, 이 드라이버는 대형 언어 모델(LLM) 실행을 위한 용도로 설계됨
  • Tiny Corp은 “Apple이 AMD와 Nvidia용 드라이버 모두를 승인했다”고 밝힘
  • 이에 따라 Arm Mac 사용자도 외장 GPU(eGPU) 를 활용할 수 있는 가능성이 열림
  • Apple이 외부 개발자의 GPU 드라이버 서명을 허용한 것은 매우 드문 사례로 평가
  • 과거에는 SIP를 비활성화하지 않으면 비공식 드라이버 설치가 불가능했음
  • 이번 승인으로 Mac 하드웨어의 확장성과 AI·머신러닝 워크로드 활용성이 한층 강화

함께 보면 좋은 글 β

▲
GN⁺ 2일전  [-]
Hacker News 의견들

  • 기술적으로는 좋은 프로젝트이지만, 실제로는 90%의 상황에서 쓸모가 거의 없음
    NVidia GPU로 LLM을 돌리고 싶다면 중고 PC를 사는 게 낫고, VRAM이 많은 Mac을 원하면 그냥 Mac을 사면 됨
    제안된 방식은 Thunderbolt 포트로 인해 GPU가 제한되고, NVidia의 툴과 라이브러리 접근성도 떨어짐
    반면 macOS 업데이트로 깨질 위험이 있는 불완전한 시스템이 됨

    • 또 다른 방법으로, 같은 LAN 내의 다른 머신에 있는 NVidia GPU를 네트워크 마운트하는 방식이 있음
      이렇게 하면 Thunderbolt 대역폭 제한이 없고, CUDA 호출을 그대로 쓸 수 있음
      단, 같은 LAN에 있어야 하고 약 4%의 오버헤드가 있음
      출장은 어렵고 macOS의 드라이버 문제는 여전히 해결되지 않음
      나는 GPU Go에서 일하고 있어서 이 접근법에 편향이 있을 수 있음
    • NVidia의 툴링 부족은 그동안 macOS에서 하드웨어를 쓸 수 없었던 탓이 큼
      이제 가능해졌으니 앞으로는 상황이 바뀔 수도 있음
    • eGPU를 가상 GPU로 착각했었는데, 실제로는 외장 GPU를 의미하는 것임

  • 왜 원본이 아닌 프록시 링크로 연결되는지 모르겠음
    원본은 X의 tinygrad 계정인데 말임

    • 아마 로그인 벽 때문일 것임. X는 이제 “가입해야 댓글을 볼 수 있음” 같은 제한이 많고, 사이트 품질이 떨어짐
    • 요즘은 X가 원본 출처인 경우가 많지 않나 싶음

  • 내가 이해한 바로는 이건 Tinygrad 전용으로만 작동함
    CUDA나 Vulkan을 PyTorch에서 쓰는 건 불가능함
    관련 문서는 TinyGPU 문서에 있음

  • Apple이 2018년 이후 NVidia eGPU 드라이버 서명을 거부했는데, 어떻게 규제 감시를 피했는지 모르겠음

    • NVidia가 실제로 시도했는지 증거가 있는지 궁금함
      macOS 10.13 이후로는 서드파티 그래픽 드라이버를 허용하지 않았지만, 비그래픽 드라이버는 가능했을 수도 있음
    • 정부가 신경을 안 쓰는 걸 수도 있음
      NVidia GPU를 꽂을 수 있는 Mac이 거의 없었고, 지금은 아예 슬롯이 없음
    • Apple은 어느 시장에서도 독점적 지위가 아님
    • Google이 Windows Phone용 YouTube 클라이언트를 막았던 것과 비슷한 상황임
    • SIP만 비활성화하면 되는 거 아님?

  • 가이드와 스크립트를 읽어보니, GPU가 Linux VM에 전달된 뒤 다시 Mac으로 반환되는 구조처럼 보임
    TinyGrad 팀이 이 방식을 승인받은 것 같기도 함
    Docker의 역할을 잘못 이해했을 수도 있음

    • TinyGPU 문서와 GitHub 코드를 보면
      NVidia GPU는 Docker를 통해 컴파일 타깃을 맞추고, AMD는 macOS에서 자체 LLVM을 빌드해서 사용함

  • Apple과 NVidia 모두 폐쇄적인 태도 때문에 좋은 결과를 놓치고 있음
    Mac 하드웨어에서 NVidia를 Linux로 돌릴 수 있었다면 훨씬 나았을 것임
    우리는 제품을 산 뒤에도 통제권을 잃는 소비자가 됨

    • 그래서 나는 그냥 Apple 제품을 사지 않음
      그쪽 생태계 밖에서도 모든 게 잘 돌아감

  • ARM 노트북을 쓰면서 GPU를 원격에 두는 사용자가 늘고 있음
    그래서 GPU가 로컬 워크플로를 따라다닐 수 있는 UX가 중요해짐
    우리는 GPUGo / TensorFusion에서 로컬 우선 개발 흐름과 원격 GPU 접근을 결합하는 방식을 연구 중임
    사람들이 진짜 eGPU처럼 느껴지는 걸 원하는지, 아니면 최소한의 마찰로 원격 연산을 쓰고 싶은지 궁금함

    • 하지만 GPU에서 이미지를 출력할 때 네트워크 지연이 100ms라도 생기면 곤란함

  • 여행 중인데 집에 RTX 5090이 있어서 이걸로 테스트해보고 싶음
    TinyGPU 문서를 참고 중이고, M4 Mac Mini에서 작동하길 바람
    전원 공급용 ATX PSU가 필요할 것 같은데, tinygrad로 LLM 추론이 가능할까?

    • AliExpress에서 약 100달러짜리 GPU 인클로저를 살 수 있음
      표준 PSU를 쓰지만 Mac Mini는 occulink가 없어서 USB-C 대역폭에 제한이 있음
      Intel Arc 드라이버가 안정화되면 저가형 GPU 조합도 재미있을 듯
      Intel Arc Pro B70 (32GB VRAM)이 1000달러, Mac Mini가 500달러 정도임
    • GPU의 빠른 VRAM이 Mac의 느린 VRAM을 얼마나 보완할 수 있을지 의문임
      인터커넥트 속도가 충분하지 않으면 레이어 전환이 병목이 될 수 있음
    • 나도 박스에 5090을 안 뜯은 채로 두고 있어서 결국 반품함
      돈은 있지만 쓸 시간이 없는 아이러니한 상황임

  • 흥미롭지만 CUDA나 nvidia-smi는 실행할 수 없음

    • 그래도 이건 NVidia가 아닌 다른 회사의 ML 라이브러리 기반이라 놀랍진 않음
      CUDA 호환층이 생기면 좋겠지만, 자체 라이브러리로 추론과 학습이 돌아가는 것도 꽤 멋짐

  • 만약 Mac에서 NVidia 드라이버를 지원했다면 Mac Pro 판매량이 늘었을 것임

    • Apple과 NVidia가 공식 관계를 회복한 건 큰 사건임
      지난 10년 넘게 Apple은 NVidia GPU 드라이버를 허용하지 않았음
      7년 된 GPU(예: VEGA64, RTX1080Ti)도 대부분의 Apple Silicon보다 토큰 처리 속도가 빠름
      Apple의 MAX/Ultra 프로세서는 대형 모델에는 적합하지만, RTX5090만큼 빠르진 않음
답변달기