▲

GN⁺: gpudeploy - GPU를 위한 "에어비앤비"

 (gpudeploy.com)
1P by neo 7달전 | favorite | 댓글 1개

GPU Marketplace

  • GPU Deploy는 머신러닝과 AI를 위한 저렴한 온디맨드 GPU 서비스를 제공
  • 머신러닝 작업을 위해 미리 구성되어 있어 즉시 GPU 인스턴스를 시작할 수 있음

제공되는 GPU 사양 및 가격

  • Nvidia H100, A100, GeForce RTX 4090/3060, Quadro RTX 6000 등 다양한 GPU 모델 지원
  • GPU RAM은 11GB에서 640GB까지 다양하게 제공됨
  • CUDA 코어 수는 3584개에서 116736개까지 다양함
  • vCPU는 16개에서 242개까지 선택 가능함
  • 시간당 가격은 $0.06에서 $26.55까지 다양함 (판매세 제외, 실제 가격은 보통 더 저렴함)

유휴 GPU 활용 제안

  • 유휴 GPU가 있다면 GPU Deploy를 통해 컴퓨팅 자원을 제공할 수 있음
    • GPU 클러스터 운영자라면 유휴 컴퓨팅 자원 임대 가능
    • AI 회사라면 유휴 컴퓨팅 자원 임대 가능
    • 개인이 GPU를 보유하고 있어도 참여 가능

GN⁺의 의견

  • 온디맨드 GPU 사용료는 매우 비싸기 때문에, 이 서비스를 활용하면 GPU가 필요할 때 저렴한 비용으로 사용할 수 있어 매력적임
  • 하지만 장기적인 사용시에는 직접 GPU 서버를 구축하는 것이 훨씬 경제적일 수 있음
  • 개인이나 중소기업이 GPU 자원을 활용할 수 있는 방안으로는 괜찮은 선택지가 될 수 있음
  • 기업의 입장에서는 GPU 서버 구축 비용과 운영 비용 등을 고려하여 장단기적인 측면에서 도입을 검토해 볼만함
  • 유사한 GPU 제공 서비스로는 AWS, GCP, MS Azure 등이 있으며, 각 서비스별로 제공되는 GPU 사양과 가격 정책 등을 면밀히 비교해 볼 필요가 있음
  • 유휴 GPU 활용은 흥미로운 제안이지만, 보안이나 자원 관리 측면에서 우려되는 부분이 있을 수 있음
▲
neo 7달전  [-]
Hacker News 의견
  • 제3자에게 GPU 리소스를 제공할 때 고려해야 할 사항들:
    • 프라이버시 문제 - 공격자가 GPU 허니팟을 설치하고 데이터를 수집할 수 있음
    • 가짜 GPU 연산 - 공격자가 연산량을 줄이기 위해 가짜 GPU를 사용하고 더미 데이터를 보낼 수 있음
    • 결함 있는 GPU - 악의적인 의도는 아니지만 고장난 GPU로 인해 잘못된 결과가 나올 수 있음
  • 서비스 약관과 개인정보 보호정책에 동의해야 하는데, 링크가 빈 페이지로 연결되는 것이 특이함
  • 개념 자체는 훌륭함. Vast.ai와 유사한 "GPU를 위한 에어비앤비" 컨셉인데, 이 서비스가 어떤 점에서 다르고 더 나은지 궁금함
  • "GPU를 위한 에어비앤비"보다는 "주문형 GPU 프로비저닝"이 더 이해하기 쉬울 것 같음
  • 좋은 아이디어이며 행운을 빕니다! Akash Network라는 암호화폐 프로젝트가 인상적인데, 수요와 합법적 사용 사례가 있음
  • Stability AI가 하드웨어를 과도하게 프로비저닝했다는 등의 내용은 잘 모르겠음. AI 과대광고에 눈이 멀어서 그런 것 같음
  • 멋진 아이디어! 제공자에 대한 보안 보장은 어떻게 되나요? GPU 클러스터를 임대할 때 임차인에게 어떤 접근 권한을 부여해야 할까요? GPU 커널만 전송되나요, 아니면 제한된 사용자 접근 권한도 주어지나요? 운영자가 라우터 포트를 열지 않고도 원활한 경험을 위해 프라이빗 네트워크에 추가하는 것도 고려해 보셨나요?
  • 가격을 알고 싶다면 GPUMonger.com을 확인해 보세요. 이 서비스는 훨씬 더 깊이 있고 진정한 서비스로 보이지만, 단순히 가격 비교를 원한다면 GPUMonger가 좋을 것 같네요.
  • 하드웨어 문제에 대한 소프트웨어 솔루션으로 이런 회사들이 우후죽순 생겨나고 있음. 대부분의 가용 컴퓨팅 파워가 할당된 것으로 보이므로 더 많은 공급자를 확보해야 할 것 같음. 왜 Y Combinator가 유사한 회사에 중복 투자를 하는지 궁금함. Shadeform.ai도 또 다른 예임.
  • 몇 가지 의견:
    • 설치 스크립트 소스를 보면 set -e로 시작하지 않아 불완전한 설치가 발생할 수 있음
    • "instance-server"라는 바이너리를 설치하는데 무엇을 하는지 모름. 내 서버/네트워크에서 이걸 신뢰할 수 있을까?
    • Nvidia 전용이라 AMD GPU는 당분간 지원되지 않을 듯
    • MVP 같은 느낌. 시간이 지나면서 어떻게 성장할지 지켜보자.
  • RTX 4090이 유휴 상태로 있다면 얼마나 받을 수 있을까요?
답변달기