£200로 데이터센터 GPU를 게이밍 PC에 넣기

 (blog.tymscar.com)
3P by GN⁺ | ★ favorite | 댓글 2개
  • RTX 4080 16GB만으로 부족한 로컬 LLM 환경을 보완하기 위해 중고 Tesla V100 SXM2 16GB와 어댑터를 약 £200에 추가해 총 32GB VRAM을 구성함
  • V100 SXM2는 PCIe 슬롯·디스플레이 출력·일반 전원 커넥터가 없는 서버용 GPU지만, SXM2-to-PCIe 어댑터로 게이밍 PC에 장착 가능했음
  • 서버용 팬은 기본 82dB로 실내 사용이 어려웠으나, PH2.0-2.54mm 점퍼 케이블로 메인보드 팬 헤더에 연결해 PWM 제어와 저소음 운용을 달성함
  • llama.cpp의 tensor splitting으로 RTX 4080과 V100에 Qwen3.6-27B-MTP Q5_K_M을 나눠 올려 128k 컨텍스트와 약 32 tok/s 추론 속도를 얻음
  • 단일 32GB GPU만큼 깔끔하지 않고 드라이버·CUDA·warm reboot 문제가 남지만, 중고 서버 GPU는 저렴한 로컬 LLM VRAM 확장 대안이 될 수 있음

£200로 구성한 32GB 로컬 LLM 환경

  • RTX 4080 16GB VRAM만으로는 원하는 로컬 모델 실행에 부족해, 중고 데이터센터 GPU를 어댑터로 게이밍 PC에 추가함
  • Tesla V100 SXM2 16GB와 SXM2-to-PCIe 어댑터를 합쳐 약 £200에 구매해, 두 GPU 합산 32GB VRAM 환경을 구성함
  • 27B 파라미터 모델을 두 GPU에 나눠 올려 약 32 tokens/s로 실행했고, 전체 모델과 컨텍스트가 VRAM에 들어감
  • 단일 32GB 소비자 GPU와 같은 경험은 아니지만, RTX 5090 32GB보다 훨씬 낮은 비용으로 VRAM 용량을 확보함

Tesla V100 SXM2와 어댑터

  • Tesla V100 SXM2 16GB는 NVIDIA DGX 서버와 하이퍼스케일러 랙용 GPU임
    • 일반 PCIe 슬롯, 디스플레이 출력, 일반 전원 커넥터가 없음
    • 서버 내부의 독자 보드에 장착되고 NVLink로 통신하는 구조임
    • 메인보드에 직접 꽂으려면 별도 어댑터가 필요함
  • V100은 Volta GPU이며 16GB HBM2 메모리와 5120 CUDA 코어를 갖고 있음
    • eBay 구매가는 약 £150였음
    • 2017년 GPU지만 연산 성능과 VRAM은 로컬 LLM 용도에서 여전히 유효함
  • HBM2 메모리 대역폭이 주요 장점임
    • V100은 4096-bit 메모리 버스로 900GB/s 대역폭을 제공함
    • RTX 4080의 GDDR6X 대역폭 736GB/s보다 22% 높음
    • Apple M3 Max 400GB/s, M4 Max 546GB/s, M5 Max 614GB/s보다 높음
  • AMD RX 7900 XTX는 24GB GDDR6와 960GB/s 대역폭으로 V100보다 약간 높지만 가격은 £700 이상임
    • ROCm의 LLM 추론 지원은 CUDA 대비 아직 거칠다고 평가됨
    • V100은 RX 7900 XTX 대역폭의 94%를 4분의 1 미만 가격에 제공하고 llama.cpp와 함께 동작함
  • RTX 5090은 1,792GB/s 대역폭으로 V100을 확실히 앞서지만 가격이 £2,000 이상임
    • LLM 추론에서는 메모리 대역폭이 tokens/s를 좌우하는 병목이어서 중요한 요소가 됨
  • SXM2-to-PCIe 어댑터는 NVIDIA 공식 제품이 아니며 공식 지원도 없음
    • 한쪽에는 SXM2 소켓, 다른 쪽에는 PCIe 에지 커넥터가 있는 bare PCB 형태임
    • 가격은 약 £50였고, 전체 구성 비용은 약 £200이 됨
    • 어댑터 덕분에 V100 16GB를 RTX 4080과 함께 메인보드에 꽂을 수 있었음

서버용 냉각 팬 문제와 해결

  • V100 SXM2는 2U 서버의 산업용 냉각 환경에서 동작하도록 설계됨
    • 어댑터의 팬은 일반 방에서 쓰기 어려운 수준으로 시끄러움
    • Apple Watch로 측정한 소음은 82dB였고, 쓰레기 처리기와 잔디깎이 사이 수준으로 표현됨
  • 기본 상태에서는 팬 제어가 되지 않았음
    • nvidia-smi, Linux 장치 탐색, Windows Afterburner 시도가 모두 실패함
    • 어댑터의 팬은 서버 랙 내부에서 100%로 계속 도는 전제를 가진 것으로 보임
  • 9V 배터리 테스트로 팬 핀 배열을 확인함
    • VCC와 ground에 점퍼선을 꽂고 9V 배터리를 대자 팬이 회전함
    • 12V 기본 구동보다 훨씬 조용해져 팬 제어 가능성이 확인됨
  • 팬은 표준 PC 케이스 팬과 유사하게 동작했음
    • 점퍼선을 팬 커넥터에 꽂고 다른 쪽을 메인보드의 예비 팬 헤더에 연결함
    • 메인보드가 RPM을 읽고 PWM 제어도 가능했음
    • 10% 속도로 유지해도 풀로드에서 50°C를 넘지 않았고, 거의 들리지 않는 수준이 됨
  • 최종 케이블은 2.54mm male to PH2.0 female jumper cable로 구성함
    • 어댑터의 팬 커넥터는 4핀 JST PH2.0 플러그임
    • 메인보드 팬 헤더는 표준 0.1 inch, 즉 2.54mm 피치임
    • PH2.0 female 쪽은 팬의 tachometer와 PWM 핀에, 2.54mm male 쪽은 메인보드 팬 헤더에 연결함
    • £2 수준의 점퍼 케이블과 커넥터 확인으로 82dB 문제를 해결함

두 GPU로 VRAM 확장하기

  • 최종 GPU 구성은 다음과 같음
    • RTX 4080: 16GB VRAM, Ada 아키텍처
    • Tesla V100: 16GB VRAM, Volta 아키텍처
    • 합계: 두 GPU에 걸쳐 32GB VRAM
  • llama.cpp는 tensor splitting으로 모델을 두 GPU에 나눠 실행할 수 있음
    • PCIe 버스를 통해 레이어를 파이프라인 처리함
    • RTX 4080이 일부 레이어를 처리하고 V100이 나머지를 처리함
    • 단일 32GB GPU보다 빠르지는 않지만 동작하며, 32GB GPU 비용의 약 10% 수준으로 구성됨
  • V100의 전력 사용량은 최대 약 150W 수준으로 관찰됨
    • 로컬 LLM 추론용 GPU로 작지는 않지만 비정상적으로 큰 수준은 아님
  • V100 32GB 모델도 선택지로 남아 있음
    • 구매한 가격의 두 배 이상이지만, 단일 카드에서 32GB HBM2를 몇백 파운드로 확보할 수 있음
    • 32GB V100 두 장이면 64GB VRAM을 만들 수 있으며, 현재 RTX 5090 가격의 약 20% 수준으로 표현됨
  • SXM2 형식은 NVLink를 기본 지원함
    • 제대로 된 멀티 GPU 구성을 만들 경우 GPU끼리 높은 대역폭으로 통신 가능함
    • PCIe 어댑터를 통해서도 tensor split 성능은 충분히 견고했음

NixOS에서 드라이버와 CUDA 맞추기

  • 소프트웨어 구성은 NixOS 덕분에 비교적 매끄럽게 진행됨
  • V100은 Volta 칩이고, NVIDIA는 드라이버 branch 560부터 Volta 지원을 중단함
    • RTX 4080 Ada와 V100 Volta를 동시에 지원하는 마지막 드라이버는 550.x branch임
    • NixOS에서는 nvidiaPackages.legacy_535에 해당함
  • 해당 드라이버는 CUDA 12.2까지만 지원함
    • 현재 nixpkgs는 CUDA 12.6 이상을 제공함
    • CUDA 12.2를 nixpkgs 24.05에서 가져와야 했음
  • 드라이버는 Linux kernel 6.6을 요구함
    • legacy 드라이버는 더 최신 커널을 지원하지 않음
  • 헤드리스 추론 서버인데도 services.xserver.enable = true가 필요했음
    • 이 설정 없이는 NVIDIA 커널 모듈이 로드되지 않음
  • 핵심 NixOS 설정은 커널, NVIDIA legacy 드라이버, X server NVIDIA 드라이버 지정으로 구성됨
boot.kernelPackages = pkgs.linuxPackages_6_6;
hardware.nvidia.package = config.boot.kernelPackages.nvidiaPackages.legacy_535;
services.xserver.enable = true;
services.xserver.videoDrivers = [ "nvidia" ];
  • CUDA 12.2는 구버전 nixpkgs에서 overlay로 가져옴
nixpkgs.overlays = [
  (final: prev: {
    cudaPackages_12_2 = nixpkgs-cuda.legacyPackages.${prev.system}.cudaPackages_12_2;
  })
];
  • 두 GPU가 모두 표시되고 CUDA도 정상 동작함
  • 전체 머신 정의는 dotfiles repo의 이 commit에 포함됨
    • llama.cpp 서비스 정의와 올바른 버전에 고정된 커스텀 빌드도 포함됨

실행한 모델과 성능

  • 실행 모델은 Qwen3.6-27B-MTP Q5_K_M 양자화 버전임
    • 모델 크기는 약 19GB임
    • 두 GPU를 사용하면 전체 모델이 VRAM에 올라가고 컨텍스트를 위한 여유도 남음
  • 주요 실행 설정은 다음과 같음
    • Model: Qwen3.6-27B-MTP Q5_K_M, 19GB
    • Context size: 128k tokens
    • GPU layers: 99, 전부 오프로딩
    • Tensor split: -ts 1.0,1.0, 두 GPU에 균등 분배
  • 성능은 다음과 같음
    • Inference speed: 약 32 tok/s
    • Prompt processing: 약 133~160 tok/s
  • 32 tokens/s는 대화형 사용에 충분한 속도로 평가됨
    • 서로 다른 두 GPU 아키텍처를 PCIe로 연결해 tensor split하는 구성에서도 달성됨
    • 네트워크 지연까지 고려하면 대부분의 클라우드 API 엔드포인트보다 빠르다고 표현됨

MTP와 이미지 입력

  • MTP는 Multi-Token Prediction을 뜻함
    • 일반 LLM 추론은 한 번에 한 토큰을 예측하고, 이를 수락한 뒤 다음 토큰을 예측함
    • MTP는 여러 미래 토큰을 한꺼번에 예측한 뒤 맞은 토큰을 검증함
    • 수락된 토큰은 사실상 무료에 가까우며, 틀린 예측은 일반 경로로 되돌아감
  • MTP의 결과는 정확도 손실 없이 생성 속도가 약 1.5~2배 빨라지는 것임
    • 이 구성에서는 약 32 tok/s에서 MTP가 잘 맞을 때 50~60 tok/s까지 가능하다고 제시됨
    • 특히 코드처럼 예측 가능한 출력에서 효과가 큼
  • llama.cpp의 MTP 지원은 아직 새 기능임
    • nixpkgs의 llama.cpp 버전은 Qwen3.6 MTP 아키텍처를 지원하지 않음
    • 해당 지원이 추가된 특정 commit에서 llama.cpp를 소스 빌드해야 했음
    • NixOS에서는 커스텀 derivation을 해당 commit에 고정해 재현 가능하게 구성함
    • 모델이나 llama.cpp 버전 변경은 설정 한 줄을 바꾸고 nixos-rebuild switch를 실행하는 방식으로 처리됨
  • Qwen3.6-27B는 별도 multimodal projector 파일인 mmproj를 통해 이미지 입력을 지원함
    • 추가 파일 크기는 약 928MB임
    • vision encoder가 이미지 픽셀을 LLM의 토큰 임베딩 공간으로 변환하는 구조임
    • 모델이 사람처럼 이미지를 “보는” 것은 아님
    • LLM은 변환된 벡터를 또 다른 토큰 시퀀스처럼 처리함
  • llama.cpp 실행 플래그는 다음과 같음
--mmproj /mnt/nas/llamacpp/mmproj-F16.gguf --mmproj-offload
  • --mmproj-offload는 vision encoder를 모델과 함께 GPU에 올림
    • 이미지 입력에서도 빠른 추론을 유지할 수 있음

로컬 사용 방식

  • 이 구성은 OpenCode와 함께 사용됨
    • OpenCode는 로컬 모델을 대상으로 실행할 수 있는 AI 코딩 어시스턴트임
  • LLM 서버는 데스크톱에서 실행되지만, 사용은 다른 기기에서 이뤄짐
    • 집 안의 다른 머신에서 네트워크로 접속함
    • 외부에서는 Tailscale을 통해 접속함
  • OpenCode에서 llama.cpp 서버를 쓰는 과정은 API URL 설정으로 처리됨
    • 모델은 로컬에서 실행됨
    • 응답은 빠르고 데이터는 네트워크 밖으로 나가지 않음

남은 문제와 한계

  • V100이 warm reboot 후 사라지는 문제가 가끔 발생함
    • OS만 재시작되고 메인보드는 계속 전원이 들어와 있는 재부팅 뒤 lspci와 nvidia-smi에서 V100이 보이지 않을 때가 있음
    • PCIe 슬롯의 ACPI enumeration 문제로 보임
    • 물리적으로 전원을 끄고 몇 초 기다린 뒤 다시 켜는 cold reboot를 하면 항상 복구됨
  • V100이 없으면 llama.cpp가 시작되지 않음
    • 16GB GPU 한 장에는 모델이 들어가지 않기 때문임
    • GPU가 돌아올 때까지 서비스가 crash loop를 반복함
    • 보통 재부팅할 때 근처에 있으므로 실사용에서는 큰 문제로 보지 않음
  • 서로 다른 아키텍처 두 GPU를 tensor split하는 구성은 단일 GPU만큼 깔끔하지 않음
    • V100은 추론용으로 가장 빠른 GPU도 아님
    • 하지만 가격 대비 가치는 매우 높다고 평가됨

선택지와 결론

  • 약 £200로 확보한 결과는 다음과 같음
    • 게이밍 GPU와 함께 동작하는 16GB 데이터센터 GPU
    • 로컬 LLM 추론용 총 32GB VRAM
    • 27B 파라미터 모델에서 32 tokens/s
    • 128k token 컨텍스트 창
    • 이미지 입력용 vision 지원
    • 클라우드와 토큰당 비용 없이 완전히 로컬에서 실행되는 모델
  • 실질적인 비용은 팬 소음이었고, 점퍼 케이블과 커넥터 확인으로 해결됨
  • 제대로 된 로컬 모델을 돌리고 싶다면 중고 서버 GPU 시장이 대안이 될 수 있음
    • 기존 GPU가 없어도 단일 V100을 저렴한 서버 박스에 넣으면 16GB VRAM과 사용 가능한 로컬 LLM 환경을 만들 수 있음
    • V100 SXM2만 선택지는 아님
    • P40은 비슷한 비용으로 24GB를 제공하지만 더 느리고 Tensor Cores가 없음
    • V100 32GB 모델은 더 비싸지만 같은 VRAM 용량의 소비자 GPU보다 여전히 저렴함
  • 단, 팬 문제에 대비해야 함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 최근 나도 데이터센터 GPU를 사서 시스템에 꽂아 봤고, 글에서 빠진 경험을 몇 가지 적어 봄
    퇴역한 NVIDIA V100과 AMD MI50은 로컬 실험용으로 꽤 저렴해서 16GB는 200달러, 32GB는 400~500달러 정도지만, 둘 다 아주 오래된 카드임. 그래도 이 두 카드를 최신 플랫폼과 모델에서 계속 살려 쓰는 취미 개발자 커뮤니티가 있음
    사소한 지적이지만 V100은 bfloat16을 지원하지 않음. 로컬 모델을 만지는 정도라면 성능 손실은 크지 않지만, 하드웨어 기능 면에서는 퇴장 중인 카드임
    MI50은 bf16을 지원하지만 최신 AMD ROCm은 지원하지 않음. Vulkan 지원은 좋고 llama.cpp, vllm 같은 주요 플랫폼 대부분에서 동작하지만, 수동 재컴파일 같은 불편함은 있음. 다행히 오픈소스 커뮤니티가 이미 상당 부분 길을 닦아 둠
    이런 카드의 냉각 요구사항은 절대 과소평가하면 안 됨. 소비자용 GPU는 작은 케이스에 추가 팬이 없으면 스로틀링될 수 있지만, 데이터센터 GPU는 같은 식으로 두면 유휴 상태에서도 과열됨. 최소한 괜찮은 120mm 팬 여러 개를 사거나 수랭에 투자해야 함
    결국 AMD MI100 32GB를 950달러에 샀음. AMD를 좋아하고, 최신 ROCm이 지원하며, 설정도 비교적 수월했기 때문임. qwen3-coder-next 같은 더 큰 모델을 돌려 보려고 두 번째 장을 살지 고민 중임

    • 데이터센터 GPU용 3D 프린트 팬 슈라우드가 작은 산업처럼 생겨 있음. 120mm 팬은 조용함과 실용성 면에서 대체로 적당한 지점임
      슈라우드가 GPU 흡기구에 딱 맞게 붙어서 장착한 팬의 풍량을 전부 GPU로 보내고, 팬 속도 곡선도 GPU 온도에 맞춰 연결할 수 있음
    • 서버급 카드를 여러 장 써 보며 이걸 몸으로 배운 친구가 있음. Intel 10G NIC가 싸게 나온 건 맞지만, 그냥 데스크톱에 꽂아 쓰면 안 됨
      그런 카드는 서버 수준의 공기 흐름, 아마도 차가운 흡기 쪽을 기대하고 있음. 친구는 팬 마운트를 출력해서 붙였고, 그 뒤로는 잘 쓰고 있음
    • MI100을 고를 때 R9700이나 B70도 고려했는지 궁금함. 고려했다면 왜 MI100을 골랐는지도 궁금함
      나도 이 급의 카드를 사볼까 만지작거리고 있지만, 6800xt에서 Qwen3.6 MOE 모델을 돌리는 정도가 로컬 AI에 맡기려는 프로젝트에는 견딜 만해서 아직 정당화가 안 됨
    • qwen3-coder-next는 내 소비자용 NVIDIA 4070에서도 잘 돌아감. 성능이 대단하진 않지만, 제대로 맞는 모델보다 조금 느린 정도임

  • 작업은 인상적이지만 문제는 에이전트 코딩과 채팅에 충분한 30 tok/s가 아니라 프리필임
    느린 프리필은 에이전트형 작업 부하를 바로 망가뜨림. 원글 기준 100,000토큰을 약 150 tok/s로 처리하면 100000 / 150초, 즉 11분 6.7초 정도라 꽤 기다려야 함

    • 대부분은 한 번에 100K 토큰을 밀어 넣지는 않겠지만, 세션 중 누적되는 모든 프리필 시간까지 고려하면 꽤 커진다는 데 동의함
      이건 Mac 로컬 LLM 전반의 문제이기도 함. Mac은 고대역폭 메모리를 많이 확보하기엔 좋지만, 연산 성능은 현세대 전용 GPU보다 한참 뒤처짐. 비싼 Mac Studio 구성 중에는 매우 큰 모델을 쓸 만한 tok/s로 돌릴 수 있는 것도 있지만, 토큰 생성이 시작되기까지 오래 기다려야 할 수 있음
    • 프롬프트 접두부 캐싱과 프롬프트 접두부를 제어할 수 있는 에이전트를 조합하면 어느 정도 완화할 수 있을지 궁금함. 목표는 느린 프리필을 한 번만 치러 프롬프트 캐시를 만들고, 이후 프롬프트는 대부분 고정 접두부와 구체적 지시로 구성하는 것임
      C++처럼 모듈이 정의(.h)와 구현(.cpp)으로 나뉜 언어라면, 프로젝트의 모든 헤더 파일을 접두부로 삼을 수 있음. 헤더는 자주 바뀌지 않을 가능성이 높기 때문임
      더 일반적으로는 캐시된 접두부 재사용을 주된 문맥 관리 목표로 삼는 에이전트를 두는 아이디어임
      이미 바뀐 파일도 캐싱하려면, 에이전트가 세션 시작 시점의 코드베이스 일부 또는 전체를 반영한 고정 접두부로 문맥을 만들고, 이후 변경사항을 뒤에 덧붙이면 됨. 이때 함수의 최신 정의만 사용하라는 프롬프트가 필요함
      예를 들어 파일 A가 처음에 함수 X, Y, Z를 담고 있다면 프롬프트 접두부에는 X Y Z가 들어감. 사용자가 Y를 Y'로 바꾸면 그 내용을 문맥에 추가해서 캐시된 접두부는 그대로 두고 X Y Z Y'가 되게 함
    • 코드베이스를 불러오거나 참고 자료로 예열하는 작업은 밤새 또는 식사 시간에 돌리도록 구성할 수 있지 않나 싶음
      어떤 프로젝트로 전환하자마자 LLM이 즉시 함께 일해 주길 바라면 답답하겠지만, 최고의 인간 협업자라도 의미 있는 기여를 하려면 긴 온보딩 시간이 필요함
    • 검색해 보니 이건 표준 기능에 가까워 보임. 프리필을 캐시하고 PCIe 대역폭으로 불러오면 약 0.2초 정도면 될 것 같음

  • 글쓴이가 쓴 것과 달리 Tesla V100 SXM2 16GB는 DGX급이 아니라 HGX급임
    V100은 SXM2와 SXM4 두 종류가 있고, 후자는 최대 80GB 온보드 메모리를 가짐. 보통 HGX 라이저에 8×A100 80GB SXM4가 설치되고, 그 결과 NVSwitch 패브릭과 640GB의 풀링된 HBM2e가 생김. 패키지 적층 메모리이며 메모리 대역폭은 약 2TB/s이고, 2U 표준 랙 크기임

    • 무슨 말을 하는 건지 모르겠음. V100과 A100은 완전히 다른 세대임
      V100은 2TB/s를 제공하지 않음
    • 무슨 말을 하려는지 모르겠음. V100은 SXM2와 SXM3로 나왔고, 용량은 16GB와 32GB였음
      HGX는 DGX에 추가 구성을 얹은 것에 가까움

  • 제목만 보고 이걸 게임에 어떻게 쓰는지 기대했는데, 그냥 LLM을 돌렸을 뿐이었음

    • 처음에 영상 출력이 없다고 했으니 게임은 못 함
    • 올해 새 NVIDIA 게임용 GPU가 없어서, 해결해 볼 만한 흥미로운 문제처럼 보였음
    • 그게 가능할 것 같지 않음. 게임에 필요한 칩 내부 구성은 더 많은 연산 코어를 넣기 위해 제거됐을 가능성이 큼

  • AMD MI250X도 흥미로움. HBM2E 128GB에 3TB/s이고, 중고로 1,000달러 미만에 보일 때도 있음
    문제는 OAM 소켓이 필요하다는 것임. 일반 메인보드에 쉽게 연결하는 방법은 본 적이 없음

    • 추가로 복잡한 점은 MI250X가 한 패키지 안에 GPU 두 개라는 것임. 첫 번째와 마지막 x16 SERDES 그룹을 호스트에 연결해야 하며, 그렇지 않으면 GPU 하나만 보이거나 아예 동작하지 않을 수 있음
      또 eBay에 싸게 올라오는 HPE 적출품은 동작에 HPE의 독자적인 뭔가가 필요하고, 아직 그걸 알아낸 사람을 못 봄
    • 누군가 OAM 소켓용 변환기를 만들었지만, 현재는 NVIDIA 카드에서만 동작이 확인됐음 (https://www.reddit.com/r/NVIDIA_SXM2PCIE/comments/1d076cn/oa...)
      MI250X에 물리적으로 들어가고 시스템에서도 보이지만 드라이버가 동작하지 않음. 테스트한 건 HPE MI250X였음
      해당 스레드에는 MI250X가 두 종류라는 소문이 있음. HPE용과 그 외 제품인데, HPE용은 특수 펌웨어가 필요하고 일반 제품은 그렇지 않다는 이야기임. 다만 중고 시장의 MI250X 대부분이 HPE라 구매자 주의가 필요함
    • 흥미롭고 처리량도 강력하지만, PCIe 레인에 맞춰 개조하는 건 의미가 없어 보임. 슬롯 버스 병목에 갇히게 됨
    • 다행히 이 OAM 소켓 덕분에 돈을 쓰지 않게 되겠음

  • 훌륭한 글임. 이런 데이터센터 카드를 프로젝트용으로 자주 고려했는데, 이제 하나 사볼 마음이 생겼음
    장비 가격을 토큰 비용과 비교해서 설명한 부분이 결정적이었음

    • 그래서 나도 한 거임. 그런 식으로 관점을 잡는 게 중요하다고 봄

  • 축하함. 대부분은 드라이버, 커널, ACPI, 어댑터, 팬 헤더 디버깅을 하고 싶어 하지 않겠지만, 기꺼이 하는 사람에게는 가격 대비 성능이 말도 안 되게 좋음

  • “절대 최고를 원한다면 Opus 4.8도 있다. 하지만 20분 동안 무겁게 쓰는 비용이 이 GPU와 어댑터 전체를 산 값보다 더 비싸다. 그런데 격차는 놀라울 만큼 작다”는 식의 평가는 공정하지 않다고 봄
    나는 매일 API 선불 토큰으로 최전선 모델을 쓰지만, 한 달에 100달러를 겨우 넘길까 말까 함. 20분 만에 그 두 배를 태우는 방법을 찾아낸 건 인상적이지만, 지금 많은 사람이 겪는 현실을 반영한다고 보진 않음. LLM 활용 방식 중 지나치게 많이 먹는 접근이 이런 논의에서 편리한 허수아비로 쓰이고 있음
    동급 인프라를 직접 호스팅하는 것보다 API 비용을 내는 편이 거의 항상 경제적임. 직접 호스팅에 반대하는 건 아니지만, 글은 이 시도의 주된 동기를 경제성으로 제시함. 월 10^9 토큰 미만을 소비한다면 하이퍼스케일러와 경쟁하려고 시간을 쓰는 건 별로 가치가 없다고 봄. 돈은 대부분 이 기술을 기존 비즈니스와 통합하는 데 있음

    • 나도 호스팅 제공자를 쓰지만, Deepseek 같은 저렴한 모델로도 반나절 만에 100달러어치 토큰을 쉽게 태울 수 있음
      사용량이 그 정도로 가볍다면 구독을 쓰는 게 훨씬 절약됨. 더 많이 쓰는 경우에는 전기요금이 얼마나 싼지에 따라 일부를 로컬로 넘길 가치가 갈릴 것임. 참고로 내 경우엔 그럴 만하지 않음
    • Claude는 토큰 100만 개당 35달러쯤 함. API 가격으로 쓴다면 1시간짜리 코딩 세션 하나에서 100달러를 쉽게 쓸 수 있고, /fast를 켜면 10분 정도면 가능함
      다들 어떻게 쓰는지 잘 모르겠음
    • API 선불 토큰으로 최전선 모델을 매일 쓰는데 한 달 100달러를 겨우 넘긴다는 건 내 사용량과는 많이 다름
      ccusage 기준으로, 100달러짜리 Max 구독이 없었다면 5월에 Anthropic에 약 4,173달러를 냈어야 했음
      Input │ Output │ Cache Create │ Cache Read │ Total Tokens │ Cost (USD)
      1,948,016 │ 19,435,081 │ 103,626,350 │ 6,244,194,278 │ 6,369,203,725 │ $4173.09
      최신 수치를 다시 뽑은 것이고, Fast 모드는 전혀 쓰지 않았지만 대부분의 작업에는 Opus를 썼음
      사용 패턴이 아주 과격한 것도 아님. 보통 Claude Code가 한두 프로젝트에서 작업을 계속 돌고, 가끔은 내가 자는 동안에도 돌아감. 주간 한도의 60~80% 정도에 자주 도달함

  • 오래된 하드웨어가 재활용되는 걸 보니 좋음. 나는 Tesla V100 두 장을 듀얼 코어 Supermicro X10DRU-i 서버에서 돌리고 있음
    qwen3.6-27B-mtp로 중간 정도 문맥 크기, 즉 128k 미만에서는 추론이 약 35~40 tok/s 나오고, 수억 토큰을 소비하는 장시간 에이전트 작업도 돌려 봤음. Claude API 비용으로 냈다면 수백 달러 이상이었을 것임
    다만 이 카드들의 주된 용도는 과학 계산임. FP64 성능이 7+ TFLOPS라 나이를 감안하면 훌륭하고, NVIDIA가 Kepler 이후 소비자용 카드의 성능을 제한한 뒤로는 최신 소비자용 카드에서도 얻기 어려운 수준임. 서버는 지하실에 두고 있는데, 정말 시끄러움

  • 가장 흥미롭고 많은 사람에게 유용한 부분은 아마 팬 제어일 것임. 이걸 하려면 팬을 꼭 제어해야 함. 정말 시끄러움
    이런 카드를 고려한다면 V100은 유휴 전력이 매우 높다는 점도 알아야 함. 아무것도 안 올려도 25~35W이고, 모델을 올리면 쉽게 50W까지 감신함

답변달기
GN⁺   [-]
Lobste.rs 의견들

  • 접근 방식이 정말 멋지고, GPU가 PCIe에서 사라지는 현상은 원인이 너무 많아서 더 궁금함
    GPU 팬 소리가 크게 도는 건 NVIDIA CUDA 팀에 있던 때가 떠오름. 동료가 NVML과 nvidia-smi에 팬 제어 기능을 추가하고 있었는데, 칸막이 너머로 팬이 빨라졌다 느려졌다 하는 소리가 들리더니 그가 환하게 웃으며 고개를 내밀었음
    코드가 동작하는 순간 결과를 귀로 들을 수 있어서, 작업했던 기능 중 가장 좋아했다고 함

  • 자가 호스팅 LLM에 관심 있다면 Dell OEM RTX 3090이 대형 브랜드 제품보다 대체로 싸고, 약 800 캐나다달러에 구할 수 있었음
    이제 vLLM이 어떻게 동작하는지 더 읽어봐야 함. 모델이 가끔 관련 이름과 형용사를 긴 목록으로 뿜어내기 시작하는데, 아마 뭔가 잘못 설정한 듯함

    • RTX 3090에서 어떤 모델을 돌리는지 궁금함
      쓸 만한 모델 대부분은 제대로 돌리려면 최소 48~64GB VRAM이 필요하다고 알고 있었고, 그래서 통합 메모리 구조를 가진 Apple M 시리즈 칩이 이 분야에서 인기가 있는 줄 알았음

  • 그런 제품도 이미 포장된 형태로 나오긴 하지만, 제조사 보증 3개월 받고 끝나는 식임
    https://ebay.com/itm/297819576914/…

    • 이건 정말 끌림. 여기 글에서 말한 팬 개조는 안 되어 있을 것 같음

  • 미국에서는 중고 32GB 모델이 600달러 정도에 거래됨
    어댑터는 아마 원산지인 중국에서 바로 살 것 같음

  • AMD 쪽에 대응되는 제품이 있는지 궁금함. 지금 48GB W7900 두 장을 쓰고 있는데, 더 큰 모델을 돌릴 수 있게 확장하고 싶음

    • 어느 정도는 있음. V100과 같은 시대의 Instinct MI60이 있는데 꽤 오래됐지만 32GB VRAM이 있고, 이미 PCIe 카드 버전으로 나옴
      냉각은 추가해야 하지만 어댑터를 만지작거릴 필요는 없음
      로컬 모델 구성을 발견할 때마다 읽어보고 있는데, 지금 중간 규모 VRAM 수요인 48~128GB 구간에는 진짜 가격 대비 성능의 최적점이 없어 보임. 선택지는 대략 세 가지임: 3세대 전 데이터센터 GPU 여러 장(Tesla V100, Instinct MI60), VRAM이 큰 현세대 최하위 제품 여러 장(Arc Pro B70), 현세대 일체형 박스(DGX Spark, Mac Mini, Strix Halo)
      32GB 소비자용 GPU 한 장이나 16GB 두 장에서 업그레이드하는 사람에게는 각각 타협점이 있지만 장점도 있음. 이미 48GB 카드 두 장을 쓰는 상황이라면, 체감상 개선처럼 느껴질 중고 하드웨어 업그레이드가 있을지는 잘 모르겠음
답변달기
GeekNews BeeBS 게시판 오픈! 자유로운 이야기와 소소한 일상을 함께 나눠보세요.