USB4를 이용하여 고속 10Gbps 풀-메쉬 네트워크 $47.98에 구축하기

• AWS비용을 줄이기 위해 베어메탈 쿠버네티스 클러스터 구축 및 10Gbps 네트워크를 설정했음
• USB4 이더넷 브리지 기반 네트워킹으로 전통적인 이더넷 스위치와 케이블 대체
• 네트워크 속도 11Gbps 도달했으나 제작 비용은 단 47.98달러

표준 1U 서버 대비 미니 PC

• 베어메탈 클러스터 구축 시 사용할 기계 유형 고민
• 중고 1U 서버 저렴하지만 운영 비용 고려 시 비효율적
• 미니 PC는 저렴하고, 조용하며, 전력 소모가 적음
• Venus UM790 Pro 미니 PC 선택, 낮은 전력 소모 (대기시 6W, 최대 부하 80W)
  • AMD Ryzen 9 7940HS CPU + 64GB 메모리 + 1T 스토리지 인데 $779 로 저렴

네트워킹

• UM790 Pro 미니 PC를 2대 더 추가하여 3 노드 클러스터로 확장하기로 함
• Ceph 스토리지 시스템 설치 후 노드 간 더 나은 네트워크 연결이 필요해짐
  • 장비에 2.5G 네트워크 포트가 있긴 하지만 이더넷 스위치도 구입을 해야함
• 기기에 2개나 있는 USB4 포트 활용하여 40Gbps 속도 가능성 고려
• USB4 케이블로 풀 메시 네트워크 구성, 2.5G 이더넷 스위치 구매 대비 비용 절감

NixOS와 Systemd를 이용한 메시 네트워크 구성

• NixOS를 사용하여 리눅스 OS 환경 재현성 있는 구성.
• systemd-udevd로 썬더볼트 브리지 네트워크 장치 구성 및 IP 설정.

벤치마크 결과

• iperf3 벤치마크 결과로 11Gbps 네트워크 속도 확인

사후 고찰

• 11Gbps 네트워크를 저렴한 비용으로 구축한 것에 대한 만족감.
• USB4 기반 네트워크의 속도 제한 원인에 대한 궁금증.
• USB/썬더볼트 기반 고속 네트워크 구축에 대한 미래의 가능성 탐구.

GN⁺의 의견:

• 이 기사는 소프트웨어 엔지니어가 하드웨어에 대한 지식을 확장하는 중요성을 강조함. 특히, 저렴한 비용으로 고속 네트워크를 구축하는 창의적인 접근 방식을 제시함으로써, 기존의 네트워킹 방식에 대한 새로운 대안을 제시함.
• USB4 기술을 활용한 네트워킹은 기존 이더넷 기반 솔루션에 비해 비용 효율적이며 높은 속도를 제공함을 보여줌. 이는 향후 소규모 데이터 센터나 개인 사용자들에게 매력적인 옵션이 될 수 있음.
• NixOS와 같은 도구를 사용하여 네트워크 구성을 자동화하고 재현 가능하게 만드는 방법은 시스템 관리자와 개발자들에게 유용한 정보를 제공함.

[aster]

풀매수라고 봤네..

[pmc7777]

알차게 구성했네요... 부럽습니다

[bus710]

IP over TB4/USB4로 파일 전송 잘 쓰고 있는데, 정말 빠릅니다 ㅎㅎ

[bus710]

thinderbolt-tools, bolt 패키지들 깔고 드라이버만 잘 설치 되어 있으면, nmcli로 인터페이스 설정하고 ssh나 scp 등으로 그냥 이더넷 연결처럼 쉽게 사용 가능 합니다.
인텔 장치와 맥 장치들은 큰 문제 없었는데, amd는 조금 안 되는 장치들이 있을 수 있습니다.

[kuroneko]

이걸 알았다면 인텔 CPU를 골랐을 텐데 말이죠... ㅠㅠ

[kuroneko]

어... 2개의 PC간에 USB4/썬더볼트를 직접 연결하면 이더넷으로 취급된다고요?

지금 NAS랑 PC랑 10Gbps 연결을 해보려고 온갖 계획을 다 세우고 있었는데
(10G 지원하는 랜카드를 2개 사서 서로 직결해보려 했는데)

갑자기 허탈하네요.

USB4/썬더볼트 지원되는걸로 메인보드를 바꿔야하는거였나...

[kuroneko]

HN에서 스쳐 지나가듯 봤을 땐 별생각 없이 넘어갔는데,
여기서 보니까 내용이 갑자기 눈에 들어오네요;

암튼 덕분에 해결책이 보입니다...

단점이라면 나스랑 PC가 가까워야 한다는 점 정도겠네요.
USB4 케이블은 껏해야 3M 정도니까... (랜 케이블이 최대 100ｍ인 거랑 비교하면)

[molla]

거리 제약이 생각보다 심합니다.
usb-c 케이블 표준이 1m 이하일 경우에만 10gbps 지원 입니다. (usb-c 데이터 케이블이 짧은 이유입니다.)
2m 이하일 경우 5gbps 지원이고, 그 이상이면 usb 2 지원입니다.
아예 썬더볼트쪽으로 가면 엑티브 케이블을 이용해 거리를 늘릴 수 있습니다만, 엑티브 케이블은 가격도 어마어마 하고, usb4 와 호환되는지도 잘 모르겠습니다.

[kuroneko]

아하... 시중에 나온 3M짜리 USB4 케이블은 제대로 된 속도를 내지 못할 가능성이 높은 거군요.
정확히 알아보고 해야겠네요. AMD CPU를 사용하는지라 썬더볼트도 사용이 어려워서 ㅠ

[GN⁺]

Hacker News 의견

• USB4/썬더볼트 프로토콜에 대한 토론:

  • USB4/썬더볼트는 마법 같은 프로토콜로, 현대 PC 간 데이터를 이동시키는 가장 빠른 방법은 USB-C 케이블로 썬더볼트 포트를 연결하는 것임.
  • 이 연결은 윈도우에서 이더넷 포트로 인식되며, SSD를 포화시킬 수 있는 1GB/s 이상의 전송 속도를 쉽게 달성함.
  • 인텔은 CES에서 썬더볼트 4/5를 이용한 장치 간 파일 전송 기능을 선보임. 이론적으로 썬더볼트 4와 5는 각각 20Gbps와 40Gbps의 속도를 제공함.
  • 하나의 썬더볼트/USB4 컨트롤러만 사용하는 경우, 두 USB4 포트가 40Gbps PCIe 레인을 나누어 사용하기 때문에 11Gbps만 달성할 수 있었을 가능성이 있음.

• 네트워크 구조에 대한 설명:

  • 3개의 노드만 있는 경우 이를 메시 네트워크라고 부르지 않으며, 실제 링 네트워크는 3개 이상의 노드가 있고 일부 목적지가 여러 홉을 거쳐야 할 때 형성됨.
  • 메시 네트워크는 다수의 경로가 가능한 임의의 점대점 연결로 형성된 네트워크를 의미함.

• Dell 서버의 전력 사용량 벤치마크:

  • Dell r430 서버의 전력 사용량을 측정한 결과, 부팅 후 약 100와트, 부하 상태에서 최대 약 220와트를 사용함.
  • 이는 하루에 72kWh, 월 $11.05의 비용이 발생하는 것으로, 부하 상태에서는 월 $24.3의 비용이 발생함.
  • 서버 호스팅은 안정적인 인터넷과 소음 문제를 해결하기 위해 공동 위치에 두는 것이 좋음.

• USB 4의 오류 처리 능력:

  • USB를 통한 대량 데이터 전송 시 드물게 발생하는 데이터 손상에 대한 USB 4의 오류 처리 능력에 대한 질문이 있음.

• 과거의 파일 전송 방법:

  • MS-DOS 컴퓨터 간에 병렬 케이블을 이용한 파일 전송 방법에 대한 추억이 공유됨.

• 썬더볼트 연결의 최적화:

  • 썬더볼트 연결 시 MTU(최대 전송 단위)를 9000으로 설정하면 1500일 때보다 더 나은 성능을 보임.

• 고대 네트워크 구조에 대한 회상:

  • IP-over-SCSI를 이용해 1990년대에 U320 속도로 8대의 PC를 하나의 SCSI 체인에 연결했던 경험에 대한 이야기가 있음.

• 썬더볼트 속도와 관련된 기술적 문제:

  • 썬더볼트 속도에 영향을 미치는 요소로 케이블, 마더보드의 PCIe 레인 할당, 드라이버/펌웨어 업데이트 등이 언급됨.

• 전기 요금에 대한 논의:

  • 평균 주거용 전기 요금이 15.34센트/kWh라는 정보가 제공되었으나, 샌프란시스코에서는 이보다 두 배 이상 비싼 요금을 지불한다는 개인적인 경험이 공유됨.

[cosine20]

와 옛날 컴퓨터끼리는 병렬 케이블로 연결하면 데이터를 주고 받을 수 있었군요???