# USB4를 이용하여 고속 10Gbps 풀-메쉬 네트워크 $47.98에 구축하기

> Clean Markdown view of GeekNews topic #12884. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=12884](https://news.hada.io/topic?id=12884)
- GeekNews Markdown: [https://news.hada.io/topic/12884.md](https://news.hada.io/topic/12884.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2024-01-16T09:59:30+09:00
- Updated: 2024-01-16T09:59:30+09:00
- Original source: [fangpenlin.com](https://fangpenlin.com/posts/2024/01/14/high-speed-usb4-mesh-network/)
- Points: 15
- Comments: 11

## Topic Body

- AWS비용을 줄이기 위해 베어메탈 쿠버네티스 클러스터 구축 및 10Gbps 네트워크를 설정했음  
- USB4 이더넷 브리지 기반 네트워킹으로 전통적인 이더넷 스위치와 케이블 대체  
- 네트워크 속도 11Gbps 도달했으나 제작 비용은 단 47.98달러  
  
### 표준 1U 서버 대비 미니 PC  
  
- 베어메탈 클러스터 구축 시 사용할 기계 유형 고민  
- 중고 1U 서버 저렴하지만 운영 비용 고려 시 비효율적  
- 미니 PC는 저렴하고, 조용하며, 전력 소모가 적음  
- Venus UM790 Pro 미니 PC 선택, 낮은 전력 소모 (대기시 6W, 최대 부하 80W)  
   - AMD Ryzen 9 7940HS CPU + 64GB 메모리 + 1T 스토리지 인데 $779 로 저렴   
  
### 네트워킹  
  
- UM790 Pro 미니 PC를 2대 더 추가하여 3 노드 클러스터로 확장하기로 함  
- Ceph 스토리지 시스템 설치 후 노드 간 더 나은 네트워크 연결이 필요해짐   
  - 장비에 2.5G 네트워크 포트가 있긴 하지만 이더넷 스위치도 구입을 해야함   
- 기기에 2개나 있는 USB4 포트 활용하여 40Gbps 속도 가능성 고려  
- USB4 케이블로 풀 메시 네트워크 구성, 2.5G 이더넷 스위치 구매 대비 비용 절감  
  
### NixOS와 Systemd를 이용한 메시 네트워크 구성  
  
- NixOS를 사용하여 리눅스 OS 환경 재현성 있는 구성.  
- systemd-udevd로 썬더볼트 브리지 네트워크 장치 구성 및 IP 설정.  
  
### 벤치마크 결과  
  
- iperf3 벤치마크 결과로 11Gbps 네트워크 속도 확인  
  
### 사후 고찰  
  
- 11Gbps 네트워크를 저렴한 비용으로 구축한 것에 대한 만족감.  
- USB4 기반 네트워크의 속도 제한 원인에 대한 궁금증.  
- USB/썬더볼트 기반 고속 네트워크 구축에 대한 미래의 가능성 탐구.  
  
### GN⁺의 의견:  
- 이 기사는 소프트웨어 엔지니어가 하드웨어에 대한 지식을 확장하는 중요성을 강조함. 특히, 저렴한 비용으로 고속 네트워크를 구축하는 창의적인 접근 방식을 제시함으로써, 기존의 네트워킹 방식에 대한 새로운 대안을 제시함.  
- USB4 기술을 활용한 네트워킹은 기존 이더넷 기반 솔루션에 비해 비용 효율적이며 높은 속도를 제공함을 보여줌. 이는 향후 소규모 데이터 센터나 개인 사용자들에게 매력적인 옵션이 될 수 있음.  
- NixOS와 같은 도구를 사용하여 네트워크 구성을 자동화하고 재현 가능하게 만드는 방법은 시스템 관리자와 개발자들에게 유용한 정보를 제공함.

## Comments



### Comment 22406

- Author: aster
- Created: 2024-01-19T15:24:47+09:00
- Points: 1

풀매수라고 봤네..

### Comment 22365

- Author: pmc7777
- Created: 2024-01-18T15:44:51+09:00
- Points: 1

알차게 구성했네요... 부럽습니다

### Comment 22345

- Author: bus710
- Created: 2024-01-18T09:45:41+09:00
- Points: 1

IP over TB4/USB4로 파일 전송 잘 쓰고 있는데, 정말 빠릅니다 ㅎㅎ

### Comment 22358

- Author: bus710
- Created: 2024-01-18T12:03:38+09:00
- Points: 1
- Parent comment: 22345
- Depth: 1

thinderbolt-tools, bolt 패키지들 깔고 드라이버만 잘 설치 되어 있으면, nmcli로 인터페이스 설정하고 ssh나 scp 등으로 그냥 이더넷 연결처럼 쉽게 사용 가능 합니다.   
인텔 장치와 맥 장치들은 큰 문제 없었는데, amd는 조금 안 되는 장치들이 있을 수 있습니다.

### Comment 22465

- Author: kuroneko
- Created: 2024-01-22T12:17:39+09:00
- Points: 1
- Parent comment: 22358
- Depth: 2

이걸 알았다면 인텔 CPU를 골랐을 텐데 말이죠... ㅠㅠ

### Comment 22317

- Author: kuroneko
- Created: 2024-01-17T10:56:28+09:00
- Points: 2

어... 2개의 PC간에 USB4/썬더볼트를 직접 연결하면 이더넷으로 취급된다고요?  
  
지금 NAS랑 PC랑 10Gbps 연결을 해보려고 온갖 계획을 다 세우고 있었는데  
(10G 지원하는 랜카드를 2개 사서 서로 직결해보려 했는데)  
  
갑자기 허탈하네요.  
  
USB4/썬더볼트 지원되는걸로 메인보드를 바꿔야하는거였나...

### Comment 22318

- Author: kuroneko
- Created: 2024-01-17T11:00:05+09:00
- Points: 1
- Parent comment: 22317
- Depth: 1

HN에서 스쳐 지나가듯 봤을 땐 별생각 없이 넘어갔는데,  
여기서 보니까 내용이 갑자기 눈에 들어오네요;  
  
암튼 덕분에 해결책이 보입니다...  
  
단점이라면 나스랑 PC가 가까워야 한다는 점 정도겠네요.  
USB4 케이블은 껏해야 3M 정도니까... (랜 케이블이 최대 100ｍ인 거랑 비교하면)

### Comment 22388

- Author: molla
- Created: 2024-01-19T10:00:43+09:00
- Points: 1
- Parent comment: 22318
- Depth: 2

거리 제약이 생각보다 심합니다.  
usb-c 케이블 표준이 1m 이하일 경우에만 10gbps 지원 입니다. (usb-c 데이터 케이블이 짧은 이유입니다.)  
2m 이하일 경우  5gbps 지원이고, 그 이상이면 usb 2 지원입니다.  
아예 썬더볼트쪽으로 가면 엑티브 케이블을 이용해 거리를 늘릴 수 있습니다만, 엑티브 케이블은 가격도 어마어마 하고, usb4 와 호환되는지도 잘 모르겠습니다.

### Comment 22464

- Author: kuroneko
- Created: 2024-01-22T12:16:55+09:00
- Points: 1
- Parent comment: 22388
- Depth: 3

아하... 시중에 나온 3M짜리 USB4 케이블은 제대로 된 속도를 내지 못할 가능성이 높은 거군요.  
정확히 알아보고 해야겠네요. AMD CPU를 사용하는지라 썬더볼트도 사용이 어려워서 ㅠ

### Comment 22292

- Author: neo
- Created: 2024-01-16T09:59:30+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=39003469) 
- USB4/썬더볼트 프로토콜에 대한 토론:
  - USB4/썬더볼트는 마법 같은 프로토콜로, 현대 PC 간 데이터를 이동시키는 가장 빠른 방법은 USB-C 케이블로 썬더볼트 포트를 연결하는 것임.
  - 이 연결은 윈도우에서 이더넷 포트로 인식되며, SSD를 포화시킬 수 있는 1GB/s 이상의 전송 속도를 쉽게 달성함.
  - 인텔은 CES에서 썬더볼트 4/5를 이용한 장치 간 파일 전송 기능을 선보임. 이론적으로 썬더볼트 4와 5는 각각 20Gbps와 40Gbps의 속도를 제공함.
  - 하나의 썬더볼트/USB4 컨트롤러만 사용하는 경우, 두 USB4 포트가 40Gbps PCIe 레인을 나누어 사용하기 때문에 11Gbps만 달성할 수 있었을 가능성이 있음.

- 네트워크 구조에 대한 설명:
  - 3개의 노드만 있는 경우 이를 메시 네트워크라고 부르지 않으며, 실제 링 네트워크는 3개 이상의 노드가 있고 일부 목적지가 여러 홉을 거쳐야 할 때 형성됨.
  - 메시 네트워크는 다수의 경로가 가능한 임의의 점대점 연결로 형성된 네트워크를 의미함.

- Dell 서버의 전력 사용량 벤치마크:
  - Dell r430 서버의 전력 사용량을 측정한 결과, 부팅 후 약 100와트, 부하 상태에서 최대 약 220와트를 사용함.
  - 이는 하루에 72kWh, 월 $11.05의 비용이 발생하는 것으로, 부하 상태에서는 월 $24.3의 비용이 발생함.
  - 서버 호스팅은 안정적인 인터넷과 소음 문제를 해결하기 위해 공동 위치에 두는 것이 좋음.

- USB 4의 오류 처리 능력:
  - USB를 통한 대량 데이터 전송 시 드물게 발생하는 데이터 손상에 대한 USB 4의 오류 처리 능력에 대한 질문이 있음.

- 과거의 파일 전송 방법:
  - MS-DOS 컴퓨터 간에 병렬 케이블을 이용한 파일 전송 방법에 대한 추억이 공유됨.

- 썬더볼트 연결의 최적화:
  - 썬더볼트 연결 시 MTU(최대 전송 단위)를 9000으로 설정하면 1500일 때보다 더 나은 성능을 보임.

- 고대 네트워크 구조에 대한 회상:
  - IP-over-SCSI를 이용해 1990년대에 U320 속도로 8대의 PC를 하나의 SCSI 체인에 연결했던 경험에 대한 이야기가 있음.

- 썬더볼트 속도와 관련된 기술적 문제:
  - 썬더볼트 속도에 영향을 미치는 요소로 케이블, 마더보드의 PCIe 레인 할당, 드라이버/펌웨어 업데이트 등이 언급됨.

- 전기 요금에 대한 논의:
  - 평균 주거용 전기 요금이 15.34센트/kWh라는 정보가 제공되었으나, 샌프란시스코에서는 이보다 두 배 이상 비싼 요금을 지불한다는 개인적인 경험이 공유됨.

### Comment 22409

- Author: cosine20
- Created: 2024-01-19T16:07:25+09:00
- Points: 1
- Parent comment: 22292
- Depth: 1

와 옛날 컴퓨터끼리는 병렬 케이블로 연결하면 데이터를 주고 받을 수 있었군요???