나의 과도한 홈 네트워크

 (blog.networkprofile.org)
2P by GN⁺ | ★ favorite | 댓글 1개
  • 집 중앙 옷장에 25U StarTech 랙을 두고 Cat6, 광섬유, 방화벽, 스위치, 서버, UPS를 모아 집 전체 네트워크의 배선과 전원을 한곳에서 관리함
  • 주 회선은 AT&T Fiber 1Gb 대칭형, 백업은 월 $50의 Verizon 5G이며, pfSense Gateway Group으로 장애 시 인터넷 경로를 전환함
  • 내부망은 pfSense 방화벽, Dell·Cisco 스위치, 10Gb SFP+ 백본, VLAN, PoE를 조합해 카메라·AP·서버·NAS 트래픽을 나눠 처리함
  • ESXi 7.0 U3 호스트 3대, TrueNAS NAS, JBOD 디스크 셸프, Blue Iris NVR 위에서 HomeAssistant, 백업, 모니터링, 블로그, PLEX 등 여러 서비스를 집에서 운영함
  • 차고 랙까지 광섬유로 연결하고 UPS, 발전기, GPS NTP, ADS-B, WeatherFlow 수신기를 더해 정전과 회선 장애까지 고려한 가정용 인프라를 구축함

중앙 랙과 집 전체 배선

  • 집 안 랙은 중앙 옷장에 있으며, 다락으로 이어지는 2ft x 2ft 공간 덕분에 네트워크 케이블을 올리기 쉬움
  • 랙은 25U 조절식 StarTech Rack이고, 상단에는 네트워크 장비와 패치 패널이 배치됨
  • 최상단에는 Monoprice keystone patch panel 2개가 있음
    • 대부분 Cat6 keystone jack으로 채워져 있음
    • 일부는 긴 광섬유 구간을 위한 LC-LC keystone jack임
    • 연결은 집 안 카메라, AP, 네트워크 잭 등으로 이어짐
    • keystone patch panel은 전체 패널을 움직이지 않고 잭을 추가·제거할 수 있어 다른 연결을 망가뜨릴 가능성이 낮음
  • 케이블 관리는 Amazon의 일반 1U 케이블 관리 장치와 Monoprice SlimRun Cat6a 케이블로 처리함

이중 인터넷과 pfSense 방화벽

  • 패치 패널 아래에는 pfSense를 실행하는 1U Supermicro 서버가 있음
    • Intel Pentium Gold G5500
    • ECC RAM 8GB
    • 온보드 Intel NIC 4개
    • LAN과 VLAN용 Mellanox Connect-X3 10Gb NIC
  • LAN과 VLAN에 10Gb 연결을 쓰는 이유는 방화벽에서 VLAN 간 라우팅을 수행하고, 1Gb 대칭형 인터넷 때문에 스위치로 가는 1Gb 링크를 쉽게 포화시킬 수 있었기 때문임
  • 인터넷 회선은 두 개임
    • AT&T Fiber: 1Gb 대칭형, 데이터 제한 없음, 주 회선
    • Verizon Gateway: 약 300Mb/s 다운로드와 20Mb/s 업로드, 월 $50, 약정 없음, 데이터 제한 없음, 백업 회선
  • 두 회선은 pfSense의 Gateway Group에 들어가며, 평소에는 AT&T Fiber를 쓰고 장애 시 Verizon을 사용함
  • AT&T 연결은 inbound connection을 위해 passthrough mode로 구성함
  • Verizon 연결은 IP가 자주 바뀌고 pfSense가 걸릴 때가 있어 기본 구성으로 둠
    • pfSense는 내부 IP를 받음
    • Verizon 회선에서 inbound connection은 중요하지 않지만, 원격 접속 VPN과 일부 보안 장비 연결은 필요함
  • NAT 우회를 위해 Linode VPS와 site-to-site WireGuard VPN을 구성함
    • 로컬 pfSense가 클라이언트이고 VPS가 서버라 NAT를 사실상 우회함
    • CGNAT 환경에서도 유용함
    • VPS에서는 forwarding을 켜 로컬 네트워크에 접근함
    • NGINX Proxy Manager가 특정 포트를 집 네트워크까지 전달함
    • 집에서 어떤 게이트웨이를 쓰든 같은 IP 또는 DNS 레코드로 접속할 수 있음
  • 집에서 호스팅하는 블로그도 이 방식과 연결됨

스위치, VLAN, 무선 네트워크

  • 메인 1Gb 스위치는 Dell X1052P이며, 집 안 대부분의 1Gb 연결과 PoE를 처리함
    • PoE와 PoE+를 지원함
    • AP, 소형 네트워크 장비, 다수의 IP 카메라에 전원을 공급함
    • 파란색 연결은 별도 VLAN에 묶인 집 IP 카메라들임
    • 메인 10Gb 스위치와는 20Gb LACP trunk로 연결됨
    • 4개의 10Gb 연결, PoE+, 슬라이딩 레일, 양호한 팬 품질은 장점임
    • CLI 설정이 없고 웹 인터페이스가 매우 나쁜 점은 큰 단점임
  • Cisco SG300-28은 Dell X1052P의 1Gb 포트가 부족해 추가한 스위치임
    • IPMI, 프린터 같은 저대역폭 장비가 연결됨
    • Dell 스위치와 단일 1Gb 링크로 연결됨
    • Verizon Gateway의 두 번째 포트를 별도 VLAN에 연결해 pfSense를 우회하고 Verizon 인터넷에 직접 붙을 수 있음
    • RIPE Atlas probe와 외부 연결 테스트, DNS·방화벽 규칙 배제 테스트에 유용함
  • 메인 10Gb 스위치는 Cisco SX350-24F임
    • 24포트 10Gb SFP+ 스위치이며, 그중 4개는 copper combo port임
    • NAS에는 dual 10Gb 연결이 들어감
    • ESXi 서버 1대, 데스크톱 PC 2대, 방화벽 uplink, 차고 랙, Dell 스위치 LACP trunk가 연결됨
    • WiiTek transceiver를 사용해 HTPC에 2.5Gb 연결을 제공함
    • 스위치 자체는 1Gb와 10Gb만 지원하지만 transceiver가 multigig 연결을 처리함
  • WiFi는 집과 차고에 Ruckus AP 4대를 배치함
    • 집 천장에는 R510이 설치됨
    • 차고 외부에는 R320이 설치되어 있으며, 실외용 AP는 아니지만 3년 넘게 정상 동작함
    • Ruckus AP는 Ubiquiti AP보다 외형은 덜 좋지만 훨씬 잘 동작한다고 평가함
    • Unleashed mode를 사용해 한 AP가 전체 AP의 컨트롤러 역할을 하며 별도 컨트롤러가 필요 없음

서버, 스토리지, 로컬 서비스

  • 네트워크 장비 아래에는 저전력 장비용 선반과 VMware ESXi 호스트 3대가 있음
  • 상단 선반에는 소형 허브, 시간 서버, RIPE Atlas Probe가 모여 있음
    • Hubitat Hub
    • GPS/PPS 시간 소스를 쓰는 Raspberry Pi 3B+ NTP 서버
    • Verizon 회선에 직접 연결된 새 RIPE Atlas Probe
    • GPS NTP를 실행하는 Raspberry Pi Zero W
    • AT&T 회선에 연결된 구형 RIPE Atlas Probe
  • Hubitat Hub는 거의 HomeAssistant VM으로 대체됨
    • 현재는 Z-Wave와 Zigbee 장치를 연결하는 용도로 남아 있음
    • 연기 감지기와 누수 감지기처럼 아직 필요한 장비가 있음
  • RIPE Atlas Probe는 인터넷 측정에 기여하는 장비로 사용됨
  • GPS 기반 NTP 서버는 인터넷이 없어도 네트워크 장비에 매우 정확한 시간을 제공함
  • ESXi 호스트는 모두 ESXi 7.0 U3를 실행함
    • 6.7에서 7.0으로 옮길 때 버그가 많았기 때문에 8.0으로는 아직 전환하지 않음
    • 실행 서비스에는 Veeam Backup, Borg Backup, Arq Backup, HomeAssistant, HomeBridge, NGINX Proxy Manager, vCenter, Rekor Scout/OpenALPR, Grafana, InfluxDB, LibreNMS, VDI VM, 테스트 VM, Windows Domain Lab, Portainer, Kiwix, NextCloud, Mealie, Navidrone, Solarr, PLEX, public SFTP Server, Netbox, qBitTorrent, Prowlarr, 블로그 등이 포함됨
  • ESXi 호스트 구성은 세 가지임
    • ASUS PN50: AMD Ryzen 4800U 8코어 16스레드, DDR4 64GB, 2TB NVMe, 내장 NIC가 ESXi에서 지원되지 않아 1Gb Intel M.2 NIC를 사용함
    • Lenovo M73 Tiny: i5-4750T, RAM 16GB, 1TB SATA SSD, 가벼운 VM용이며 NIC가 VMware 8.0에서 더 이상 지원되지 않아 교체 필요함
    • Lenovo M720q Tiny: i7-8700T, RAM 64GB, 2TB NVMe, Intel X520 dual 10Gb NIC, 네트워크 집약 VM을 담당함
  • 2U Supermicro chassis 3대가 스토리지와 NVR 역할을 함
    • 첫 번째는 12 x 8TB SAS 디스크가 들어간 JBOD 디스크 셸프이며, NAS에 연결된 메인 미디어 저장소임
    • 전원은 SuperMicro CSE-PTJBOD-CB2 대신 PSU connector를 paperclip으로 점퍼해 24/7/365 켜두는 방식임
    • 두 번째는 TrueNAS NAS이며 Xeon E3-1270 V5, ECC RAM 64GB, dual port 25Gb NIC, 여러 HBA를 사용함
    • LSI 9207-8e는 12 x 8TB SAS 디스크에 연결되고, LSI 9300은 중요한 데이터용 6 x 4TB SAS striped mirror에 연결됨
    • Intel S3700 DC 800GB Enterprise SSD 2개는 Metadata storage, 즉 Fusion Pool로 사용됨
    • 관련 글: My Data Backup Plan - 2021
  • 세 번째 서버는 Blue Iris NVR임
    • 8-bay Supermicro chassis
    • i7 8700K, DDR4 16GB, NVIDIA Tesla P4, LSI 9207-8i
    • 약 48TB 녹화 스토리지
    • 로컬 AI로 집 안 부지에 사람이 걷는 상황 등을 감지함
    • Intel i350-T4 quad port gigabit NIC를 사용하며, 한 포트는 LAN, 한 포트는 CCTV VLAN에 연결됨
    • CCTV VLAN은 다른 네트워크와 인터넷에서 완전히 방화벽으로 분리되어 있음
  • 소비자용 보드라 원격 관리가 없는 NVR에는 TinyPilot 장비를 붙여 BIOS 수준 원격 제어를 제공함

전원, 냉각, 차고 랙과 외부 센서

  • 메인 랙 하단에는 CyberPower PDU15M2F10R Metered PDU와 APC SRT3000RMXLA double conversion/online UPS가 있음
  • 장비와 디스크가 늘면서 방이 너무 더워져 AC Infinity Fan을 추가함
    • 팬은 공기를 뒤쪽 빈 옷장으로 배출함
    • 온도 프로브와 컨트롤러는 랙 앞쪽에 설치됨
  • Vertiv/Giest Watchdog 15-P는 PoE 전원 환경 모니터임
    • 온도 또는 습도가 특정 기준을 넘으면 알림을 보낼 수 있음
    • 높은 온도와 낮은 습도에 대해 알림을 설정함
    • SNMP를 지원해 모니터링 솔루션으로 데이터를 가져올 수 있음
  • 차고에는 단일모드 광섬유(SMF)가 관로를 통해 이어짐
    • 집과 차고 사이에는 AT&T Fiber도 함께 지나감
    • 80ft 오크나무 아래를 지나는 얇은 광섬유와 뇌우가 많은 환경 때문에 Verizon 백업 인터넷을 둠
  • 차고 랙은 무료로 얻은 12U 랙이며, 깊이 있는 장비 기준으로는 하단 1U를 쓰기 어려워 실제로 11U에 가까움
    • Cisco WS-C2960S-48LPD-L 스위치가 있으며, 48 x PoE+ 1Gb 포트와 2 x 10Gb SFP+ 포트를 제공함
    • APC Surge Protector PDU와 백업 TrueNAS 서버가 있음
    • 백업 TrueNAS는 폐부품 기반이며, 4 x 8TB SAS 디스크를 RAIDZ2로 구성함
    • 주 NAS에서 복제된 snapshot을 받는 것만 담당함
    • 관련 글: Deploying a TrueNAS Backup Server to my hot Texas Garage
  • 차고 랙에도 TinyPilot, GPS 기반 Raspberry Pi NTP, UPS가 있음
  • 차고 서까래에는 ADS-B 안테나가 있고, SDR이 붙은 Raspberry Pi로 항공기 ADS-B 데이터를 FlightAware, FlightRadar24, ADSB-X 등으로 전송함
    • 안테나는 밖에 설치하면 더 좋으며, 향후 프로젝트로 계획 중임
  • 차고 랙에는 WeatherFlow Tempest Receiver도 있음
    • 뒤뜰 높은 기둥에 설치된 Weather Station과 연결됨
    • MQTT로 데이터를 인터넷 없이 로컬 HomeAssistant에 넣어 센서 기반 자동화에 사용할 수 있음
  • 집 외부에는 발전기 ATS와 전기 패널이 있음
    • 발전기는 27kW이며 집 전체에 전원을 공급함
    • 발전기 기동과 전환에 약 10초가 걸려 UPS는 최대 10초 정도만 버티면 됨
  • 향후 프로젝트로 Meshtastic LoRa T-Beam을 영구 설치해 인터넷 없이 암호화 mesh 통신을 구현하려 함
    • 집에 하나, 몸에 하나를 두고 기본 안테나와 높이 이점 없이 약 2마일 통신함
    • 더 좋은 안테나를 높게 설치하면 인터넷 없이 동네 전체에서 통신할 수 있을 것으로 봄
    • 현재 하나는 repeater로 책상 위에 있으며 WiFi로 네트워크에 연결됨

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 예전에는 모든 걸 셀프 호스팅하고 10G 백본까지 갖춘 과한 홈 네트워크를 운영했지만, 요즘은 훨씬 실용적으로 바뀜
    유선 장비는 딱 2대뿐이고 나머지는 Wi-Fi로 돌리며, 네트워크 랙도 방화벽과 16포트 PoE 스위치만 남김
    NAS는 전기요금이 지난겨울 €1/kWh를 자주 넘으면서 월 35kWh 정도 쓰는 게 부담되어 없앴고, 대신 월 €20 정도의 클라우드 스토리지에 Cryptomator로 암호화해 올리며 다른 제공자의 중복 클라우드 백업도 포함시킴
    집에는 클라우드 데이터를 매일 로컬 백업하고 단일 USB3 외장 드라이브로 작은 Plex 라이브러리를 돌리는 ARM 장비 하나만 남았으며, 전기요금과 하드웨어 비용을 줄인 것뿐 아니라 여유 시간이 엄청나게 늘어남
    방화벽은 WireGuard VPN을 제외하면 완전히 닫혀 있고, 이제는 일반적인 패치 루틴 말고 유지보수할 것도 거의 없음

    • 나도 비슷하게 최근 이사하면서 인터넷 인입 지점에서 다락의 PoE 스위치까지 CAT6를 올리고, 거기에 WiFi6 AP 몇 대를 연결한 게 전부였음
      카메라, 스마트 스위치, 업무용 노트북, 프로젝트용 RPi4까지 전부 Wi-Fi로 충분히 잘 돌아가며, 유일하게 이더넷에 직접 물린 장비는 다락에 둔 헤드리스 게임용 데스크톱뿐임
      가끔 노트북으로 게임 스트리밍할 때 쓰지만, 외부용 CAT6 배선 작업은 특히 즐겁지 않았고, 그래도 원 작성자가 원해서 한 일이라면 존중함
    • 나도 같은 방향으로 갔는데, 솔직히 IT 번아웃이 왔음
      지나치게 복잡한 구성에서 Ruckus AP 하나를 Unleashed 게이트웨이로 쓰고 FiOS ONT에 직접 물린 뒤, 두 번째 포트로 QNAP을 연결하는 정도까지 줄임
      전체 네트워크가 그게 전부이고, 미디어를 즐길 만큼의 저장소와 HomeAssistant, Tailscale 정도면 충분함
    • Cryptomator 대신 Rclone(https://github.com/rclone/rclone)을 써보는 걸 추천함
      훨씬 견고하고 강력한 소프트웨어였고, 나도 Cryptomator를 쓰다가 데이터가 일정 규모를 넘으니 느리고 다루기 어려워짐
      나중에 데이터를 꺼내려 했을 때 모든 파일의 메타데이터가 초기화되어 있어서, 예를 들어 사진이 언제 찍혔는지 더 이상 알 수 없었음
    • 나는 여전히 로컬 NAS를 갖고 있고 올해나 내년쯤 업그레이드할 예정임
      복잡도와 전기요금을 감수하더라도 내 데이터를 클라우드 컴퓨팅에 맡기고 싶지 않음
      그게 자유의 대가라고 봄
    • NAS가 월 35kWh를 쓴다는 건 50W 정도라는 뜻임

  • 이 모든 것의 “왜?”를 다룬 글이 있는지 궁금함
    더 안정적인 Wi-Fi와 빠른 일반 인터넷 접근을 위해 이더넷을 조금 깔고, 여러 케이블 길이를 늘릴 수 있으니 인포테인먼트 같은 용도로 광케이블도 고려하고, 보안 카메라와 자연 관찰 카메라를 연결해볼까 조사하는 입장에서도, 이 정도 규모가 취미나 재택 사업이 아니라면 왜 필요한지 이해하기 어려움
    예를 들어 1년에 몇 분 인터넷이 끊기는 걸 막으려고 중복 인터넷에 600달러를 쓰는 게 정말 가치가 있나 싶고, 왜 그 수준의 연결성이 필요한지 모르겠음

    • 몇 년에 걸쳐 24시간 서비스를 최대한 견고하게 굴리는 꽤 진지한 홈랩을 만들었음
      VM을 별도 저장소 계층에서 돌리는 식이면 아주 장기적인 유지보수 측면에서 실용적인 요소도 있지만, 대부분은 어릴 때 처음 컴퓨터를 탐험하던 느낌과 정확히 같았음
      지금은 43세인데 전에 마주친 적 없는 것들을 만나고, 그걸 해결해내는 과정이 정말 만족스러웠음
      게임 개발자이기도 해서 기술 퍼즐을 좋아한다는 걸 깨달았고, 게임 개발은 그런 퍼즐의 비옥한 토양임
      다만 일반 소프트웨어 개발 과정에서는 보통 마주치지 않는 기업용 네트워킹, 저장소, 가상화 같은 완전히 새로운 세계가 있음
      덤으로 친구들의 빌드 시스템도 많이 구성해줬는데, 인프라에 밝은 사람이 되는 건 디지털 세계에서 트럭을 갖고 있어 사람들 이사를 계속 도와주는 것과 비슷함
    • 개인적으로는 또 다른 형태의 만지작거림일 뿐임
      아무도 꼭 해야 하는 건 아니고, 자기 컴퓨터나 차나 집을 사고 관리할 필요가 꼭 있는 것도 아니지만, 할 수 있고 즐거우니까 하는 것임
      다만 사업체가 집의 자원을 업무에 쓰는 건 자신이 뭘 왜 하는지 정확히 알지 못한다면 절대 추천하지 않음
      나는 보안 전문가인데도 내 홈랩에는 취약점이 있고, 움직이는 부품이 많을수록 공격 표면은 훨씬 커짐
      기업들이 관리형 보안 서비스에 큰돈을 내는 이유가 있으며, 내가 본 대부분의 홈랩은 재미와 개인적 만족을 위한 것이었음
      “적용하지 않는 지식이 무슨 소용인가”가 이런 일을 하게 만드는 동기이고, 나만 그런 건 아닐 것 같음
    • 단순히 “만지작거리는 게 재밌어서” 말고도 이유가 있음
      Ceph, Proxmox 같은 걸 관리하는 게 좋은 건 아니지만, 클라우드 비용을 걱정하지 않고 10Gb 연결의 강력한 클러스터에 원하는 걸 배포할 수 있는 능력이 좋음
      집 인프라에서 돌리는 것을 클라우드로 재현하려면 컴퓨팅에 월 200~300달러, 저장소에 쉽게 월 300달러가 더 들 것임
      대신 하드웨어에 약 2천 달러를 쓰고 전기요금은 월 35달러 정도 냄
      3D 프린터도 비슷해서, 어떤 사람은 Klipper를 설치하고 가장 빠른 Benchy를 튜닝하려고 좋아하지만, 나는 CAD로 뭔가를 만들고 가능한 빨리 손에 쥘 수 있어서 좋아함
      그래도 원 작성자 정도까지 가는 사람은 만지작거림 자체를 정말 즐기는 사람일 가능성이 큼
    • 2005~2006년쯤부터 원격 근무를 해왔고, 가능하면 항상 백업이 있는 좋은 인터넷 연결을 좋아했음
      2000년에 1Mbps를 받으려고 동네 케이블 기사와 친해졌던 기억도 있음
      지금은 인터넷 회선 3개를 결합하고 부하분산해서 쓰고 있으며, 문제는 1년에 몇 분 끊기느냐가 아니라 꼭 필요할 때 끊기지 않는 것임
      인터넷 없는 시간이나 개인·가족과 보내는 여유 시간도 충분하지만, 일하거나 놀 때 인터넷이 병목이 되지 않는다는 점이 좋음
      팬데믹 초기쯤부터 이 구성을 쓰고 있고, 그 이후 우리 집은 사실상 “인터넷 장애”가 없었음
      서버, DevOps, 네트워킹 쪽 종사자는 아니지만 이런 걸 만지작거리는 걸 좋아하고, 언젠가 “과한 홈 네트워크”를 갖고 싶음
      인도에서는 인터넷이 아주 싸서 세 회선 모두 꽤 합리적인 가격에 쓸 수 있음 https://www.instagram.com/p/CUWeopdPVOp/
    • 왜 안 되나 싶음
      코로나 때 팔았던 집에는 꽤 정교한 구성이 있었고, 다행히 구매자도 그걸 좋아했음
      각 날개 구역마다 배선함이 있고 그 사이를 광 백본으로 연결했으며, 외부 회선은 원 글만큼 정교하지 않았지만 장비가 많아서 무선 대역폭은 이동하는 기기용으로 남겨두고 싶었음
      유용했던 요령 하나는 방마다 적어도 하나, 보통은 벽마다 하나씩 단자를 둔 것임
      벽면 플레이트 뒤에는 NEMA 박스가 있고, 거기서 바닥 아래 공간까지 곧장 내려가는 관로가 있었음
      우리 집은 바닥 아래 공간 높이가 6피트라 사실상 “기어다니는” 공간도 아니었고, 초기 배선뿐 아니라 드물게 추가 배선이 필요할 때도 케이블을 쉽게 당길 수 있었음
      관로가 쥐꼬리처럼 얽힌 길이 아니라 직선이라 케이블 관리도 쉬웠음

  • 솔직히 인정하자면, 우리 대부분은 이런 네트워크 구성이 부럽고 비슷한 걸 소유할 돈과 시간이 있으면 좋겠다고 느낄 것 같음
    태양광으로 전원을 공급하는 점과 ADB, NTP, LoRa, TinyPilot, MQTT, 온도·습도·전력 모니터링 같은 “작은” 장치들도 추가 점수감임
    @monstermunch는 꿈을 실현하고 있음

    • 우리 중 꽤 많은 사람은 인생의 어느 시점에 저 단계까지 갔다가, 이제는 축소했거나 저 거대한 랙을 계속 운영하고 업데이트할 생각만 해도 몸서리칠 것 같음
    • 나도 직접 만들어 쓰긴 하지만 부럽지는 않음
      다중 2.5GbE 포트가 있는 팬리스 N6005 미니 PC와 저렴한 베어본 Wi-Fi AP만으로 라우터, 스위치, 저장소, Valheim·Satisfactory 게임 서버, chrony 시간 서버, 차단 목록을 넣은 unbound DNS, InfluxDB, MQTT까지 다 처리함
      합쳐서 20W도 안 먹고, 힘들어하지도 않음
    • 이 방의 소음 수준이 전혀 언급되지 않은 게 눈에 띔
      랙 서버들은 말도 안 되게 시끄러움
      어느 여름에 지하실에 SuperMicro 한 대를 뒀는데 한 달쯤 지나 치워야 했고, 집 어디서나 소리가 들렸음
    • 나는 집 구성보다 코로케이션 구성에 더 관심이 있음
      서로 다른 데이터센터 두 곳에 1U 서버를 2대 두고 있음
      새 서버 중 하나는 Cisco UCS 220 M5로, 4TB 엔터프라이즈 NVMe 2개, 2TB 엔터프라이즈 SAS SSD 4개, 2TB SSD 4개, RAM 256GB, Intel Gold 6230 20코어 2개를 넣어 만들었음
      사실 필요는 없고 그냥 갖고 싶었음
      좋아하는 FreeBSD와 bHyve를 계속 쓸지, VMware로 갈지 결정 중임
      IP 블록 소유 비용이 €LOL 수준만 아니었으면 독점 세트를 완성했을 것임
      어디엔가 자랑하고 싶었음
    • 아주 멋지지만 내가 이걸로 뭘 할지는 모르겠음
      그렇다고 다른 사람이 필요하거나 원할 이유가 없다는 뜻은 아니지만, 나는 절대 다 쓰지 않을 것 같음
      집 안에 이더넷 케이블 한두 개를 돌려 1Gb 링크를 연결할까 생각했지만, 결국 귀찮아서 안 했고 Wi-Fi로 충분했음
      어차피 집 인터넷이 11Mb/1Mb라 최대치로 뽑아 쓸 수도 없음
      새 노트북 Wi-Fi가 좀 불안정해서 드라이버와 펌웨어가 나아지지 않으면 올해는 해볼지도 모르겠음
      카메라와 기상 관측소는 좋아 보임

  • 한편으로는 정말 괴짜스럽고 멋있어 보이지만, 동시에 이 엄청난 양의 하드웨어가 전력에 의존한다는 점이 꽤 불편함
    이 정도는 완전히 불필요해 보이는데, F150 사진까지 보니 환경을 신경 쓰지 않는 전형적 혹은 비전형적 미국인으로 분류하게 됨
    그래도 RIPE probe를 돌리는 건 마음에 듦

    • 자기 취미에 열정이 있고 신나서 공유한 사람인데, 이런 식으로 짓밟는 게 안타까움
      어떤 사람들은 재미로 아프리카까지 날아가 코끼리를 쏘기도 하는데, 취미로 보면 이건 꽤 온건한 편임
      환경을 진짜로 걱정한다면 누군가의 벽장 속 컴퓨터 수를 단속하는 건 역효과라는 걸 알아야 함
      “작은 것 하나하나가 도움이 된다”는 논리는 기회비용이 항상 있기 때문에 설득력이 약함
      사람들의 주의력은 제한되어 있고, 이런 사소한 문제에 집중하면 육식과 화석연료처럼 실제로 중요한 것에서 관심이 멀어질 뿐임
    • 미국의 많은 주에서는 주요 전력원이 원자력임
      이는 환경 친화적인 편이라, 원 작성자가 전력을 많이 쓰는 것 자체가 문제가 되지는 않음
      이제는 에너지 사용을 악마화하는 걸 멈춰야 함
      에너지는 놀라운 것이고, 짧은 시간에 큰 번영을 이룬 이유이며, 경제와 의료, 인터넷, 전기차, 단열이 잘 된 주택의 기반임
      더 많은 사람이 더 많은 에너지를 쓸 수 있도록 에너지를 싸게 만드는 데 최선을 다해야 함
      기후 운동에 에너지와의 전쟁만큼 해로운 것도 드물었고, 이는 불필요하며 운동의 핵심인 환경 보호를 놓침
      에너지를 쓰는 사람을 악마화하기보다 더 깨끗한 에너지원에 집중해야 함
    • 나도 복잡한 감정이 듦
      전기요금 때문에 홈랩을 그만뒀고, 지금은 HomeAssistant, NAS, 라우터를 낡은 Dell Precision 노트북 한 대에서 모두 돌림
      노트북은 저전력에 최적화되어 있고, 콘솔과 내장 UPS가 공짜로 딸려와서 훌륭한 서버가 됨
      중국 사이트에서 파는 새 Alder Lake N100 미니 PC가 끌리지만, 노트북이 죽을 때까지는 정당화하기 어려움
      전력 소비뿐 아니라 제조의 숨은 비용도 중요하니, 새 것을 사기 전에 이미 가진 물건을 최대한 활용해야 함
      적어도 원 작성자에게는 큰 태양광 설비가 있었음
    • 누가 그게 필요한지 아닌지를 결정할 자격이 있나 싶고, 이런 태도는 도덕적 우월감의 정점처럼 보임
      게다가 다양한 개인들로 이루어진 미국인을 부정적으로 고정관념화하는 것도 정당화되기 어려움
    • 지금 그 독선적인 댓글을 쓰는 컴퓨터도 거의 확실히 중국에서 제조됐다는 걸 알고 있나
      그걸 만들기 위해 석탄이 몇 톤이나 타버렸을지 궁금함
      인터넷에서 사람들이 자기 시간과 돈으로 하는 건설적인 활동을 기준으로 분류하면서, 정작 포기하고 싶지 않은 서구 선진국의 편의는 얼마나 많은지도 궁금함

  • 매우 영감이 됨
    내 홈랩은 케이블이 엉망이고, 오래된 Supermicro와 커스텀 서버에서 반쯤 만든 배포들이 돌아가며, 너무 시끄럽고 전력도 꽤 많이 먹을 것 같음
    아직 전력 사용량을 추적해본 적이 없어 정확히는 모르고, 언젠가 해야지 하며 미뤄둔 프로젝트 중 하나임
    24U 랙이 옷장 안에서 놀고 있는데도 모든 걸 Lack 랙 위에 쌓아두고 있음
    공간과 배선 제약 때문이지만, 언젠가는 깔끔하고 효율적인 구성으로 정리될 것임

    • 내 것과 완전히 똑같이 들림

  • 왜 이런 식으로 쌓지 않았는지 궁금함: 24포트 패치 패널, 48포트 스위치, 24포트 패치 패널, 1U 케이블 관리 패널 순서로 두면 됐을 것 같음
    그러면 대부분의 패치 패널 포트는 4~6인치짜리 Cat 5e/6a 기성 패치 케이블로 연결할 수 있었을 것임
    케이블 관리 패널을 통과하는 건 랙 안 서버로 가는 긴 케이블뿐이었을 테고, 비슷한 Cisco 24포트 스위치를 쓰는데 포트를 섀시 오른쪽에 몰아둔 배치가 마음에 들지 않음
    왜 48포트에서 두 번째 줄만 제거한 것처럼 24포트를 위나 아래 한 줄로 배치하지 않았는지 모르겠고, 그랬다면 케이블 관리가 훨씬 쉬웠을 것임

    • 처음에는 스위치 1개와 패치 패널 1개로 시작했다가 천천히 진화한 구조라 그렇게 배치되어 있음
      이상적이지는 않지만 결과에는 꽤 만족함
      전부 다시 랙에 넣을 수 있다면 몇 가지를 바꿀 수도 있겠지만, 그러려면 모든 걸 꺼야 하고 언제, 혹은 과연 그렇게 하고 싶은지 모르겠음
    • 나도 그 점을 봤음
      패치 패널이 일부 선을 랙 앞쪽으로 가져왔다가, 패치된 선을 다시 랙 뒤쪽으로 보내는 역할만 하는 것처럼 보임

  • 홈 네트워크에서 겪은 가장 큰 문제는 ISP 구성이 엉망이고, DNS 하이재킹 같은 수상한 일을 가끔 한다는 것임
    더 흔하게는 품질 낮은 ONU 펌웨어나 하드웨어 때문에 지연 시간 급증이나 패킷 드롭 같은 이상한 현상이 나타남
    ONU가 브리지 모드일 때 IPv6가 안 되는 일도 있음
    글의 구성은 과하지만, 보통 홈 네트워크에서는 SQM이 매우 효과적임
    OpenWrt의 cake SQM 같은 걸 쓰면 ISP가 좋지 않을 때 큰 도움이 되고, 어떤 ISP에서는 가정용 네트워크에서 패킷 손실 5%도 허용 가능하다고 한 적이 있음
    손실이 아주 낮아지는 지점까지 부하를 줄인 다음 DNS 해석기를 쓰면 됨
    로컬 네트워크에는 unbound 같은 DNS 해석기가 훨씬 안정적이었고, 패킷 손실 때문에 DNS에서 정말 많은 문제가 생겼음
    저렴한 가정용 네트워크 장비의 DNS는 신뢰하기 어렵고, 싼 Pi를 사서 로컬 해석기를 돌리기만 해도 가정용 라우터보다 훨씬 잘 동작함
    ONU 교체도 생각해볼 만한데, 생각보다 쉽고 ISP 제공 ONU는 정말 별로임
    eBay에서 저렴한 Nokia SFP GPON은 20달러 정도이고, ISP의 PLOAM 비밀번호, 일련번호, MAC, VPN ID를 알아낼 수 있다면 더 안정적인 링크로 교체할 수 있음
    간단한 홈 구성으로는 저렴한 SFP GPON으로 ONU를 대체하고, 싼 라우터를 구해 500Mbit 미만이면 RPi4로 라우터 온 어 스틱을 쓰거나 1Gbps를 노리면 SFP가 있는 x86 박스를 쓰며, 자체 unbound 해석기를 돌리는 걸 추천함
    AP 몇 대를 유선으로 연결하거나, Amazon에서 할인 때 150달러 이하로 살 수 있는 Wi-Fi 6 3팩 메시 라우터를 AP 모드로 쓰면 됨

    • 홈 네트워크에서 로컬 DNS 해석기를 왜 쓰는지 궁금함
      1.1.1.1이나 8.8.8.8 같은 잘 알려진 원격 해석기를 쓰면 되지 않나
      시스템들이 DNS 항목을 캐시해 일시적인 장애를 덮어줄 것이고, 하나를 주 DNS로 다른 하나를 보조 DNS로 쓰면 DNS 해석 문제가 생길 가능성은 아주 낮을 것 같음
    • 분명한 주의점은, GPON 네트워크가 종종 벤더 잠금되어 있다는 것임
      아무 SFP ONU나 사서 동작하리라 기대할 수 없음
      설령 동작시켜도 ISP는 아무 지원도 해주지 않을 것이고, 일부 ISP는 알게 되면 좋지 않게 받아들일 수도 있음
      보통은 ISP에 다른 ONU 모델을 제공하는지 물어보고 그중에서 고르는 게 최선임

  • 예전에는 홈 네트워크가 있었지만, 근처에 낙뢰가 친 뒤로 달라짐
    전원선과 구리 전화선을 타고 들어와 모뎀·라우터·스위치가 타버렸고, 그 뒤 꼬임쌍선 이더넷을 따라 퍼져 네트워크에 연결된 모든 인터페이스를 망가뜨림
    요즘은 특정 위치에서 낮은 지연 시간이나 높은 신뢰성이 꼭 필요할 때가 아니면 Wi-Fi를 씀
    광케이블이면 좋겠지만, Wi-Fi가 가난한 사람의 낙뢰 안전 네트워크임

    • 그래서 광케이블이 좋음
      전기적 연결이 없으면 낙뢰가 모뎀으로 서지 전압을 밀어 넣을 수 없음
      전원 쪽은 일반적인 전원 절연과 서지 보호로 처리하면 됨
      전원 케이블을 통해 장비를 잃은 적은 아직 없지만, 구리 데이터 라인에 낙뢰가 치고 네트워크를 타고 들어와 죽은 장비는 셀 수 없을 정도임
    • 낙뢰가 전원에 연결된 모든 걸 똑같이 태울 수도 있지 않나
      그런 경우라면 Wi-Fi가 구해주지는 못함
    • 그래서 내가 제일 먼저 한 일이 집에서 전화선과 동축 케이블을 잘라낸 것이었음
    • 어릴 때 아파트 건물에 낙뢰가 쳐서 소비자용 라우터가 죽은 적이 있음
      교체한 뒤 서지 보호기에 꽂아뒀는데, 몇 달 뒤 또 낙뢰를 맞았음
      라우터는 살아남았지만 건물에 불이 났음
      나이가 든 지금은 “가끔 자연은 당신을 싫어한다”는 위험을 그냥 받아들임
      자연으로부터 장비를 보호하려고 이리저리 애쓰는 대신, 잃으면 곤란한 물건을 교체할 돈을 따로 마련해둠
      지구와 줄다리기하기엔 인생이 너무 짧고, 필요할 때 교체비로 쓰려고 월 50달러를 따로 떼어두는 편이 낫다고 봄
    • ISA 다이얼업 모뎀이 낙뢰를 맞은 적이 있음
      큰 폭음이 난 뒤 DUN 연결이 끊겼고, 다시 돌아왔을 때 그 모뎀은 여전히 동작했지만 영원히 “수화기 들림” 상태가 됨
      전화를 걸 때마다 뽑았다가 다시 꽂아야 했고, 전화선은 계속 통화 중이었음

  • 정말 마음에 듦
    왜 하냐고 묻는 사람들에게 간단한 답은 “할 수 있으니까”임
    원 작성자에게 경의를 표함
    이 사람이 IT 업계에서 일하는지 궁금함
    나는 개발 리드이고 말도 안 되게 많은 시간을 일하다가 정말 여유 시간이 생기면, 마지막으로 하고 싶은 일이 홈랩을 만지작거리는 것임

  • 에너지 사용량 얘기가 많은데, 이 사람은 태양광을 쓰고 있음 https://blog.networkprofile.org/17kw-enphase-solar-install/

    • 나도 비슷한 네트워크 구성, 사실은 조금 더 큰 구성을 갖고 있고, 훨씬 큰 컴퓨팅 구성도 있음
      20kW짜리 53패널 태양광과 42kWh 배터리 구성도 갖췄음
      연간 전체 전력 사용량은 꽤 높아서 월 8MWh 정도이고, 총 태양광 생산량은 약 25MWh임
      서버와 네트워크 장비가 지속적으로 약 4kW를 쓰며 이는 35MWh 정도라, 태양광이 컴퓨팅·네트워크 전력 사용량의 약 70%를 감당함
      북서부에 살아서 전력 생산의 대부분은 한 해 중 가운데 5개월에 집중됨
    • 그래도 밤에는 해가 뜨지 않음
답변달기