인텔 12/13세대로 7W 유휴 전력 저전력 서버/NAS 구축하기

 (mattgadient.com)
2P by GN⁺ | ★ favorite | 댓글 1개
  • Intel i5-12400, ASUS Prime H770-Plus D4, 64GB DDR4, Ubuntu Server 23.04, Corsair RM750 조합은 저장장치 추가 전 벽면 전력계 기준 7W 유휴 전력을 달성함
  • 낮은 전력의 핵심은 BIOS에서 C-State, ASPM L1, RC6, ALPM을 켜고 PowerTOP auto-tune으로 CPU 패키지가 C8/C10 절전 상태에 들어가게 만드는 것임
  • 12개 HDD와 여러 NVMe를 붙이면 전력은 24~25W까지 올라갔고, JMicron JMB585가 ASPM을 막아 C3에 묶이는 문제가 ASM1166 SATA 컨트롤러 교체로 완화됨
  • CPU 직결 PCIe/M.2 슬롯, NVMe·SATA SSD 모델, Realtek NIC, USB 장치, SATA 컨트롤러 펌웨어가 C-State를 바꿀 수 있어 부품 조합별 A/B 테스트가 필요함
  • HDD 11개와 NVMe/SATA 컨트롤러를 포함한 최종 구성도 HDD 스핀다운, 화면·키보드 절전을 적용하면 15~16W까지 내려갔고, 장기적으로 SSD 전환 시 10~11W 유휴 전력을 기대함

7W 유휴 전력 빌드의 기준 구성

  • 목표는 낮은 유휴 전력, 압축에 충분한 CPU 성능, 12개 HDD와 최소 1개 NVMe 처리, 향후 6개 NVMe와 6개 SATA SSD로 전환 가능한 확장성, 비용 통제였음
  • 7W 측정값은 저장장치를 본격적으로 추가하기 전 벽면 전력계 기준임
    • Intel H770 메인보드
    • Intel i5-12400 CPU
    • 64GB DDR4 RAM
    • Ubuntu Server 23.04 부팅용 SSD
    • Corsair PSU
  • BIOS에서 C-State를 설정해 C8에 도달하게 했고, powertop --auto-tune을 적용함
  • PowerTOP auto-tune은 USB 포트 절전으로 USB 키보드를 비활성화했으며, 키보드를 계속 쓰도록 하면 벽면 전력은 8W였음
  • 디스플레이 출력이 켜진 상태에서는 9~10W였고, consoleblank=600으로 600초 뒤 화면이 꺼지면 7W까지 내려감

과거 저전력 빌드와 이번 목표

  • 이전 저전력 빌드 기록은 이번 목표의 기준점이 됨
  • 벽면 기준 10W 근처의 새 시스템을 맞추려면 부품 선택과 튜닝 후 실제 결과를 확인해야 하는 도박에 가까운 작업임

메인보드 선택: ASUS Prime H770-Plus D4

  • 최종 선택은 ASUS Prime H770-Plus D4였음
  • 당시 일반 소비자용 선택지는 Intel 600/700 시리즈와 AMD 500/600 시리즈 메인보드였음
  • 향후 6개 NVMe 드라이브 사용 가능성이 중요했지만, 6개 M.2를 모두 PCIe 모드로 동시에 쓸 수 있는 소비자용 메인보드는 없다고 봄
    • AMD MEG X570S Unify-X Max는 6개 M.2처럼 보이지만, 매뉴얼상 6개를 모두 채우면 마지막 슬롯은 SATA 변형이어야 함
    • ASRock Z790 PG Sonic도 6개 슬롯이 있지만 Gen5 NVMe 슬롯의 배타 조건 때문에 5개만 사용할 수 있음
  • 소비자용 보드에서 모든 M.2를 Gen4 x4로 쓰려 할 때 칩셋 레인 제한이 있음
    • AMD X570, Intel B760: 최대 3개
    • AMD B650, Intel H670/Q670/Z690/W680: 4개
    • AMD X670, Intel H770: 5개
    • Intel Z790: 6개
  • 6개 NVMe 목표 때문에 PCIe-to-M.2 어댑터가 필요했고, 내장 M.2 슬롯 수와 x4 이상 PCIe 슬롯 수의 합계가 메인보드 선택 기준이 됨
  • Intel 플랫폼을 고른 이유는 칩셋 전력, 칩셋-CPU 링크 속도, 보유 부품, AM5 전력 소비 우려였음
    • Intel 600/700 시리즈 칩셋 TDP는 모두 6W
    • AMD X670 칩셋은 7W+7W로 봄
    • Intel H670/Q670/W680/Z690/H770/Z790은 CPU와 DMI 4.0 x8로 연결되고, AMD X570/B650/X670은 PCIe 4.0 x4로 연결되어 이론 처리량은 16GB/s 대 8GB/s 수준임
    • 보유한 64GB DDR4와 Intel 12세대 CPU를 재사용할 수 있었음
    • AMD 600 시리즈 칩셋은 DDR5 전용임

CPU, 메모리, 부팅 드라이브, PSU

  • CPU는 보유 중이던 Intel i5-12400 H0 stepping Alder Lake를 사용함
    • 이전 데스크톱 빌드에서 AV1 하드웨어 디코드, E-core 실리콘 오버헤드 회피, 12세대 라인업 중 성능 등을 이유로 선택했음
    • 이전 데스크톱 빌드는 GPU와 디스플레이 관련 문제가 많았지만, 이번 서버 지향 빌드에서는 핵심 요인이 아니었음
  • 메모리는 64GB DDR4-3200을 사용함
    • 2x16GB Kingston HyperX dual-rank Hynix DJR
    • 2x16GB Kingston HyperX single-rank Hynix CJR
    • 4개 모듈을 16-18-18-36으로 구동하고 RAM 전압은 1.25V로 설정함
    • TestMem5와 Memtest86에서는 1.22V도 안정적이었지만 안정성 여유를 위해 1.25V를 사용함
  • 테스트용 부팅 드라이브는 Sandisk Ultra 3D 1TB SATA SSD였음
    • PCIe와 NVMe A/B 테스트가 많아 PCIe 슬롯을 비워두기 위해 SATA SSD에 Ubuntu 23.04를 설치함
    • 테스트 후 주 OS는 Samsung SSD 970 EVO Plus 500GB NVMe에서 실행할 예정이었음
  • PSU는 Corsair RM750을 사용함
    • 10W 근처 유휴 시스템에는 750W가 과해 보이지만, 12개 드라이브 모터가 동시에 회전 시작할 때 순간 부하가 높을 수 있음
    • Seagate는 10TB 3.5인치 드라이브 하나의 12V 레일 피크 전류를 DC/AC 기준 2A/3A로 명시함
    • 6개 드라이브가 동시에 150~200W를 끌고 CPU가 피크 120W를 끌면 10W 유휴 상태에서 약 400W까지 순간 점프할 수 있다고 계산함
    • 순간 전력 부족은 전압 강하, 크래시, 재부팅, 쓰기 중 데이터 손상으로 이어질 수 있음

BIOS와 OS 전력 설정

  • 초기 전력 측정 조건은 Ubuntu Server 23.04, Intel PowerTOP auto-tune, 벽면 측정이었음
  • BIOS에서 적용한 주요 설정은 다음과 같음
    • CPU C-state를 C10까지 활성화
    • ASPM 활성화 및 모두 L1로 설정
    • RC6(Render Standby) 활성화
    • Aggressive LPM Support(ALPM) 활성화
    • HD Audio, Connectivity Mode, LEDs, GNA Device, Serial Port 비활성화
  • 저전력 목표에서는 메인보드 지원과 BIOS 구성이 핵심임
    • ASUS H770 보드에서는 저전력 소비를 위해 Native ASPM과 적절한 L1 상태를 활성화해야 함
    • 이 설정은 BIOS 제어 대신 OS 제어를 허용하기 위한 것임

저장장치를 붙인 뒤 드러난 병목

  • 12개 HDD를 연결하고 회전 정지 상태로 두자 대기 전력이 7W에서 24~25W로 증가함
    • 처음에는 2.5인치 HDD 6개와 3.5인치 HDD 6개를 사용함
    • 메인보드 SATA 포트가 4개뿐이라 SATA 컨트롤러와 포트 멀티플라이어를 사용함
    • 초기에는 NVMe 4개도 사용했고, Western Digital SN770은 유휴 상태에서도 뜨거워 저전력 모드에 들어가지 않는 것으로 보였음
  • HDD를 분리하고 구성 요소를 하나씩 테스트한 결과, JMicron JMB585 SATA 컨트롤러가 전력 증가의 주요 원인으로 보였음
    • JMB585가 없으면 CPU 패키지는 C6에 도달함
    • JMB585를 다시 연결하면 최대 C3까지만 도달함
    • PCIe 장치가 ASPM L1으로 들어가지 않으면 CPU가 더 깊은 절전 상태에 들어가지 못함
    • JMB585 컨트롤러 카드는 ASPM을 지원하지 않는 것으로 보임

CPU 직결 PCIe 레인의 영향

  • 이 시스템은 CPU 직결 PCIe 레인에 아무것도 연결되지 않았을 때만 C8에 도달함
  • 상단 PCIe 슬롯이나 상단 NVMe 슬롯에 무엇이든 꽂으면 C6가 한계였음
  • C6와 C8 사이 전력 차이는 간단한 테스트에서 1W 미만으로 보였음
  • C8은 있으면 좋은 수준이지만, C6 도달은 필수로 봄
  • C3는 전력을 너무 많이 사용한다고 판단함
  • 이 특정 메인보드에서는 낮은 지연시간이나 CPU 직결 전체 대역폭이 꼭 필요하지 않다면 CPU 직결 레인 사용을 피하는 편이 좋음

ASM1166 SATA 컨트롤러와 JMB585 비교

  • SATA HBA를 찾는 과정에서 ASM1166 SATA 컨트롤러가 ASPM L1을 지원할 수 있지만, 제대로 쓰려면 펌웨어 플래시가 필요하다고 판단함
  • ASM1166 카드 도착 후 펌웨어를 먼저 플래시함
  • 드라이브 미연결 상태의 전력 측정 결과
    • SATA 컨트롤러 없음: 8W, C8
    • ASM1166을 칩셋 직결 x4 슬롯에 장착: 9W, C8
    • JMB585를 CPU 직결 x16 슬롯에 장착: 12W, C3
    • JMB585를 칩셋 직결 x4 슬롯에 장착: 15W, C3
    • ASM1166을 CPU 직결 x16 슬롯에 장착: 22W, C2
  • 드라이브 연결 상태에서는 ASM1166이 JMB585보다 전력 면에서 확실히 나았음
    • ASM1166을 칩셋 직결 x4 슬롯에 장착: 10W, C8
    • ASM1166 2개를 칩셋 직결 x4 슬롯에 장착하고 NVMe 1개만 사용: 11W, C8
    • JMB585를 칩셋 직결 x4 슬롯에 장착: 16W, C3
    • JMB585를 CPU 직결 x16 슬롯에 장착: 24W, C2
  • 칩셋 직결 슬롯에 4개 드라이브를 붙였을 때 ASM1166은 시스템 전력에 +2W를 더했고, JMB585는 +8W를 더함

NVMe와 SATA 드라이브도 C-State를 바꿈

  • WD Black SN770 Gen4 NVMe를 CPU 직결 상단 PCIe/NVMe 포트에 사용할 때 AER Bus Error와 BadTLP 문제가 발생함
    • BIOS의 “PEG – ASPM”을 Disabled 또는 L0s로 두면 오류가 없었음
    • 하지만 L1은 전력 절감에 중요해 좋은 선택이 아니었음
    • Link Speed를 Gen3로 설정하면 오류가 크게 줄었지만 없어지지는 않았음
    • WD 드라이브를 Crucial P3로 교체하자 오류가 사라짐
  • Crucial P3 NVMe 2개를 CPU 직결 PCIe x16 슬롯과 상단 M.2 슬롯에 설치했을 때 컨트롤러 유휴 온도가 높았음
    • NAND는 약 27~29°C였지만 컨트롤러는 49~50°C로 보고됨
    • NVMe 두 개를 모두 칩셋 직결 PCIe 슬롯에 두자 L1.1/L1.2가 활성화되고 컨트롤러 온도도 38~41°C로 내려감
    • 최종 빌드의 Crucial P3 컨트롤러 온도는 31~34°C, NAND 온도는 23~24°C였다고 업데이트됨
  • SATA SSD 브랜드와 모델도 C-State 결과를 바꿀 수 있음
    • 1TB Patriot P210 SATA SSD는 시스템을 C6에 묶어 둠
    • C10을 허용한 드라이브에는 Samsung 850 EVO SATA SSD, Seagate SATA HDD, Toshiba SATA HDD, Sandisk Ultra 3D SATA SSD, Crucial MX500 등이 포함됨
    • SATA SSD는 브랜드와 모델을 주의해서 고르고, 구매 후 반품 기간 안에 성능 지표를 검증하는 편이 좋음

현재 저장장치 구성과 전력

  • 현재 구성은 저장장치가 크게 늘어난 상태임
    • 1x Samsung 970 EVO Plus NVMe 500GB 부팅 드라이브
    • 2x Crucial P3 NVMe 4TB
    • 5x Seagate 2.5인치 HDD 5TB, 각각 4TB 활용
    • 6x Seagate 3.5인치 HDD 10TB, 각각 8TB 활용
    • 2x ASM1166 SATA 카드
  • 디스플레이 켜짐, 키보드 활성화 상태에서 단계별 벽면 전력은 다음과 같음
    • 11개 HDD가 모두 active-idle: 50W
    • 6개 3.5인치 HDD가 Idle B: 38W
    • 6개 3.5인치 HDD가 Idle C: 34W
    • 6개 3.5인치 HDD가 Standby_Z로 spin down: 21W
    • 5개 2.5인치 HDD도 Standby: 18W
    • 디스플레이 출력 꺼짐: 16W
    • PowerTOP이 USB 키보드를 비활성화하도록 허용: 15W
  • Seagate가 명시한 standby 소비 전력은 3.5인치 드라이브 약 0.8W/개, 2.5인치 드라이브 약 0.18W/개이며 실제 관측과 맞아 보였음
  • 3.5인치 드라이브는 나머지 시스템 구성품과 비교해 전력 소모가 큰 장치임

HDD에서 SSD로의 장기 전환

  • HDD standby 상태의 유휴 소비가 낮기 때문에 급하게 SSD로 전환할 필요는 없다고 봄
  • HDD와 예비 드라이브가 고장 나거나 SSD 가격이 내려가면 점진적으로 전환할 예정임
  • 최종 목표는 all-SSD 빌드임
    • 원래 계획은 부팅 드라이브 1개, RAIDZ2용 6x NVMe, 두 번째 RAIDZ2용 6x SATA SSD였음
    • NVMe는 아마 Crucial P3 4TB, SATA SSD는 아마 Samsung 870 QVO 8TB를 고려함
  • CPU 직결 M.2/PCIe 슬롯 사용은 예측 불가능성과 약간의 C-State·전력·온도 비용이 있어, NVMe 일부를 포기하고 SATA를 더 써서 CPU 직결 레인을 피하는 방향으로 바꿀 수도 있음
  • 모든 HDD를 SSD로 교체하면 72TB 드라이브, 64GB RAM, 꽤 괜찮은 프로세서를 갖춘 상태에서 유휴 전력이 약 10~11W가 될 것으로 기대함

ZFS 캐시와 Special vdev 활용

  • HDD를 SSD로 모두 교체하는 데 시간이 걸릴 가능성이 높아, 그동안 ZFS의 고속 저장장치 활용 기능을 사용함
  • ZFS는 느린 저장장치 앞에 SSD 같은 고속 저장장치를 두는 옵션으로 Special Allocation Class와 L2ARC 캐시 드라이브를 제공함
  • Special Allocation Class는 메타데이터와 선택한 크기의 작은 블록을 위한 전용 vdev를 만들 수 있음
    • 파일 목록과 디렉터리 탐색이 빨라짐
    • 파일 자체는 HDD에 두면서도 여러 디렉터리에 ls를 실행할 때 HDD를 깨우지 않을 수 있음
    • 단, 모든 메타데이터가 special vdev에 있으므로 vdev가 죽으면 모든 데이터 접근이 사실상 불가능해짐
    • 최소 mirror 구성이 필요하고, 3-way mirror도 고려할 수 있음
  • L2ARC는 ZFS의 2단계 캐시임
    • RAM 캐시가 가득 차면 ZFS가 일부 블록을 L2ARC로 복사한 뒤 RAM에서 제거함
    • 다음 접근 시 해당 데이터는 디스크가 아니라 L2ARC에서 읽힘
    • L2ARC는 SSD 1개만 사용해도 괜찮고, 체크섬 오류나 드라이브 장애가 있으면 ZFS가 원본 디스크에서 다시 읽음
  • 이번 구성에서는 4TB NVMe를 L2ARC로 사용함
    • 나머지 2.5인치 드라이브가 모두 SSD로 교체되어 SSD 캐시의 속도 이점이 사라지면 이 캐시 장치를 제거할 수 있음

실무 결론

  • 낮은 유휴 전력을 원하면 메인보드 BIOS가 C-State, ASPM, ALPM 설정을 충분히 제공해야 함
  • 모든 장치가 ASPM L1을 지원해야 결과가 안정적임
    • 가장 어려운 부분은 ASPM L1을 지원하는 SATA 컨트롤러를 찾는 것이었음
    • 가능하면 별도 카드가 필요 없도록 Intel 칩셋 직결 SATA 포트가 충분한 메인보드를 쓰는 편이 좋음
    • NVMe도 ASPM 아래에서 저전력 APST 상태가 제대로 동작하는 제품인지 조사해야 함
  • C8을 목표로 한다면 CPU 직결 PCIe 레인 사용을 피하는 것이 좋음
    • CPU 직결 레인은 상단 PCIe와 M.2 슬롯임
    • 낮은 지연시간과 CPU 직결 전체 대역폭이 필요하거나 장치가 계속 활동해 절전 상태에 들어가지 않는 경우는 예외임
  • Kill-A-Watt 같은 벽면 전력 측정기가 실제 상황 확인에 필수임
    • 소프트웨어 지표만으로는 PSU 효율, 드라이브 대기 전력, USB 장치 영향, 디스플레이 출력 영향을 확인하기 어려움
  • Realtek NIC 관련 업데이트에 따르면 최근 Linux 커널은 대부분의 Realtek NIC에서 L1 절전 모드를 비활성화해 CPU가 적절한 C-State에 들어가지 못하고 전력 소비가 늘어날 수 있음
    • 우회 방법은 있지만, 향후 Intel 1 Gigabit 네트워크 어댑터가 들어간 메인보드로 제한할 가능성이 높음
    • 댓글에서 언급한 스크립트는 RTL8125-ASPM.sh.txt에서 확인할 수 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 30W 미만 구성을 모아둔 독일 포럼 스레드와 Google Docs 문서가 있어서, 홈서버/NAS 제작자에게 꽤 유용해 보임 https://goo.gl/z8nt3A
    개인적으로 가격 대비 성능이 가장 좋았던 구성은 Fujitsu D3417-B2, Intel Xeon 1225 V5, 64GB ECC RAM, WD SN850x 2TB, Fractal Design Define Mini C, Pico PSU 120W + 120W Leicke 전원공급장치, Intel AMT + MeshCommander 원격 관리였음
    중고로 아주 싸게 사서 Proxmox를 돌리고 있고, HDD 없이 유휴 전력은 9.3W임. SATA 포트 6개와 PCIe 포트가 있어 저장공간 추가나 전용 GPU 패스스루도 가능함
    총 €380를 냈지만 구하기 어려울 수 있음. 미디어 인코딩에는 별로라서 Core i3 8100 이상이 낫고, 대안 보드로 GIGABYTE C246N-WU2, Gigabyte C246-WU4, Fujitsu D3517-B, Fujitsu D3644와 Corsair RM550x 2021 버전도 고려할 만함
    Dell T30이나 Fujitsu Celsius W550 같은 저렴한 중고 워크스테이션도 서버로 괜찮음. Fujitsu 쪽은 D3417(-A) 보드라 24핀 ATX가 아니라 독자 16핀 전원공급장치를 쓰며, AliExpress의 24핀-16핀 어댑터는 약간 위험해서 검증 중임
    Ryzen 쪽 선택지는 드물지만 AMD Ryzen 5 PRO 4650G와 Asus PRIME B550M-A 보드 조합이 유휴 약 16W라는 보고가 있음

    • Fujitsu 16핀 어댑터는 잘 동작함. 핀 배열도 이미 잘 알려져 있고 https://web.archive.org/web/20200923042644/https://sector.bi..., 5VSB를 11V로 승압하면 일반 ATX 전원공급장치도 맞춰 쓸 수 있음
      Fujitsu 보드는 훌륭하고 EU에서는 매우 저렴함. 원격 관리 기능인 iRMC S4/S5의 KVM 라이선스를 역공학한 사례도 있음 https://watchmysys.com/blog/2023/01/fujitsu-irmc-s4-license/
    • 이 구성은 좋아 보이지만, 오래된 회전식 HDD를 여러 개 돌릴 생각이면 Pico PSU는 조심해야 함
      HDD는 스핀업 때 전력 피크가 크고, RAID에 여러 개가 있으면 동시에 올라오면서 허용 전력 범위를 넘길 수 있음
    • 2023년형 AMD PRO CPU와 b550m 조합으로 유휴 9W를 보고 있음
      AMD PRO CPU는 ECC를 지원해서 실제 컴퓨터라면 필수라고 봄. 보드의 대부분 구성요소는 꺼두고 있고, 소비자용 최하위 품질에 가까움
      필요할 때 전력을 더 태워야 하는 상황에서는 내장 GPU가 꽤 괜찮은 점이 좋음

  • 하드웨어는 훌륭하지만, 소프트웨어 관리가 일이 되어버리면 이런 직접 제작 구성을 정당화하기가 어려움
    내 Synology NAS는 RAM 8GB와 J4150 프로세서로 컨테이너 약 15개, Wireguard, 그리고 Synology OS인 DSM을 돌리는데 보통 유휴 1~3% 수준임
    결국 소프트웨어가 차이를 만들고, DSM은 가장 큰 장점이자 놀라움이었음. TrueNAS도 두 번째 백업 서버로 쓰지만 DSM과는 비교가 안 됨
    다른 서버에서 파일 하나 백업하는 기본 CRON 설정 때문에 로그를 뒤지고 시행착오를 겪고 싶지 않을 때가 있는데, DSM은 그냥 동작한 사례가 셀 수 없이 많음
    Synology는 NAS 세계의 Microsoft처럼 DSM을 비-Synology 플랫폼에서도 돌릴 수 있게 하거나, 적어도 직접 설치를 쉽게 만들 기회를 놓치고 있다고 봄. DSM은 훌륭한 OS라 스스로 팔릴 수 있고, Active Backup for Business 같은 제품 상향 판매로도 이어질 수 있음

    • https://xpenology.org/
      Xpenology는 Synology의 DSM용 부트로더이고, DSM은 Synology NAS 장비에서 쓰이는 자체 Linux 기반 운영체제임
      Xpenology를 쓰면 일반 PC나 직접 만든 NAS 같은 x86 장치에서 Synology DSM을 돌릴 수 있어, Synology 하드웨어를 사지 않고도 DSM의 멀티미디어와 클라우드 기능을 사용할 수 있음
      더 강력한 프로세서와 RAM을 직접 고를 수 있어 동영상 트랜스코딩 같은 작업을 위해 선호하는 사람도 많음
    • 특정 하드웨어 묶음에 집중해서 잘 동작하게 만드는 것이 DSM 품질의 일부일 가능성이 큼
      하드웨어 조합은 선택지가 조금만 늘어도 조합 폭발을 일으켜 전부 테스트하기 불가능해짐
    • UI와 UX가 정말 좋음. 2010년쯤 처음 써봤을 때도 이미 즐겁게 쓸 수 있었음
      클라우드 IaaS 앞단으로 Synology DSM 프런트엔드가 있으면 꽤 괜찮을 듯함
    • Synology가 직접 처리해주는 덕분에 내가 감당해야 했을 Linux 잡무가 사라지는 점을 깊이 고마워함. Synology NAS를 사는 가격을 충분히 낼 만함
      DS1520+에 16TB Seagate Iron Wolf Pro HDD 다섯 개를 RAID6로 구성했고, 같은 HDD 하나는 콜드 스페어로 보관 중인데 2년 동안 완전히 문제없이 돌아가고 있음
      반면 내 Linux 설치 이력은 숨만 쉬어도 망가뜨리는 수준이라, 걸어 다니는 Linux 대량학살 공포물에 가까움
    • Synology의 가장 큰 문제는 커널 버전이 계속 너무 오래됐다는 점임
      올해도 4.4를 탑재해 팔고 있었고, 올해 나온 신제품만 5.10을 받음. DSM 사이에서는 커널 버전 업그레이드도 받을 수 없음

  • 작성자는 2016년부터 2023년까지 약 격년으로 시스템 5대를 만든 것처럼 보임
    RAM 같은 일부 부품은 여러 빌드에서 재사용됨
    궁금한 점은 하드웨어 비용과 수명 동안의 전기요금이 각각 얼마나 되느냐임. 4년 쓸 전력 많이 먹는 기계가 2년 쓸 저전력 기계보다 나을 수도 있음
    현재 pcpartpicker 기준 메인보드+CPU가 322달러이고, kWh당 0.25달러로 계산하면 36W를 4년 내내 쓰는 비용도 약 315달러임
    따라서 43W짜리 4년 시스템이 7W짜리 2년 시스템보다 구매와 운영을 합쳐 더 저렴할 수도 있음

    • 이런 식의 재미있는 땜질은 돈을 아끼려는 게 아니라, 목적지가 아니라 과정을 즐기는 쪽임
    • 내 경우 완전히 채운 NAS를 평균 8년마다 하나씩 사는 셈임
      저장공간은 거의 확장하지 않음. 그때쯤이면 네트워크와 소프트웨어가 낡아서 새로 사고, 기존 것은 새 장비의 백업으로 돌린 뒤, 더 오래된 백업 장비를 폐기함
      흥미롭게도 이 업그레이드 주기가 20년 동안 유지돼서 감가상각을 이해하기 쉬움. 총 16년 쓰지만 실제로는 8년은 주 장비, 8년은 백업 장비로 쓰는 구조임

  • 7950X3D, X670E Taichi, 96GB 6400MHz CL32, 2x4TB Lexar, 4x18TB Seagate Exos X18, RX570 8G, Proxmox 구성임
    VM 없는 유휴는 약 60~70W, TrueNAS VM과 디스크 회전 중 유휴는 90~100W, TrueNAS와 GPU 패스스루 Fedora Desktop 유휴는 약 150W임
    몇 주 뒤 RX570을 7900 XTX로 교체할 예정임. RAM이 전력을 많이 더하며, DDR5는 주파수에 따라 8GB당 3~5W도 흔함
    Proxmox+TrueNAS가 50~100W 정도일 거라 예상했는데, 96GB RAM 전력 소모를 고려하지 못했음

    • 유휴 50W까지 낮출 수는 있지만, 아직 Zen4에는 없는 것까지 포함해 아주 특정한 하드웨어 선택이 필요하고 투자 대비 효과는 실현되기 어려움
      내 구성은 AMD Ryzen 7 PRO 5750GE, 128GB ECC DDR4-3200, Intel XL710-QDA2, LSI 9500-16i, WD 16TB HDD 8개, SK Hynix P41 Platinum M.2 NVMe SSD 2개, Samsung PM9A3 U.2 NVMe SSD 2개, Samsung PM893 SATA SSD 2개임
      BMC가 있고, 듀얼 40GbE로 특정 상황에서는 네트워크상 약 55GbE를 지속 가능하며 대부분은 30~35GbE임. TrueNAS SCALE은 영상 편집용 순수 저장장치로 돌리고, 1L SFF의 5750GE와 10GbE로 된 Proxmox 클러스터는 주로 Apache Spark를 돌리며, Pi4B 8GB k3s 클러스터도 있음
      저장소 계층화가 되어 있어 디스크는 거의 건드리지 않고 대부분 잠들어 있음. 주로 U.2에서 데이터를 주고받고, 나중에 자동으로 옮겨 다님. SATA SSD는 메타데이터용이고, 부팅은 SuperMicro SuperDOM에서 함
      Zen 3 Ryzen PRO 5750GE는 유니콘 같은 제품이지만 전력이 매우 낮음. 유휴 전력이 아주 작고, 내장 GPU와 ECC 지원, EPYC의 메모리 보호 기능을 갖췄으며, 5800X 성능의 92% 정도를 내면서도 8코어 16스레드 전체 부하에서 패키지 전력이 39W 바로 아래로 제한됨
      LSI 9500-16i는 필요한 레인, 즉 PCIe 8개와 SlimSAS 16개를 제공해 엔터프라이즈 U.2 두 개와 HDD 8개를 처리했고, 최신 어댑터라 유휴 전력도 낮았음
      Intel 듀얼 QSFP+ NIC는 구리 수동 DAC를 쓰면 NIC와 스위치 사이에서 포트당 4~5W를 아낄 수 있어서 의도적으로 골랐음. 이 전송 속도에서는 광보다 지연도 낮다는 점도 의미가 있음
      전력 돼지는 ASRock X570D4U임. BMC만 3.2W를 먹고 X570 자체도 전력을 좀 먹음. 그래도 전체 시스템 유휴는 50W, 대부분 부하에서는 75~80W이며, 모든 것이 최대 부하일 때 이론상 180~190W 정도까지 갈 듯함
    • NAS 같은 용도로 Ryzen Embedded나 Epyc 3000 시리즈처럼 패키지에 듀얼 10GbE가 들어간 제품을 정말 쓰고 싶은데, 둘 다 너무 비싸거나 구하기 불가능함
    • 8GB RAM당 3~5W라는 건 틀린 것 같음. 그 계산이면 DIMM 하나당 4*6=25W가 됨
      나도 48GB DDR5 DIMM을 쓰는데 HwInfo에서는 모듈당 최대 6W로 나옴
    • 네트워킹은 어떻게 했는지 궁금함. 1Gbit를 넘겼는지?

  • 44개의 회전식 HDD를 단 NAS 847E16-RJBOD, 48포트 POE+ 10GbE 스위치, 무정전 전원장치 2대, 환경 모니터링, DECISO OPNsense 라우터를 합쳐 평균 1264W를 쓰고 있어서 석유화학 정유소가 된 느낌임
    한 UPS는 역률 기준 효율 98%를 보고하지만, 다른 하나는 91%라 그리 좋지 않음
    APM은 모든 HDD에서 꺼뒀음. 이 구성에서는 실현되지 않을 신화적 절전 효과 때문에 지연과 마모만 생기기 때문임
    SMART는 고장을 거의 예측하지 못하지만, 드라이브 고장의 강한 신호 중 하나는 약간 올라간 온도이며 보통 베어링 마모의 결과임
    폐열이 충분히 나와서 방 하나는 난방이 필요 없고, 데이터센터 주변 온도를 27°C 아래로 낮출 이유도 없어 냉각이 반드시 필요하지는 않음

    • 최근에 히트펌프 온수기를 알아봤는데, 방 안의 열을 빨아들여 동작하는 제품이 많았음
      물과 컴퓨터는 섞이면 안 되지만, 저 폐열을 활용하는 더 좋은 방법일 수도 있음

  • 저전력은 좋지만, ECC 없이 큰 RAID를 장기간 돌리는 건 불안함. 비슷한 시스템이면서 5년 이상 더 견고한 좋은 해법이 있는지 궁금함

    • 요령은 한두 세대 지난 Supermicro 메인보드를 구할 수 있는 ATX 케이스에 넣고, 저전력 Xeon이나 Pentium/Celeron을 쓰는 것이라고 봄
      X11SAE-F나 X12SCA-F, 어쩌면 더 오래된 것도 충분함. 전력은 아주 낮지는 않을 수 있음
      나는 아직도 X9SCA+-F와 아주 오래된 Xeon으로 NAS와 LXC 컨테이너를 돌리고 있음. 유휴 전력이 5W가 아니라 20~30W쯤이지만 문제를 겪은 적이 없고, 이미 여러 번 본전을 뽑았다고 확신함
    • 예산이 제한적이면 중고 HP Z-Series 워크스테이션이 ECC RAM을 지원함
      베어본은 싸지만 ECC 메모리는 흔한 서버용 RDIMM이 아니라 비쌀 수 있음. 저전력 구성도 아님
    • Synology 등이 쓰는 AMD V2000 같은 임베디드 SoC가 있음
      HDD 한 케이스나 4U 전체를 처리할 정도로 올라가려면 PCIe 레인이 필요함. 그 경우 w680, i5-12600K, ECC UDIMM 하나, PCIe 슬롯의 SAS HBA, 내장 이더넷 조합이 가능한 최저 전력에 가까울 듯함
      w680 플랫폼 가격이 너무 비싼 게 아쉽고, am4/zen2는 더 저렴해서 여전히 쓸 만함
      Xeon, 임베디드 Xeon, am5, am4도 가능하지만 am4는 내장 GPU가 없을 수 있음
      ECC 없이 RAID를 5년 돌리는 게 본질적으로 잘못된 건 아니며, 실제로 많이들 그렇게 쓰고 문제없이 지나감
    • 중고 e3 1245 v5를 eBay에서 30달러에 사고, Asus 워크스테이션 메인보드, 32GB ECC, 회전식 드라이브 4개로 TrueNAS를 돌리고 있음
      개별 전력은 모르지만 이 NAS와 i5 12400 컴퓨트 머신, 라우터, 스위치를 합쳐 기본 동작 중 벽 전력 100W를 씀. 컨테이너는 약 30개임
      예전에 홈서버로 썼던 오래된 워크스테이션들과 비교하면 엄청 효율적이라고 봄
    • 동의함. ECC 논의가 보이지도 않았음
      이 보드는 이 칩과 함께 ECC를 지원하는 것으로 보임: Supermicro X13SAE W680 LGA1700 ATX Motherboard
      가격은 550달러임
      이걸 중심으로 구성하고 PCIe 4.0-NVMe 보드로 필요한 만큼 NVMe 드라이브를 붙이는 방법도 있음. 싸지는 않지만 홈 용도로 감당 가능한 수준임

  • 좋은 글임. 예전에 비슷한 걸 시도한 적이 있음
    https://vermaden.wordpress.com/2019/04/03/silent-fanless-fre...
    https://vermaden.wordpress.com/2023/04/10/silent-fanless-del...

  • 저장공간이 많은 구성으로는 훌륭함
    저장소가 SSD 하나나 RAID 미러 쌍에 들어가고 많은 연산이 필요 없다면, RasPi 같은 단일 보드 컴퓨터나 NUC 같은 걸로 저전력 서버를 만들 수 있음
    개인적으로는 1U Atom 서버 몇 대를 쓰고 있는데, 전원공급장치 팬을 Noctua로 바꾼 것 외에는 팬리스로 돌아감
    RasPi 대비 장점은 SATA와 ECC RAM이고, 코로나 시기에도 더 쉽게 살 수 있었음
    4U GPU 서버도 하나 있지만, 글쓴이처럼 저전력 유휴 상태를 만드는 방법을 아직 파고들지 않아 현재는 쓰지 않을 때 꺼둠

  • 왜 N100은 안 쓰는지 궁금함
    N305도 목적에 맞고, N100은 더 낮을 것임 https://www.reddit.com/r/MiniPCs/comments/12fv7fh/beelink_eq...

    • 이 글이 5월에 쓰였을 때 N100은 아직 출시 전이었거나 막 출시된 시점이었음
      또 N100은 RAM 16GB만 지원하는데, 이 사람은 64GB를 쓰고 있음. PCIe 레인 수도 9개 대 20개라 사용 사례에 중요할 수 있고, i5가 전반적으로 꽤 더 빨라 보임
      비교: https://ark.intel.com/content/www/us/en/ark/compare.html?pro...
    • Nx00 계열 칩에 한 표임. N100이 들어간 완제품 미니 PC를 방금 샀는데, 저전력이고 가격도 좋고 성능도 훌륭함
      몇 년 뒤에는 미니 PC 시장을 통째로 먹지 않을까 궁금함. 가격이 내려가서 여러 Pi 계열과 경쟁 가능해진다면 더 그럴 듯함
    • AliExpress에서 산 손바닥 크기의 N100 미니 PC에 매우 만족함
      2~8W 사이를 쓰고, 그냥 평범한 12V 어댑터와 DC 배럴 잭을 사용함. Home Assistant와 가벼운 가상화에 완벽함
      성능은 쿼드코어 i5-6500 미니 PC보다 실제로 더 좋음. 결코 느리지 않음
    • 글쓴이가 디스크를 많이 원한다고 했기 때문임
    • 나도 N100 미니 PC에 만족함. 회전식 USB 드라이브 두 개를 포함해 유휴 약 7W이고, 최대한 끌어올려도 약 14W였음
      가격 대비 정말 놀라운 작은 시스템임

  • CPU/메인보드 쪽은 아끼려고 최적화하면서, 정작 6개 이상의 드라이브를 쓰는 대신 더 적은 수의 큰 드라이브를 쓰지 않는 건 소탐대실 요소가 있는 것 아닌가 싶음

    • 드라이브는 5개나 6개 단위로 사는 게 좋다고 봄. 물론 이건 논쟁이 많은 주제임
      드라이브는 고장 나므로 중복성을 위해 여분이 하나 이상 필요하고, 나는 2개를 권함. 하나가 고장 났을 때도 교체하는 동안 운영을 계속할 수 있기 때문임
      드라이브 3개로 RAID-1 미러를 만들면 실제 용량 하나 값으로 비싸져서, 대부분은 이중 패리티 RAID-5 계열을 보게 됨
      하지만 이런 구성에 6개 넘게 넣으면 성능 문제가 생기기 시작하고, 두 RAID에 걸쳐 스트라이핑하는 편이 낫기도 함. 6개를 넘기면 3개가 고장 날 확률도 무시하기 어려워져 패리티 스트라이프를 더 추가해야 함
      그래서 나는 6개가 적당한 지점이라고 보지만, 다른 합리적인 답도 충분히 가능함
      물론 얼마나 많은 데이터가 있느냐도 중요함. 많은 사람에게는 현대식 디스크 1개면 충분해서 RAID-1로 가고, 중복성은 고장 뒤 오프사이트 백업 복원을 기다리지 않기 위한 용도에 가까움
답변달기