Meta, 맞춤형 CXL 브리지 칩으로 구형 RAM을 새 서버에서 재사용

 (theregister.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Meta는 버려질 수 있는 DDR4 메모리를 새 DDR5 서버에 붙여, 일부 분리형 추론 워크로드에서 필요한 서버 수를 최대 25% 줄임
  • 서버 플릿의 약 40%는 메모리 증설이 불가능한 반면, 메모리는 서버보다 오래 쓸 수 있어 DIMM 재활용이 비용 절감 수단이 됨
  • 자체 ASIC Vistara는 DDR4를 CXL 2.0/1.1 호환 PCIe Gen5 x16 인터페이스로 연결해, 기존 CXL 장비의 DDR4 재사용 한계를 우회함
  • Vistara 기반 MemServer는 AMD Turin, 768GB DDR5, 256GB DDR4를 결합하고 DDR4를 OS에 CPU 없는 별도 NUMA 노드로 노출함
  • CXL 확장 메모리는 OOM으로 인한 작업 실패와 재시작, 리소스 단편화 오버헤드를 33% 줄여 대규모 인프라 운영 부담을 낮춤

DDR4를 다시 쓰게 된 배경

  • Meta는 구형 서버에서 회수한 DDR4 DIMM을 새 서버에 장착해 공유 가능한 메모리 풀로 구성함
  • 서버 플릿 중 약 40%는 메모리 증설이 불가능해 일부 워크로드를 처리하기 어려움
  • 서버 기대 수명은 3~5년인 반면, 메모리는 7~10년 동안 유용하게 쓸 수 있음
  • 이 수명 차이 때문에 오래된 서버의 메모리를 새 시스템에서 재사용하는 방식이 인프라 효율화 수단이 됨
  • 증설 불가 서버 비중: {p:40}

CXL 도입의 제약과 Vistara의 역할

  • CXL은 여러 호스트 사이에서 메모리 공유를 가능하게 하지만, 프로덕션 환경에서는 낮은 대역폭, 높은 지연, 추가 메모리 계층 관리 오버헤드가 부담이 될 수 있음
  • 서로 다른 메모리 기술을 한 시스템에 결합할 때 이런 제약이 더 두드러질 수 있음
  • Meta는 단일 머신 안에서 여러 메모리 유형을 섞으려 했지만, 기성 CXL 장비는 요구사항과 맞지 않았음
    • 대부분의 CXL 솔루션은 DRAM과 컨트롤러를 함께 묶어 DIMM 재사용을 어렵게 함
    • DDR4 지원이 빠진 경우가 많아 오래된 메모리 재활용에 맞지 않음
    • 전력 소비와 비용도 도입 매력을 낮춤
  • 이 공백을 메우기 위해 Meta는 맞춤형 ASIC Vistara를 개발함

Vistara ASIC 구성

  • Vistara는 DDR4 메모리를 호스트 프로세서에 연결하는 CXL 브리지 역할을 함
  • 핵심 인터페이스는 CXL 2.0/1.1 호환 PCIe Gen5 x16임
  • 각 Vistara ASIC은 다음 구성을 가짐
    • 독립적인 72비트 DDR4 메모리 채널 2개
    • 최대 3,200 MT/s 속도 지원
    • 64GB DIMM 사용 시 칩당 최대 256GB 지원
  • ASIC 구동에는 맞춤형 RISC-V 프로세서 2개가 사용됨

MemServer 하드웨어와 소프트웨어

  • Vistara 하드웨어는 Meta가 MemServer라고 부르는 장치에 들어감
  • 각 MemServer는 다음 요소를 결합함
    • AMD Turin 프로세서
    • 158코어, 316스레드
    • 768GB DDR5 메모리
    • Vistara ASIC으로 연결된 256GB DDR4
  • Vistara CXL 카드는 MemServer 섀시 안의 후면 접근 전용 슬롯에 설치됨
  • 고밀도 메모리와 CXL 장치의 열부하를 처리하기 위해 섀시는 고용량 팬과 지향성 공기 흐름으로 Vistara 모듈에 냉각 공기를 직접 보냄
  • 소프트웨어 측면에서 DDR4는 OS에 CPU 없는 별도 NUMA 노드로 표시되며, 프로세서에 직접 연결된 로컬 DRAM 노드와 분리됨
  • Meta 플랫폼은 사용 가능한 로컬 DDR4를 먼저 쓰고, 필요할 때 CXL 기반 메모리를 사용함
  • Vistara에 쓰이는 Linux CXL 드라이버 코드는 업스트림 커널에 이미 있거나 업스트림 포함 절차가 진행 중임

프로덕션 적용과 운영 효과

  • Meta는 Vistara 기반 CXL 구성을 수백만 대 서버 규모의 하이퍼스케일 인프라에 적용함
  • 적용 워크로드에는 다음이 포함됨
    • 추천 시스템의 임베딩 테이블을 포함한 분리형 ML 추론
    • 빅데이터 처리
    • 데이터베이스
    • 분산 캐시
    • CI/CD 빌드 시스템
  • Spark와 Hive 같은 빅데이터 도구는 테라바이트·페타바이트 규모 데이터셋을 다루며, 작업당 수백 GB 메모리를 필요로 할 수 있음
  • 이런 워크로드에서 OOM 이벤트가 발생하면 핵심 비즈니스 분석과 ML 파이프라인이 중단될 수 있음
  • CXL로 확장된 메모리 여유는 OOM 위험을 줄여 작업 실패, 작업 재시작, 리소스 단편화 관련 오버헤드를 33% 감소시킴
  • 분리형 추론에서는 서버 수를 최대 25% 줄이는 효과가 나타남
  • Meta는 높은 메모리 가격을 피하는 효과도 얻고 있음
  • 운영 오버헤드 감소: {p:33}
  • 분리형 추론 서버 수 절감: {p:25}

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • William Gibson의 Neuromancer 초반에서 주인공이 지하 시장에 RAM 3MB를 팔려고 하는데, 이게 책이 시대를 못 버틴 사례로 자주 인용됨
    그런데 요즘 메모리 시장 방향을 보면… 어쩌면 우리가 아직 거기까지 못 간 것일지도 모름

    • 초기 컴퓨터 과학자들은 정말 낙관적이었음. RAM 몇 KB와 CPU 몇 MHz만 있으면 인공지능, 의식, 기계학습, 언어, 음성 합성까지 뭐든 할 수 있다고 믿었음
      지금은 웹 폼 하나에 RAM을 GB 단위로 쓰고 있음. Gibson이 사이버 공간의 의식 하나에 RAM 3MB면 충분하다고 본 건 매우 낙관적이지만, 당시 분위기에는 잘 맞음
    • 컴퓨팅을 의식하고 보기 시작한 뒤로 가장 인상적인 발전은 메모리 용량이었다고 여러 번 생각했음. 네트워크나 USB도 큰 발전이지만, 컴퓨터를 같은 방식으로 “빠르게” 만들지는 않음
      2000년에 Diablo II가 막 나왔을 때 450MHz Pentium III와 RAM 64MB가 들어간 컴퓨터를 빌려 쓸 수 있었는데, 당시 RAM 64MB는 중급 정도였고 당연한 사양이 아니었음. 기억으로는 Diablo II가 싱글플레이에는 64MB, 멀티플레이에는 128MB를 권장했음
      지금 이 글을 쓰는 컴퓨터는 RAM 64GB라서 1024배임. 반면 CPU는 20코어 Intel에 최대 3GHz 정도인데, 각 코어가 동시에 최대 속도로 돈다고 가정해도 CPU 성능 증가는 133배 정도에 그침
      NVMe 읽기 시간이 메모리 용량 증가만큼이나, 혹은 더 중요할 수도 있지만 PC 사양표에서는 메모리와 CPU만큼 전면에 드러나지 않음
      하드디스크 용량 증가도 RAM만큼 인상적이긴 함. 2000년에는 대략 10~30GB였던 것 같은데, 지금은 10TB 디스크가 필요 없어서 쓰지 않고 1TB로 충분함. 그래서 개인적으로는 메모리만큼 체감이 크지 않음
    • 초기 컴퓨팅 역사에서는 메모리 단위가 아직 확립되지 않았고, 하드웨어 구조마다 워드 크기도 달랐으며 꼭 8로 나누어떨어지지도 않았음
      이런 기계들의 메모리 크기는 원래 워드 크기로 표현되곤 했음. 예를 들어 “이 기계는 코어 메모리 8킬로워드를 갖고 있다” 같은 식임. 그래서 오래된 소설에서 시대착오적인 메모리 용량을 보면, 그냥 내가 그들이 쓰는 워드 크기를 모르는 것이라고 생각함
    • 극저온 플라스크에 보관된 “뜨거운” RAM 3MB라면 콜드 부트 공격에 가깝고, RAM을 파는 게 아니라 데이터를 파는 것임
    • 그 이유로 작품이 시대에 뒤떨어졌다고 하는 건 꽤 트집 잡기임. Hamlet에는 휴대폰이 없지만 여전히 훌륭한 희곡이라고 봄
      빠른 FaceTime 한 번이면 비극을 막았겠지만 말임

  • 왜 더 자세한 원문 기사로 바로 가지 않는지 모르겠음
    https://www.theregister.com/systems/2026/06/29/zuck-saves-me...

    • 원 논문 링크는 https://aisystemcodesign.github.io/papers/isca26/vistara_cam...임
      대충 훑어보면, 많은 DDR4를 PCIe 카드에 꽂아 스왑 공간처럼 쓰는 것과 비슷하게 생각할 수 있음. 실제로는 CXL 프로토콜 때문에 더 정교하지만, 절충점은 그렇게 이해하면 됨
      빠른 주 DRAM과 지연 시간이 더 큰 확장 DRAM 사이에서 핫/콜드 페이지를 옮기기 위한 운영체제 수준 지원도 있는 듯함
      DRAM은 수명이 꽤 길고 제조 과정에서 이미 상당한 내재 탄소 배출을 품고 있으며, 동시에 새 DRAM 공급 위기가 있다는 점은 매우 타당한 문제임
    • 이런 걸 “Zuck” 덕분인 것처럼 쓰는 게 놀라움. 실제로 그가 이런 내용을 안다고 보기 어렵잖음
    • “원문 기사”라면 Register의 자매 사이트인 이쪽 같음
      https://www.blocksandfiles.com/architecture/2026/06/26/panmn...

  • 예전부터 “낡거나 남는 SIMM/DIMM, 한두 세대 전 메모리를 잔뜩 꽂아 스왑/느린 메모리/RAM 디스크로 쓰는 저렴한 PCI/PCI-X/PCIe 카드” 시장이 왜 크게 생기지 않았는지 궁금했음
    메인보드 주소 공간을 최신 메모리로 꽉 채우는 경우는 드물고, 커널도 속도에 따라 어떤 메모리를 더 선호할지 가르칠 수 있으니 당연히 될 법해 보임
    비슷한 일을 플래시로 하려던 시장은 특허 문제로 꺾였던 기억이 있는데 자세한 내용은 가물가물함. 그래도 플래시 캐시는 적어도 큰 업체들 쪽에서는 시장이 됐음. 여기서도 비슷한 일이 있었거나, 당시 내가 관심 있던 틈새에만 해당했을 수도 있음
    [1] 이 분야 제품이 몇 개 있었다는 건 알지만, 크게 뜨지는 못했다는 인상임. 틀렸을 수도 있음
    [2] NetBSD에서는 확실히 가능함. VMEbus 같은 아키텍처에서 직접 해봤는데, 작고 빠른 온보드 메모리와 버스 쪽의 더 느리지만 큰 메모리가 함께 있는 구성이 흔함. Linux도 NUMA 지원 작업 덕분에 이런 게 가능할 것 같지만 직접 살펴본 적은 없음

    • 큰 시장이 없었던 이유는 새 메모리가 새 서버에서 오래된 메모리를 쓰는 비용, 위험, 제약에 비해 금지될 정도로 비싸지 않았기 때문임
      지금은 상황이 달라져서 사람들이 이 아이디어를 다시 들여다보고 있음
    • 정확히 같은 건 아니지만, 오래된 부품으로 NAS 박스를 만들고 있음. 남는 RAM 대부분이 노트북용 DDR4 SODIMM이라서 SODIMM → 데스크톱 DIMM 어댑터를 써봤는데 잘 안 됨
      시스템이 5번 중 1번 정도만 부팅됐고, 메모리 속도 설정을 어떻게 바꿔도 안정화되지 않았음
    • 30년 전에는 30핀 SIMM 모듈 4개를 72핀 SIMM 슬롯에 맞게 바꿔주는 이런 카드들이 있었던 기억이 있음
      https://www.ebay.com/itm/383521792853
    • 구세대 DIMM은 그렇게까지 싸지 않고 공급도 제한적임. 새 칩 생산 능력을 확보하려고 구세대 제품은 생산에서 빠지기 때문임
      DDR2는 이미 DDR3보다 비싼데, 더는 생산되지 않지만 오래된 하드웨어의 메모리 교체나 업그레이드 수요는 남아 있기 때문일 가능성이 큼
    • 오늘날의 큰 차이는 CXL이 PCIe 위에 캐시 일관성을 더한다는 점으로 이해하고 있음. 틀릴 수도 있음
      캐시 일관성이 없으면 그 메모리를 어떻게 쓸지 훨씬 조심해야 하고 성능 이야기도 복잡해짐. CXL 위의 RAM은 CPU 메모리 컨트롤러에 직접 붙은 RAM보다 성능은 떨어지겠지만, 큰 함정은 없을 것임

  • 커스텀 칩을 설계하고 싶지 않다면 표준 제품인 CXL 메모리 확장 칩이 있음
    https://www.marvell.com/products/cxl.html

  • 이번 “RAM 위기”에서 흥미로운 부분은 다른 분야처럼 문제가 생기면 여러 주체가 대안을 찾기 시작한다는 점임
    그 결과 위기 이후, 바라건대 로컬 머신에도 적용될 메모리 붐을 만들 만한 흥미로운 아이디어나 우회책이 나올 수 있음
    첫째, Apple이 새 중국 제조사를 검토 중인데, 품질 보증이 괜찮다면 공급·수요 구도가 바뀔 수 있음. (https://www.ft.com/content/f4ac5c92-03be-4499-b16a-017a7e9ee...)
    둘째, 회사들이 성능 우회책을 찾고 있음. 갑자기 단일 채널도 “괜찮다”는 건가? :)
    (https://www.gigabyte.com/press/news/2403)

    • 단일 채널 RAM이라도 디스크 기반 스왑보다는 확실히 나음
    • 다시 하드웨어 제약을 염두에 두고 소프트웨어를 설계하기 시작하면 좋겠음
    • 결국 필요가 발명의 어머니임. 지적 사고에서 가장 오래된 추상 개념 중 하나일 것 같음
      자원 부족과 동기 부여 사이에는 촘촘한 고리가 있음. 최대 규모의 프런티어 모델이 RAM, SSD, GPU에 가하는 수요가 더 작은 LLM을 만들 직접적인 동기가 됨. 동물이 더 작고 먹이를 덜 쓰는 방향으로 진화 압력을 받는 것과 비슷함
      이런 작은 모델들이 성공하더라도, 고품질 동영상 처리 정도를 제외하면 여전히 다른 어떤 애플리케이션보다 RAM, SSD, GPU를 많이 쓸 가능성이 큼. 작은 LLM과 고급 영상 처리는 필요 자원이 비슷해 보임
      다만 자원이 시장 전체에 더 전통적인 방식으로 분산되면서 덜 미친 주기가 될 수 있음
      그래서 제조사들이 겪는 RAM/SSD 가격 순환 위기, 즉 공급 제약과 새 생산 능력으로 인한 과잉 공급 사이에서 가격이 오르내리는 문제의 출구는 더 작은 LLM 연구에 자금을 대는 것처럼 보임. 어차피 거의 같은 양의 제품을 팔 것이고, 어쩌면 더 많이 팔 수도 있음

  • 이걸 소비자용으로도 만들면 좋겠음. 오래된 RAM이 꽤 많음

    • 예전에 Gigabyte가 RAM 디스크 추가 카드를 만든 적이 있음. 정확히 같은 것은 아니지만 저장 장치로 보이기 때문에 운영체제 스왑 공간으로 쓸 수 있었음
      https://en.wikipedia.org/wiki/I-RAM
    • 이런 식으로 RAM을 추가하는 건 주 시스템 RAM을 확장하는 것과 정확히 같지 않음. RAM이 PCIe 계열 링크로 연결되기 때문에 기본 RAM처럼 동작하지 않음
      이런 구조는 엔지니어가 아키텍처에 맞춰 커스터마이즈하고 튜닝할 수 있는 서버 팜에 더 적합함
      RAM을 저장 장치로 쓰는 카드들도 있었지만, 디스크처럼 설정해야 해서 활용처가 매우 제한적이었고 인기를 얻지 못했음
    • 소비자용 시스템은 CPU로 돌아가는 대역폭이 많지 않아서 감각이 좀 다름
      지금 DDR4 중고가를 보면 그냥 팔고 NVMe 드라이브를 사는 편이 나을 수도 있음

  • ServeTheHome은 이미 12월에 CXL 메모리 확장 컨트롤러를 다뤘음
    https://www.servethehome.com/hyper-scalers-are-using-cxl-to-...

  • 논문에는 이렇게 나옴: “우리 CXL 솔루션은 다양한 워크로드에서 큰 개선을 달성했으며, 분산형 ML 추론에서는 서버 수를 최대 25% 줄였다”
    더 나쁜 RAM을 쓰는데 어떻게 같은 워크로드에서 서버 수 25% 감소가 가능한지 모르겠음

    • 더 좋은 RAM을 대체하는 게 아니라, 추가로 쓰기 때문임
    • CXL은 기본적으로 PCIe 위에 “느린” RAM을 추가하는 것임. 대체가 아님

  • 앞으로 몇 년간 소비자 전자제품 시장이 어떻게 될지 흥미로움. 회사들은 지금 RAM 부족 때문에 소비자들이 더 비싼 값을 낼 것이라고 베팅하고 있음
    하지만 다른 모든 비용도 오르는 상황이라, 상당수 소비자는 당분간 새 기기를 사지 않을 것 같음. HN 기준이 아니라, 모두가 테크 업계 연봉을 받는 건 아니라는 점을 기억해야 함

    • 나도 그쪽에 가까운 것 같음. 그냥 기술과 덜 상호작용하기로 선택하고 있음
      모든 것이 점점 더 적대적으로 변해서 임계점에 도달했음
    • 운영체제 제조사들은 오래된 하드웨어를 더 오래 지원해야 할 것임
      Microsoft가 Win11용 새 하드웨어를 강제로 밀어붙이려다 보니 Win10도 이미 1년 더 연장됐음

  • 좋네, 이제 중고 RAM 가격도 하늘로 치솟을 수 있겠음
    PC 가격이 다시 자동차 한 대 값이 되면 좋겠음. 수익화 기회가 정말 많아질 테니까

    • 이미 그렇게 됐음. 5년 된 중고 DDR4가 지금은 5년 전 새 제품 가격보다 더 비쌈
답변달기