▲

GN⁺: 자체 데이터 센터 구축 계획

 (blog.railway.com)
1P by neo 1달전 | ★ favorite | 댓글 1개

  • 당신의 데이터 센터를 구축하고 싶다면

    • Railway는 처음부터 Google Cloud Platform을 기반으로 컴퓨팅을 구축했음. 그러나 이로 인해 가격, 서비스 수준, 엔지니어링 제약 등 여러 문제가 발생했음. 이러한 문제를 해결하기 위해 Railway Metal 프로젝트를 시작했으며, 캘리포니아에 첫 번째 사이트를 구축했음.

  • 클라우드를 구축하고 싶다면

    • Railway Metal 프로젝트는 2024년 1월에 시작되어 첫 서버를 설치하는 데 5개월이 걸렸음. 공간을 확보하고 전력과 냉각을 고려해야 했음. 세 가지 주요 선택지 중 'Cage Colocation'을 선택했음.

  • 큰 힘에는 큰 책임이 따름

    • 데이터 센터 이전을 계획할 때 필요한 컴퓨팅 용량을 고려해야 함. 전력 밀도가 중요한 요소이며, 전력 공급의 이중화가 필요함. Power Distribution Unit(PDU)을 통해 전력을 공급함.

  • 빛이 있으라

    • 네트워크 연결이 중요하며, 다양한 ISP와 계약하여 최적의 네트워크 경로를 확보함. 각 지역에 적합한 ISP를 선택하고, 여러 지역에 걸쳐 중복성을 구축함.

  • 통로, 랙 및 오버헤드 인프라

    • 데이터 센터에서 랙은 행으로 배열되며, 공기 흐름을 위해 통로가 필요함. 랙의 크기와 케이블 관리도 고려해야 함. 전력과 냉각이 공간보다 제한 요소가 될 수 있음.

  • 랙 및 스택

    • 깔끔한 케이블링은 많은 연습이 필요하며, 전문가의 도움이 필요함. 케이블 매트릭스와 랙 엘리베이션 문서를 통해 설치를 계획함. 설치에는 6-14일이 소요됨.

  • Metal에 페달을 밟다

    • 설치된 케이지는 빈 캔버스와 같으며, 네트워크 장치 구성, 라우터 설정, RIR 기록 업데이트 등이 필요함. FRR과 SONiC를 사용하여 L3 전용 소프트웨어 기반 네트워크를 구축함.

    • 향후 게시물에서 서버를 기능적인 Railway 존으로 만드는 과정을 다룰 예정임. Railyard와 MetalCP라는 두 가지 소프트웨어 도구를 개발하여 새로운 케이지 설계, 케이블링 시각화, 서버에 OS 설치 등을 간편하게 할 수 있게 함.

▲
neo 1달전  [-]
Hacker News 의견
  • "colocation"을 "자신의 데이터 센터 구축"이라고 부르는 이유에 대한 의문 제기. 실제로는 서버를 랙에 설치하는 것에 불과함
  • Rackspace 시절의 재미있는 에피소드들 회상
    • EMC 직원들이 스토리지 장치 설치 중 서버 랙을 넘어뜨린 사건
    • 트럭 운전자의 심장마비로 데이터 센터가 오프라인된 사건
    • 레이저로 대역폭을 다른 건물로 전송한 경험
    • 서버가 화재로 인해 창문을 부수고 박스 팬을 구매한 일
  • 데이터 센터 기술이 많이 발전했음을 언급하며 Facebook과의 협업 경험 공유
  • Google의 고객 지원 부족 문제 지적
  • Blekko의 인프라 구축 경험 공유
    • "east west" 네트워크 트래픽을 처리하기 위해 물리적 콜로케이션이 중요했음
  • 데이터 센터의 HVAC 'CRAC' 용량 계산의 중요성 강조
  • Google의 고객 서비스에 대한 불만 제기
    • AWS와 Microsoft의 고객 지원과 비교
  • Netbox와 같은 도구의 필요성 언급
  • 2003-2010년 사이의 데이터 센터 배포 경험 공유
    • 케이블 관리와 표준화의 중요성 강조
  • 데이터 센터의 "WTF" 섹션의 중요성 강조
  • AWS 비용 절감을 위해 콜로케이션을 통한 VM 운영 경험 공유
  • 인프라 회사로서의 자산 소유의 중요성 강조
    • Cloudflare의 무료 서비스 제공 이유 설명
  • 케이블 관리의 중요성 강조
    • 구리와 광섬유 케이블의 혼합 사용 시 주의 필요성 언급
답변달기