▲

GN⁺: Fastmail이 자체 하드웨어를 사용하는 이유

 (fastmail.com)
6P by neo 6일전 | favorite | 댓글 3개
  • 최근 기업들이 클라우드에서 자체 하드웨어로 복귀하는 클라우드 리패트리에이션에 대한 논의가 증가
  • Fastmail은 20년 넘게 자체 베어 메탈 서버를 사용하여 운영을 최적화
  • 자체 하드웨어 사용으로 클라우드 대비 비용 최적화가 가능:
    • 사용량 패턴을 정확히 이해하여 하드웨어 구매를 장기적으로 계획
    • 25년간 축적된 하드웨어 및 네트워킹 설치·운영 경험
    • 하드웨어를 5~10년간 활용하며 비용 감가상각

하드웨어 발전

  • 초기 IMAP 서버는 15k RPM SAS 드라이브와 7.2k RPM SATA 드라이브로 구성된 RAID를 사용
  • 이메일 데이터를 고속 SAS 드라이브에 저장한 후, 서버 부하가 적은 시간에 SATA 드라이브로 이동
  • 이러한 시스템은 Cyrus IMAP과 별도 파티션 도구를 통해 지원

NVMe SSD로 전환

  • 몇 년 전, AMD 기반 2U 플랫폼과 NVMe SSD로 대규모 업그레이드 진행
    • 성능과 저장 밀도가 크게 향상됨
  • RAID 컨트롤러 부족 문제로 ZFS 파일 시스템을 도입
  • ZFS는 Copy-on-write 모델로 뛰어난 I/O 성능을 제공

ZFS 압축 및 튜닝

  • Zstandard 압축 사용으로 이메일 데이터 공간 약 40% 절감
  • ZFS 레코드 크기를 조정하여 압축 효율을 추가로 개선:
    • 128k 레코드 크기에서 기본적으로 약 40% 절감
    • 512k로 조정 시 42% 절감

ZFS 암호화 및 통합

  • 기존의 LUKS 암호화를 대체하는 ZFS 기본 암호화로 시스템 복잡성 감소
  • 3년간 모든 이메일 서버, 데이터베이스, 로그, 백업 서버에 ZFS 도입 완료

SSD 수명 및 신뢰성

  • SSD의 수명과 신뢰성 확인:
    • 데이터센터용 SSD는 3년간 매우 낮은 고장률 기록
    • HDD 대비 10배 이상의 신뢰성

저장소 비용 비교

클라우드 스토리지

  • Amazon S3: 연간 $252,000
  • Backblaze B2: 연간 $72,000
  • 장점: 무제한 스토리지, 다수 제공업체 선택 가능
  • 단점: 구현 복잡성, 지속적 비용 증가 가능성

HDD 업그레이드

  • 24TB HDD 업그레이드 비용: 약 $6,000/서버
  • 장점: 기존 하드웨어 재사용, 낮은 비용
  • 단점: 데이터 복구 시간 증가, I/O 성능 부족

SSD NVMe 서버

  • 2U SSD 서버: $190,000 (1220TB 저장 용량)
  • 장점: 높은 I/O 성능, 신뢰성, 공간 및 전력 절감
  • 단점: 초기 비용 높음

최종 선택 및 결과

  • NVMe SSD 기반 ZFS 서버로 전환:
    • 높은 성능과 신뢰성 확보
    • 기존 시스템과 호환되며 새로운 개발 필요 없음
    • 데이터 전송 속도: 5GB/s 이상

결론

  • 자체 하드웨어 운영은 모두에게 적합하지 않지만, 장기적인 비용 절감과 제어 향상 가능
  • Fastmail은 자체 하드웨어를 통해 안정성과 비용 효율성을 모두 실현
▲
spp00 6일전  [-]

솔직히 클라우드로 운영 안하고 이런식으로 잘 굴러가는 회사는 둘중에 하나입니다. 하나는 회사의 인력 수준이 좋아서 진짜로 잘 굴러가고 있는거고 하나는 인력 수준이 좋지 않고 저가용성에 보안도 약한 시스템인데 잘 굴러가고 있다고 생각하는 케이스라고 봅니다. 한국은 후자가 압도적으로 많고요. 사자 전문직을 제외하면 사람을 경시하는게 한국이라 한국 같은 경우에는 차라리 좋은 인재 쓰는 해외 CSP 한테 맡기는게 맞다고 봅니다. 아니면 진짜로 사람에 투자를 잘 하든가....

솔직히 말해서 접속자가 일정하다면 클라우드 안쓰는게 싸게 먹히기는 하는데 이게 고가용성과 보안을 갖추고 제대로 운영되려면 회사에 물리 서버를 굴릴만한 인재가 있어야 합니다. 이러한 사람이 없다면? 클라우드를 써야하는게 맞고 이러한 인재를 구할 역량이 부족한 스타트업이 괜히 클라우드를 쓰는 것이 아닙니다.

클라우드 안쓴다는 37시그널도 연봉 하한성을 정해놓아 인재를 중시하는데 그 하환성이 7만 달러, 달러 환율이 올라서 한화로는 1억이 넘습니다. 한국 IT 종사자들은 37시그널스 연봉 하한선보다 낮은 연봉을 받는 경우가 일반적이죠. 거기는 인재를 중시해서 투자하는 인건비가 어마어마 할 것이고 그에 따라 온프레미스를 굴릴 능력이 되는 좋은 인재를 갖고 있는데도 클라우드에 돈이 지나치게 나가니까 베어메탈로 복귀를 한거죠. 그러면서 kamal 같은 물건도 만들었고요. 근데 한국 기업들은 kamal 같은 물건을 만들 능력이 있을까요? 사람에 투자하기 싫다면 그냥 AWS 같은 CSP 쓰는게 맞다고 봅니다. 온프레미스라고 해서 안전한게 아니라는건 카도카와 해킹 사건에서 증명되었죠.

답변달기
▲
colossus 4일전  [-]

Az단위의 availability가 확보가 되는지도 궁금하네요

답변달기
▲
neo 6일전  [-]
Hacker News 의견

  • FastMail의 하드웨어 사용 이유는 1999년 회사 설립 당시 선택지가 많지 않았기 때문임. Rackspace의 단일 서버를 사용했으며, 당시 비용은 월 $70였음. VPS나 SaaS 대안이 실질적으로 없었음

    • Rob이 합류한 후, 서버가 커지면서 콜로케이션을 고려했음. IBM과 NYI가 원격 지원과 하드웨어 문제를 잘 처리해줌
    • Bron이 합류하여 모든 것을 자동화함. Linux와 오픈 소스 도구, Perl을 사용하여 저렴하고 신뢰성 있게 운영함
    • AWS 등의 클라우드 서비스가 인기를 끌었지만, 가격과 복잡성 때문에 여전히 베어 메탈 서버를 선호함
    • SaaS에 대한 의존도가 높아지는 것에 대한 우려가 있지만, 교육 과정을 계획 중임

  • 클라우드로의 전환은 흥미로움. 대부분의 사람들은 하드웨어 관리에 관심이 없지만, 비용 측면에서는 자체 시스템이 더 나음

    • 클라우드에 대한 찬성 의견은 기술적 이해가 부족한 사람들을 설득하기 위한 것임
    • 클라우드를 지지하는 이유는 비용, 프라이버시, 보안, 인터넷의 중앙화 방지 때문임
    • FastMail의 접근 방식은 감정적이지 않아서 존중함. 클라우드에 대한 열광이 줄어들고 있는 것 같음

  • 클라우드는 DevOps의 좌측 이동과 관련이 있음. 비용 절감이 목적이 아님

    • 하드웨어에서는 시스템 프로비저닝에 시간이 오래 걸리지만, 클라우드에서는 간단한 스크립트로 가능함
    • 예측 가능한 작업량과 유능한 엔지니어링 문화가 있다면 클라우드는 필요 없을 수 있음

  • FastMail에 대한 신뢰가 없음. Pobox를 인수한 후 서비스가 이메일 포워딩에서 실패했음. 환불도 거부당함

  • BareMetalSavings.com을 소개함. 클라우드에서 벗어나는 비용을 추정할 수 있음

    • ZFS 암호화가 불안정할 수 있으므로 주의가 필요함

  • FastMail의 접근 방식이 흥미로움. SSD에 대한 두 가지 흥미로운 점을 언급함

    • SSD 드라이브는 HDD보다 훨씬 신뢰성이 높음

  • FastMail의 투명성과 논리적 결정이 마음에 듦. 이메일 서비스를 위해 비용을 지불할 가치가 있음

  • 셀프 호스팅이 클라우드보다 낫다는 의견이 많음. 그러나 비즈니스 애플리케이션을 효과적으로 운영하는 방법에 대한 논의는 부족함

    • 인프라 관리에 필요한 다양한 기능이 있음. SaaS를 사용하는 것이 온프레미스 인프라의 목적을 무색하게 할 수 있음

  • 클라우드 사용의 장점 중 하나는 저규모에서의 신뢰성임

    • AWS를 사용하며, 작은 규모에서는 클라우드가 최선의 선택임

  • FastMail은 최고의 이메일 제공자 중 하나였음. 인터페이스가 직관적이고 반응이 빠름

    • Protonmail로 전환했지만, FastMail의 사용 경험이 좋아 다시 돌아갈 것을 고려 중임
답변달기