Hacker News 의견

• 큰 시스템에 관심이 있다면 이 글을 읽어보는 것이 좋음

  • 하드 드라이브 성능은 큐에 있는 다른 트랜잭션에 따라 달라짐
  • 무작위 4kB 작업에서는 성능이 크게 떨어질 수 있음
  • 큐잉과 스케줄링이 도움이 되지만, 실제 성능은 작업 부하에 따라 100배 이상 차이날 수 있음
  • 다중 테넌트 시스템에서는 특히 읽기 작업에서 어려움이 있음

• 문제를 해결하려면 무엇이 잘못되었는지 알아야 함

  • Marc에게 배운 가장 큰 교훈은 시각화를 통해 팀의 관점을 바꾸는 것임
  • 성능 데이터를 여러 방식으로 분석하면 보이지 않는 효율성과 기회를 발견할 수 있음

• 2013년에 EBS 서버에 SSD를 설치한 프로젝트는 AWS의 흥미로운 이야기 중 하나임

  • 시스템을 처음부터 비파괴 유지보수 이벤트를 염두에 두고 설계했음
  • 분산 시스템을 구축하면 대규모 운영이 가능해짐

• AWS의 약 4일간의 장애는 EBS로 인해 발생했으며, 이는 AWS에 대한 신뢰를 흔들었음

  • 이로 인해 EBS에 대한 투자가 증가했음
  • Apple이 고객이 되던 시기와 맞물려 있었음

• Reddit은 2008년에 EBS의 초기 사용자 중 하나였음

  • 소프트웨어 RAID를 사용하여 IOPS를 증가시키려 했으나, 성능이 일관되지 않았음
  • RAID의 문제를 해결하는 데 시간이 걸렸음
  • Netflix는 EBS를 사용하지 않았음

• 무작위 지연을 추가하면 평균 지연과 이상치가 감소하는 효과가 있음

• 대규모 인터넷 회사에서 일하면서 많은 교훈을 얻었음

  • 견습 과정을 통해 중요한 지식과 기술을 빠르게 습득할 수 있음
  • 면접 시 경험과 멘토의 추천이 매우 유용함

• 2013년에 모든 EBS 유닛에 SSD를 수동으로 설치한 부분이 흥미로웠음

  • 2010-2012년 사이에 I/O 성능이 중요한 이슈였음

• 2009년에 Amazon S3 내부에 대한 강연을 했음

  • 이 강연은 EBS 개발에 영향을 미쳤음

• 클라우드 초기에는 범용 하드웨어를 사용했으나, 이제는 개별 서비스에 특화된 하드웨어를 사용함

  • AWS는 Graviton, Inferentia, Tranium 칩을 사용함
  • Google은 TPU와 Titan 보안 카드를 사용함
  • Azure는 FPGA와 Sphere를 사용함

• 첫 번째 다이어그램은 잘못되었거나 구식임

  • 현대 컴퓨터는 대부분의 PCIe 레인이 CPU로 직접 연결됨
  • 이는 I/O 처리량과 지연에 중요한 발전임

• 새로운 EC2 인스턴스에 빠른 256GB 데이터셋 디렉토리를 제공하는 가장 좋은 방법을 찾고 있음

  • EBS 볼륨을 사용하고 있지만 업데이트가 번거로움
  • EFS는 너무 느림
  • 인스턴스 스토리지 SSD는 일시적임
  • FSx Lustre는 아직 시도하지 않음