▲

NIST, 지난주 정전으로 UTC 기준시보다 5마이크로초 늦어져

 (jeffgeerling.com)
1P by GN⁺ 17일전 | ★ favorite | 댓글 1개
  • 미국 콜로라도 볼더의 NIST 시간 시설이 정전으로 수일간 가동 중단, 백업 발전기 고장으로 UTC 기준시와 최대 5μs 오차 발생
  • NTP 서버 6대를 운영하는 이 시설은 발전기 고장에도 불구하고 시간 편차를 5μs 이하로 유지, 일반 사용자에게는 영향이 거의 없었음
  • 과학 연구기관과 항공우주 기업 등 정밀 타이밍 의존 기관에는 영향이 있을 수 있어, NIST가 직접 협력 중
  • GPS 및 WWV-Ft. Collins 시스템이 정상적으로 백업 역할을 수행해, 미국 전체 시간 인프라의 중복성이 입증됨
  • 이번 사례는 GPS 의존 위험성과 타이밍 인프라의 취약성을 보여주며, 대체 PNT 시스템 개발 필요성을 부각함

정전과 시간 오차 발생

  • 콜로라도 볼더의 NIST 캠퍼스가 시속 160km(100mph) 이상의 강풍으로 인해 전력회사가 화재 위험 방지를 위해 전력 공급을 차단
    • 캠퍼스 전체가 봉쇄되어 직원 출입이 불가능, 복구 지연 발생
  • 백업 발전기 중 하나가 이틀 후 고장, NTP 서버의 주요 집합(clock ensemble) 전원이 끊김
  • Time Realization and Distribution Group의 책임자인 Jeff Sherman은 부정확한 시간 송출을 막기 위해 서버를 차단할 가능성까지 검토
  • 다행히 다른 건물의 시계 시스템이 시간 신호를 전송할 수 있었고, 일부 직원이 현장에 남아 비상 전력 재라우팅으로 복구
  • 배터리 백업(UPS) 이 발전기 교체 전까지 시간을 유지, 결과적으로 UTC와의 편차는 5μs 이하로 기록

NTP 서버 운영과 영향 범위

  • NIST는 6개의 주요 NTP 서버를 통해 인터넷 시간 서비스를 제공
  • sntp time-a-b.nist.gov 명령 결과, 일반 사용자의 네트워크 지연 오차는 약 35밀리초(35,000μs) 수준으로, 5μs 오차는 무시 가능한 수준
  • 따라서 서버를 중단하지 않고 유지했으며, 정확도는 평소보다 약 5,000배 낮았지만 대부분의 사용자에게 영향 없음
  • 대학, 항공우주, 과학 연구기관 등은 미세한 오차에도 민감해, NIST가 이들과 직접 협력해 보정 작업 진행
  • 미국 GPS 시스템이 WWV-Ft. Collins 캠퍼스로 자동 전환, 전체 서비스 중단 없이 유지

시간 인프라의 취약성과 대체 기술

  • 저자는 Raspberry Pi 기반 GPS 시계 2대를 사용해 자체 NTP 서버를 운영하며, GPS 의존의 위험성을 지적
  • CISA는 미국의 GPS 과의존 위험을 이미 경고했으며, 정부는 대체 PNT(Position, Navigation, Timing) 기술 개발을 추진 중
  • Broadcast Positioning System(BPS) 이 GPS 대체 후보로 논의되고 있음
  • 저자는 루비듐 원자시계와 GPSDO를 사용해 수 나노초 단위의 정확도를 유지, GPS 신호 장애 시에도 수개월간 시간 유지 가능
  • 그러나 과학, RF, 미디어, 금융 분야 등은 나노초 단위 정밀도를 요구하며, 대부분 NIST 기준시를 참조

교훈과 시스템 신뢰성

  • 이번 사건은 NIST의 재난 대응 체계가 실제로 작동했음을 입증, “미세한 오차 속에서도 정상 운영”을 보여줌
  • 중복 전력, 다중 시계, GPS 백업 체계가 결합되어 전국 시간 인프라의 안정성을 유지
  • 저자는 “타이밍 인프라는 매우 취약하며, 다중 백업이 필수”라는 점을 강조
  • 마이크로초 단위 위기 상황에서도 NIST 팀이 문제를 해결, 대부분의 사용자가 이를 인지하지 못할 정도로 복구 완료
▲
GN⁺ 17일전  [-]
Hacker News 의견들

  • NIST의 Time Over Fiber(TOF) 프로그램이 가장 흥미로웠음
    이 서비스는 광섬유를 통해 고정밀 시간 전송을 제공하며, 일부 직접 연결된 링크가 영향을 받았다고 함
    이런 서비스를 처음 들어봤는데, 아마 금융권(HFT, FINRA 규정 4590 관련) 이나 5G 동기화, 혹은 Google Spanner 같은 글로벌 DB용으로 쓰일 수도 있을 것 같음
    관련 링크: NIST 공지, TOF 프로그램 설명, FINRA Rule 4590, 5G 동기화 관련 글

    • HFT에서는 이런 정밀도가 필요하지 않았음
      실시간 거래 시스템에서는 GPS로 충분했고, 미세초 단위의 정확도보다는 지연(latency) 이 더 중요했음
      규제 요건도 1초 오차 허용이라 TOF 수준의 정밀도는 요구되지 않음
    • 아마도 과학 실험용일 것 같음
      예를 들어 중력파와 감마선 폭발을 동시에 관측할 때처럼, 넓은 지역의 데이터를 정밀하게 동기화해야 하는 경우에 필요함
    • 상업용 소비자라고 단정할 수 없음
      예를 들어 Schriever Space Force Base 같은 곳이 GPS의 메인 제어 지점임
    • 아마도 White Rabbit Project 같은 과학 연구용이 우선일 것임
      또한 GNSS 신호가 끊길 때를 대비한 지상 기반 시간망으로도 중요함
      관련 기사: 중국의 고정밀 지상 타이밍 시스템
    • SIGINT 네트워크에서 매우 정밀한 TDOA(Time Difference of Arrival) 계산을 위해 기준 시계로 쓸 수도 있음

  • 실제로는 Boulder 서버만 동기화 문제가 있었음
    “NIST 전체가 오프라인”이라는 표현은 과장임
    서버 상태 페이지에 따르면 16개 IPv4 NTP 서버 중 5개만 영향을 받았고, 나머지는 정상 작동했음
    대부분의 사용자는 어차피 상위 서버를 직접 쓰지 않아야 하므로 문제는 거의 없었음
    개인적으로는 pool.ntp.org 사용을 권장함

    • 상위 서버를 실제로 누가 쓰는지 궁금함
      오류가 전파될 가능성은 없을까? pool.ntp.org는 장애나 오차 상관성을 피하도록 분산되어 있는지 궁금함
    • time.nist.gov는 DNS 라운드로빈 방식이라, 일부 사용자는 Boulder 서버에 연결되어 5μs 오차를 경험했을 수도 있음

  • 작은 지적이지만, UTC는 “Coordinated Universal Time”의 약자임
    영어와 프랑스어 중 어느 쪽에도 치우치지 않게 글자 순서를 조정한 것임

    • “Universal Time, Coordinated”라고도 표현함
    • Wikipedia에 따르면, 국제기구들이 모든 언어에서 동일한 약어를 쓰기로 합의한 결과임
      UT0, UT1, UT2 등 기존 약어 체계와의 일관성도 고려했음
    • 참고로 아이슬란드 표준시도 UTC와 동일함
    • 이런 명명 배경이 꽤 흥미로움
    • 프랑스어로는 “Universel Temps Coordonné”라고 함

  • 주제에서 약간 벗어나지만, chrony를 칭찬하고 싶음
    여러 하드웨어 환경에서 기존 OS 기본 NTP 클라이언트보다 훨씬 안정적이었음

    • 실제로 RHEL과 SLES 같은 배포판에서는 이미 chrony가 기본임
      그만큼 성능과 안정성이 입증된 셈임

  • 이 스레드가 너무 흥미로워서 계속 읽게 됨
    오늘 Adderall을 너무 많이 먹은 탓일지도 모름

  • 아는 HFT 트레이더 중 몇 명은 이번 사건으로 수십만 달러를 벌었다고 함

    • 어떻게 그런 일이 가능했는지 궁금함
      의도적으로 시스템을 이용한 건지, 단순히 운이 좋은 글리치였는지 알고 싶음

  • 예전에는 “잘못된 시간 전송이 아예 전송하지 않는 것보다 나쁘다”고 했는데, 이번엔 왜 오차 있는 시간을 보냈는지 잘 모르겠음

    • 5μs 오차는 NTP 사용자에게 사실상 무의미함
      NIST 메일링 리스트에 따르면, 인터넷 전송에서는 보통 1ms 수준의 불확실성이 발생하므로 과학적 정밀도와는 차원이 다름
    • 좋은 질문임
      당시에는 전원과 관리 접근이 모두 끊겨, 시계가 얼마나 틀어졌는지 알 수 없는 상태였음
      만약 전원이 복구되자마자 잘못된 시간이 전파되면 전 세계 시스템이 동기화 오류를 일으킬 수 있었음
      그래서 안전하게 차단(scram) 하는 편이 나았음
      관련 단편소설: The Time Rift of 2100
    • 때로는 잘못된 답을 받는 것보다 아무 답도 없는 게 낫다는 원칙임
      예를 들어 화재경보기가 “문제없음”이라고 잘못 알리는 것보다, 아예 응답이 없는 편이 더 안전함

  • “NIST의 시계가 재앙 직전이었다”는 영상 제목이 이해되지 않음
    단순히 다른 캠퍼스에서 시간 보정하면 되는 거 아닌가?

    • “그 이유는 당신을 놀라게 할 것임”이라며 농담조로 답함
    • 실제로는 클릭베이트 제목 같음
      정말 그런 정밀도가 필요한 사례가 있다면 전문가의 설명이 필요함

  • 사람들이 정확한 시간을 필요로 했던 가장 중요한 사례가 궁금함

    • 나는 입자 가속기에서 일함
      White Rabbit을 이용해 RF 전력 시스템과 데이터 수집 장치를 나노초 단위로 동기화함
    • Google Spanner가 대표적임
      TrueTime으로 전 세계 트랜잭션 일관성을 보장함
    • 우주선의 상태 벡터 계산에도 필수적임
    • 합성 개구 라디오망원경 같은 시스템도 지역별 시계를 정밀하게 맞춰야 함
    • 참고로 5μs 오차는 전파 이동 거리로 약 1500m에 해당함
      만약 GPS 위성이 그 정도 틀어진다면, 위치 정확도는 Loran-C 수준으로 떨어질 것임

  • NPR 기사에서 시작된 이야기임
    원문 링크

답변달기