미국 셀룰러 서비스 장애, AT&T·T-Mobile·Verizon 사용자에 영향

 (cnbc.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 목요일 미국에서 발생한 AT&T 무선 장애로 통화·문자와 일부 911 긴급 통화에 차질이 생겼고, AT&T는 동부시간 오후 3시 직후 모든 영향 고객의 서비스가 복구됐다고 전함
  • 초기 검토에서 원인은 사이버 공격이 아니라 네트워크 확장 과정의 잘못된 프로세스 적용·실행으로 파악됐으며, AT&T는 추가 평가를 이어갈 예정임
  • Downdetector 신고는 동부시간 오전 4시경 늘기 시작해 오전 8시 30분 약 74,000건으로 정점을 찍었고, 정오 무렵에도 약 58,000건이 보고됨
  • 장애 단말에는 신호 막대가 사라지거나 SOS 표시가 나타났으며, 고객은 Wi-Fi calling을 켜면 통화할 수 있었음
  • Verizon과 T-Mobile도 각각 수천 건의 신고가 있었지만, 두 회사는 다른 네트워크 사용자와 연결을 시도하는 과정의 문제가 반영됐을 가능성이 높다고 봄

AT&T 장애와 복구 상황

  • 목요일 미국 내 수천 명의 AT&T 사용자가 셀룰러 장애를 겪으며 통화와 문자 메시지 이용에 차질을 겪음
  • AT&T는 동부시간 오후 3시 직후 모든 영향 고객의 서비스가 복구됐다고 안내함
  • 회사는 고객 연결 유지가 최우선이며, 고객이 같은 일을 다시 겪지 않도록 조치를 취하고 있다고 전함
  • AT&T는 system updates 웹사이트를 마련했지만, 목요일 장애로 영향을 받은 고객 수는 공개하지 않음

장애 원인과 규제기관 대응

  • AT&T의 늦은 목요일 초기 검토에서 장애 원인은 네트워크 확장 과정에 사용된 잘못된 프로세스의 적용과 실행으로 파악됨
  • 같은 설명에서 이번 장애는 사이버 공격이 아니었다고 확인함
  • FCC는 X에서 해당 사건을 조사 중이며 AT&T 및 안전 당국과 연락하고 있다고 밝힘
  • AT&T는 장애 평가를 계속할 예정임

Downdetector 신고 추이와 주가

  • Downdetector.com 기준 장애 신고는 동부시간 오전 4시경 증가하기 시작함
  • 신고 건수는 오전 8시 30분경 약 74,000건으로 정점을 찍음
  • 정오 무렵에는 약 58,000건의 장애 신고가 보고됨
  • AT&T 주가는 목요일 2.41% 하락으로 마감함

단말 표시와 911 영향

  • 장애 영향을 받은 휴대폰은 화면 오른쪽 위에 신호 막대가 없거나 SOS 문자가 표시됨
  • 고객은 Wi-Fi calling을 활성화하면 통화를 할 수 있었음
  • San Francisco Fire Department는 X 게시물에서 AT&T 무선 고객이 전화를 걸거나 받을 수 없으며, 911 통화도 포함된다고 알림
  • Atlanta 시장 Andre Dickens는 도시가 911 전화를 받고 걸 수 있었지만, 지역 AT&T 고객들이 휴대폰이 SOS 모드라고 신고했다고 밝힘
  • Massachusetts State Police는 휴대폰 911 서비스가 작동하는지 확인하려는 전화가 911 센터에 몰리고 있다며 그러지 말라고 요청함
    • 일반 번호로 비긴급 통화를 성공적으로 걸 수 있으면 911 서비스도 작동한다고 안내함

Verizon과 T-Mobile 신고

  • Downdetector 기준 동부시간 오전 10시 현재 Verizon과 T-Mobile 사용자도 각각 수천 건의 장애를 신고함
  • 두 회사는 해당 신고가 다른 네트워크 사용자와 연결하려는 과정에서 발생한 어려움을 반영했을 가능성이 높다고 봄
  • T-Mobile은 이메일 성명에서 Downdetector가 고객들이 다른 네트워크 사용자에게 연결하려 할 때 겪은 문제를 반영했을 가능성이 높다고 설명함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 이건 심각한 아키텍처 결함임
    Bell System의 전자기식 교환 역사 전체를 봐도 자연재해나 NYC의 대형 화재 한 번을 제외하면 어떤 중앙국도 30분 넘게 서비스 중단된 적이 없었음
    1960~70년대 AT&T Long Lines 시스템은 10개의 지역 센터가 모두 독립적이고 촘촘히 상호 연결돼 있었고, Bedminster, NJ의 제어 센터는 감시와 15분 간격의 라우팅 업데이트만 담당했음
    필요하면 모든 교환기가 기본 라우팅으로 되돌아갈 수 있었고, 부하가 높으면 일부 통화는 실패해도 대부분은 계속 동작했음

    • 1990년 Mother's Day 장애가 있었음
      라우팅을 처리하던 C 코드에서 break 문을 continue 문으로 바꾼 것이 원인이었고, 연쇄 효과가 났음
      다만 장거리 전화 서비스에만 영향을 줬음
    • 요즘 미국 인프라는 거의 전부 20세기 후반보다 신뢰성이 떨어지는 것 같다는 생각을 해왔음
      그냥 상상인지 실제인지, 그렇다면 그 의미가 뭔지 궁금함
    • WiFi calling을 켜려고 할 때 502가 뜨는 걸 아무도 못 봤다는 게 놀라움
      502의 출처가 Azure였고, 클라우드 아키텍처 문제로 보임
    • 이게 원인이었을 수도 있음: https://www.webwire.com/ViewPressRel.asp?aId=318230
    • 이 맥락에서 말하는 central office의 물리적 규모가 지역 단위로 어느 정도인지 궁금함

  • 여기서 별로 논의되지 않는 게 있음: 이 장애의 연쇄 효과, 특히 운전자에게 미친 영향은 어땠을까?
    건물 안의 많은 사람은 Wi-Fi로 우회할 수 있었겠지만, 운전자에게는 꽤 넓은 영향이 있었을 것 같음
    예를 들어 휴대폰 지도 앱에 의존하던 UPS, FedEx, Amazon, 트럭 운전자의 배송 지연, Uber/Lyft/택시 기사들의 픽업·하차 경로 안내 불가, 경로 최적화나 목적지 안내를 못 받아 악화된 교통 등이 떠오름
    대기업은 자체 인프라나 전용 GPS 장치 같은 중복 구성을 갖췄을 수도 있지만, 실제로 이런 영향이 있었는지 혹은 우회 방법이 있는지 궁금함
    운전자와 별개로, 전화를 못 해서 응급 상황에서 치료를 못 받을 위험도 커졌을 것 같고, 긴급전화가 어떻게 영향을 받았는지도 확실치 않음

    • 2022년 캐나다 Rogers 장애 때도 교통에 의존성이 있었음
      토론토에서는 신호 타이밍 변경을 위해 전체 교통 신호의 4분의 1이 Rogers 셀룰러망에 의존했고, 시립 건물의 화재 경보기와 스프링클러 원격 감시에도 Rogers GSM망이 쓰였음
      공영 주차 결제와 공공 자전거 서비스도 사용할 수 없었음
      https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
      여름이라 아이들 대상 공원 프로그램 일부도 취소됐던 걸로 기억함. 직원이 9-1-1에 전화 가능한 휴대폰을 갖고 있어야 했기 때문인데, 적어도 그 통화 자체는 여기서는 동작했던 듯함
    • 오늘 아침 동네 한복판에서 갑자기 엄청난 정체를 만난 이유가 이거였을 수도 있음
      휴대폰 의존도를 의도적으로 줄여서 어떤 장애가 있는지도 몰랐음. 예전엔 아주 짧은 이동에도 Google Maps를 자동으로 켰지만, 회사가 내 위치를 추적하고 지시하는 데 완전히 의존하면 스스로 길 찾는 능력을 잃는다는 걸 깨달았고, 탈Google 과정에서 Organic Maps로 바꿨음
      그래도 가능하면 GPS 도움 없이 직접 길을 찾으려 하는데, 길 찾기는 연습하지 않으면 실제로 잃을 수 있는 기술처럼 느껴짐
      오늘 아침 시내를 가로질러 볼일을 본 뒤, 내가 아는 가장 큰 간선도로로 돌아오려 했더니 서쪽 방향으로 최소 1마일은 늘어선 완전 정체에 바로 걸렸음. 사고라도 있나 봤지만 아무것도 안 보였고, 모두 그냥 멈춰 있었음
      곧바로 유턴해서 북쪽으로 0.75마일 떨어진 다른 서쪽 도로로 갔더니 차가 전혀 없었고 제한속도로 집까지 갈 수 있었음
      많이 쓰는 내비게이션 앱들은 정체가 있으면 대체 경로를 제안하는데, 왜 1마일도 안 떨어진 평행 도로가 비어 있는데도 모두 그 정체에 앉아 있었을까? 휴대폰이 다른 길로 가라고 말해주지 못하자, 휴대폰 지시에 길든 사람이 너무 많아 생긴 연쇄 효과였을지도 모름
    • Google Maps를 쓰면 통신 상태가 나쁜 것으로 알려진 지역에서는 해당 지역 지도를 다운로드하라고 자동으로 안내함
      자동 로컬 지도 기능도 있는 것 같음
    • GPS는 셀룰러 서비스에 의존하지 않는다는 점은 짚고 넘어갈 만함
    • 운전자들이 경로를 최적화하지 못해 교통이 악화됐다는 건 잘 모르겠음
      대부분의 운전자는 익숙한 경로를 다니고 전자적 수단으로 길 안내를 받는 게 아님
      더 나은 질문은 자율주행차들이 어떻게 됐느냐임. 셀룰러 커버리지 없이 길을 못 찾아 길가에 세워져 있었을까

  • 근본 원인을 추측하려는 사람들에게 말하자면, 지금까지 나온 댓글 정보만으로는 결론을 내리기엔 부족함
    통신사에서 일할 때 캐나다 전국 규모 셀룰러 이슈를 여러 번 다뤘는데, 전국 영향은 정말 다양한 원인에서 나왔음
    새 라우트가 네트워크에 주입되면서 특정 셀룰러 장비의 라우팅 엔진이 전국적으로 크래시한 적이 있었고, 그 결과 전국 셀룰러 기기의 인터넷 접속만 중단됐음. 다행히 새벽 2시 유지보수 시간대였고 업무 시간 전에 발견해 되돌려서 대부분은 몰랐음
    기술자가 새 라우터를 꽂자 기존 코어 라우터들이 크래시 후 재부팅된 일도 있었음. 뉴스가 될 만한 영향은 20분쯤의 지역 장애였지만, 이후 12시간 동안 태평양부터 대서양 연안까지 버그와 부작용을 발견했음
    그래서 “위치 x에서 영향받았다”는 데이터는 그 지역 모두가 다운인지, 많은 사람이 문제인지, 한두 명만 다른 지역으로 번진 문제인지 구분하기 어렵고, 특정 위치에서 된다/안 된다는 정보의 가치는 제한적임
    메시징 릴레이가 설정된 속도 제한에 걸렸고, 프로토콜 재시도로 메시지율이 더 올라가 특정 프로토콜에서 사실상 혼잡 붕괴가 난 적도 있었음. 상태 전달의 혼잡 문제였기 때문에 전국 영향이 있었지만, 그래도 x% 확률로 메시지 흐름이 완료돼 서비스가 되는 식이었음
    유명한 Rogers 장애도 전체 근본 원인을 인정했는지는 기억나지 않음. 라우팅망 변경 또는 업그레이드를 하다가 문제의 부작용으로 기술자들까지 네트워크에서 쫓겨났다는 추측이 있었음. 전국망이 죽고 직원들도 같은 망을 써서 조율이 어려워지니 복구가 힘들었음
    검토한 CRTC 제출 자료는 유용한 정보가 전부 가려져 있어서 배울 수 있는 게 거의 없었음. 추측은 재미있지만, 이번에는 AT&T가 캐나다 통신사들보다 더 투명해서 업계가 배울 수 있기를 바람

    • Rogers는 당연히 벤더 탓을 했고, 아마 Ericsson이었을 것임. Rogers는 절대 잘못할 리 없으니까
      또 다른 거대 조직이 기업을 망가뜨릴 수 있는 변경에 대해 되돌리기나 실패 계획을 갖추지 않은 걸 보는 건 흥미로웠음. 기본적인 IT 101도 없거나 제한적이었음
      긍정적으로 배운 건 대형 3사, 사실상 2개 통신사가 자기 망이 내려갔을 때 핵심 직원에게 다른 망용 긴급 백업 SIM을 서로 제공하는 게 좋겠다고 생각했다는 점임. 2015년에야 그렇게 했지만 늦어도 안 하는 것보단 나음
      Rogers가 무선과 유선 연결에 같은 코어를 써서, Rogers 위에서 동작하는 제3자 인터넷 제공자를 쓰던 사람들까지 완전 블랙아웃을 겪었음. 웹사이트, 기업 회선, 거의 모든 것이 내려갔고 Rogers의 소통도 사실상 없었음
      다행히 우리 조직은 다중 회선 구성이어서 오전 6시에 회선을 전환했고 현장은 대부분 문제없이 계속됐음
      또 흥미로웠던 건 기지국이 휴대폰이 붙을 정도로만 켜져 있고 아무것도 못 하는 상태여서, 9-1-1 통화가 다른 망으로 넘어가지 않고 그냥 실패했다는 점임. GSM 사양이나 Rogers SIM 프로그래밍의 결함처럼 보이는데, 조치됐는지는 모르겠음
      https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
    • 추측이 흥미로운 건 대부분 자기 자신을 반영하기 때문임. 이런 걸 부르는 용어가 있는지 궁금함
      아주 거칠게 일반화하면, 과학 쪽 사람은 태양 플레어를 추측하고, 내 우익 친구는 국제 해커를 추측했고, 나는 실패한 소프트웨어 배포를 추측했으며, 이 글의 누군가는 군인 친구가 기름을 넣어두라고 했다고 씀
      그런데 모두와 마찬가지로 나도 내 추측이 아마 맞을 거라고 진심으로 느낌
    • DownDetector 댓글을 보면 라우팅 문제는 아닌 것 같음
      같은 집에 있는 여섯 명이 모두 AT&T인데 그중 한 명만 문제를 겪는다는 보고가 많음
      절반만 적용된 업그레이드이거나, 발생 시간을 고려하면 절반만 적용된 롤백처럼 들림
    • CRTC 제출 자료에서 유용한 정보가 전부 가려져 있었다는 게 업계에서 흔한 일인지 궁금함
    • 일부 사람이 여전히 서비스를 쓰는 주요 이유 중 하나는 로밍일 거라고 봄

  • Verizon과 T-Mobile은 둘 다 자사 장애는 없고, 자사 고객이 AT&T 고객에게 전화를 걸 수 없는 문제라고 발표했음
    다만 미국 내 AT&T 망 대부분은 내려간 것으로 보임

    • 보고된 Verizon/T-Mobile 문제에 대한 한 가지 이론은, AT&T가 오프라인이 되자 모든 AT&T 휴대폰이 SOS 모드로 들어가 911 통화를 위해 남은 망인 Verizon과 T-Mobile에 등록하려 했다는 것임
      동시에 등록하려는 기기 폭증이 그 망 일부를 과부하시켰을 수 있음
    • 애틀랜타에서 MVNO를 통한 AT&T 데이터 포인트: 동부시간 약 11시까지 연결돼 있다가 끊겼고 이후 재연결되지 않음
    • 아내는 google-fi를 쓰고 동료는 verizon을 쓰는데, 둘 다 전화를 걸 수 없다고 함

  • 관련 없을 가능성이 높지만, AT&T가 캘리포니아 일부 지역에서 유선전화 서비스 종료를 신청한 시점이라 타이밍이 좋지 않음
    https://www.wired.com/story/att-landline-california-complain...

  • 장애 종료
    상태: 복구됨
    AT&T FINAL, Service Degradation, Global Smart Messaging Suite
    AT&T Global Smart Messaging Suite
    이벤트 설명: FINAL, Service Degradation
    영향 서비스: MMS MT
    시작: 2024-02-21 동부 22:00, 중부 21:00, 태평양 19:00
    종료: 2024-02-22 동부 11:00, 중부 10:00, 태평양 08:00
    중단 시간: 780분
    고객님께, Global Smart Messaging Suite가 현재 사용 가능해졌음을 알려드립니다. MMS MT 서비스는 복구되었고 저희 팀이 모니터링 중입니다
    AT&T Business Solutions
    Kind Regards,
    The AT&T SMS Service Administrator

    • 이런 공지에는 근본 원인 조사 중인지, 확실하지 않다면 조사 결과를 공유할지와 어디에 공유할지를 포함해야 한다고 봄
      내가 너무 과하게 읽는 걸 수도 있지만, 그 내용이 빠져 있는 게 신경 쓰임
    • 여기에 셀룰러 음성 통화도 포함되는지 궁금함

  • 최근 상태 페이지 논의가 떠오름: https://news.ycombinator.com/item?id=39099980
    상태 페이지는 정확해야 하는데, AT&T 상태는 모든 게 정상이라고 주장함
    내 무선 서비스는 내려갔고 DownDetector에는 수만 건의 보고가 있으니, 분명 모든 게 정상은 아님

    • 공개용 상태 페이지는 기본적으로 쓸모가 거의 없음
      자동 테스트로 갱신되거나, 수동으로 갱신되는 둘 중 하나임
      자동이라면 거의 항상 내부용이지 공개용이 아니고, 수동이라면 거의 항상 늦으며 어차피 장애가 HN에 올라온 뒤에야 갱신됨
    • 상태 페이지가 정확해야 한다는 건 FTC가 의무화해주면 좋겠음
      마케팅 부서가 상태 페이지를 장악해서 악명 높은 초록 체크와 작은 “i”가 뜨는 상황은 정말 지침
    • 현재 AT&T 장애 페이지에는 이런 배너가 있음:
      “Service Alert: Some of our customers are experiencing wireless service interruptions this morning. We are working urgently to restore service to them. We will provide updates as they are available.”
      https://www.att.com/outages/
    • 어떤 상태 페이지를 말하는 건지 궁금함

  • 아직 NANOG에는 정보가 없지만, 앞으로 몇 시간 안에 이 스레드에 뭔가 올라올 것 같음: https://mailman.nanog.org/pipermail/nanog/2024-February/2250...

  • myATT 앱을 써도 내 무선 계정이 아예 보이지 않음
    가족 계정 전체가 서비스로 표시되지도 않음. 해킹이거나 계정을 삭제한 내부 문제처럼 보임
    다른 사람들도 계정이 보이는지 확인해줄 수 있을까

    • 여러 API가 간헐적으로 502를 반환하는 것 같고, 그 때문에 웹/모바일 앱에서 이상한 동작이 생기는 듯함
    • 조금 전에 읽은 바로는 기본적으로 SIM 번호 데이터베이스에 문제가 있다고 함
      SIM들이 네트워크 인증을 잃어서 망에서 모두 떨어져 나간 상황이라는 것임. 그렇다면 실패한 소프트웨어 배포였을 가능성이 커 보임
      온라인 계정도 이 정보를 어떤 식으로든 가져올 테니 포털이 깨진 이유도 설명될 수 있음
      선불 핫스팟은 잘 동작하지만, “가족 요금제” 월별 계약 휴대폰들은 하나도 동작하지 않음
      물리 SIM과 eSIM 차이가 “신형” 모델이 동작하는 이유를 설명할 수 있는지도 궁금함
    • 장애 상태 페이지도 완전히 깨져 있음. 아무것도 보여주지 않음
    • 내 계정은 보임
      휴대폰이 안 되는 걸 보고 제일 먼저 한 일은 혹시 요금을 안 냈나 싶어서 로그인해 요금을 낸 것이었음
    • 계정 관리와 상태 도구는 평소에도 느리고 불안정했음
      약간의 추가 트래픽만으로도 쓰러졌을 가능성을 배제하지 않겠음. 상관관계가 곧 인과관계는 아님

  • 장애 지도라는 게 있음[1]. 하지만 쓸모없음
    그냥 미국에서 사람이 많이 사는 곳을 표시한 지도일 뿐임
    [1] https://www.cbsnews.com/news/outage-map-att-where-cell-phone...

답변달기