CrowdStrike 장애가 항공 산업에 미친 영향

• 2024년 7월 19일 04:09 UTC 배포된 CrowdStrike의 Windows용 센서 구성 업데이트는 약 850만 대 컴퓨터의 블루스크린으로 이어졌고, 항공사 운영도 영향을 받음
• 미국 전체 항공 교통은 소방·경찰·군·일반항공까지 포함하면 7월 19일 04:00 이후 누적 이륙 수가 전주 금요일보다 2.6% 많았지만, 08:00~09:00에는 378편에서 261편으로 31% 감소함
• 상위 4개 미국 항공사의 충격은 크게 갈렸고, Delta는 -1,087편(-46%), United는 -596편(-36%), American은 -376편(-16%), Southwest는 +101편(+3%)으로 집계됨
• Delta는 며칠 동안 수천 편을 취소하며 회복이 길어졌고, Southwest는 CrowdStrike를 사용하지 않아 영향을 받지 않았다는 ABC News 설명이 있음
• 분석은 ADS-B Exchange의 원시 ADS-B 데이터에서 이륙을 감지해 비행편에 가깝게 간주했으며, 절대 편수는 낮게 잡힐 수 있어도 기간별 비율 비교에는 유효하다는 전제를 둠

---

2024년 7월 19일 CrowdStrike 장애의 출발점

• 2024년 7월 19일 04:09 UTC, CrowdStrike는 Windows 시스템에 센서 구성 업데이트를 배포함
• 이후 약 850만 대 컴퓨터가 블루스크린을 겪었고, 병원·은행·911 시스템 등 여러 영역이 영향을 받음
• Linux, Mac, 휴대폰은 이 장애의 직접 영향 대상으로 언급되지 않음
• Gmail, Facebook, Twitter 같은 서비스는 계속 동작했지만, 예약·계좌 개설·경찰 출동 같은 실제 업무를 처리하는 Windows 기계들이 장애를 겪는 대비가 나타남
• 항공사 시스템도 이 Windows 기반 운영 영역에 포함됨

취소 건수보다 실제 항공 교통 비교에 초점

• 항공사 취소 건수만 보는 대신, 실제로 하늘에 떠 있던 항공기 수와 원래 떠 있어야 했던 항공기 수를 비교하는 방식이 선택됨
• FlightRadar24 기반으로 American Airlines, Delta, United의 12시간 타임랩스 영상이 공유됐지만, 비교 기준이 없어 영향 규모를 판단하기 어려움
• 밤 시간대 항공기가 줄어드는 현상은 매일 발생하므로, 같은 요일의 정상 패턴과 비교해야 함
• Bellingcat의 “OSHIT: Seven Deadly Sins of Bad Open Source Research”에서 말하는 “발생 현상에 대한 맥락 부족” 문제가 이 사례에 해당함

미국 전체 이륙 수의 시간대별 변화

• CrowdStrike 장애가 발생한 7월 19일과 전주 금요일인 7월 12일의 미국 내 시간대별 이륙 수가 비교됨
• 비교 대상에는 상업 항공뿐 아니라 소방 항공기, 경찰, 군, 일반항공도 포함됨
• 7월 18일도 함께 확인됐지만 전주 금요일과 매우 비슷해, 주요 비교 기준은 7월 12일로 유지됨
• 06:00~13:00 무렵에는 비행 수가 소폭 감소했고, 이후에는 소폭 증가함
• 04:00 이후 누적 기준으로는 7월 19일 비행 수가 전주 금요일 같은 기간보다 2.6% 증가함
• 가장 큰 감소는 08:00~09:00 구간에서 나타났고, 전주 금요일 378편 대비 261편으로 31% 줄어듦

항공사별로 크게 갈린 영향

• 상위 4개 미국 항공사의 변화는 서로 크게 달랐음
  • Delta Air Lines: -1,087편, -46%
  • United Airlines: -596편, -36%
  • American Airlines: -376편, -16%
  • Southwest Airlines: +101편, +3%
• Delta가 가장 큰 영향을 받았고, United가 그다음이며, American의 감소폭은 더 작았음
• Southwest는 집계상 영향을 받지 않은 것으로 나타남
• Southwest가 Windows 3.1을 계속 써서 영향을 피했다는 설명은 TechRadar 기사에 나왔지만, OSNews는 이를 false로 다룸
• ABC News 기사는 Southwest가 CrowdStrike를 사용하지 않아 영향을 받지 않았다고 전함

Delta 회복 지연을 둘러싼 설명과 한계

• Delta Air Lines는 CrowdStrike 업데이트 이후 며칠 동안 수천 편을 취소하며 회복에 오랜 시간이 걸림
• ABC News 기사는 장애 대응에 각 컴퓨터 시스템의 수동 수정이 필요했고, 수정 자체는 10분 이내에 가능하지만 Delta의 디지털 터미널 수가 많아 인력이 많이 필요했다고 전함
• 이 설명만으로는 다른 항공사와 Delta의 차이를 충분히 설명하기 어려움
• 한 Reddit 댓글은 Delta가 적절한 재해 복구 계획과 IT 비즈니스 연속성 계획을 갖추지 못했고, United·American·Frontier는 계획을 즉시 실행해 빠르게 회복했다는 미확인 설명을 내놓음
  • 이 댓글은 United와 American도 Delta만큼 Windows 의존도가 있다고 주장함
  • American은 금요일 종료 시점까지 회복해 토요일 정상 운영을 재개했고, United는 토요일 오전 해결 후 토요일 오후 정상 일정을 재개했다는 내용도 포함함
  • 해당 설명은 출처가 없는 Reddit 댓글이며, 틀릴 수 있다는 단서가 붙어 있음

ADS-B 데이터 기반 분석 방식

• 분석에는 ADS-B Exchange의 원시 ADS-B 데이터가 사용됨
• 사용자 정의 코드로 항공기 이륙을 감지했고, 이륙을 대략 비행편 하나에 해당한다고 간주함
• 이륙 수와 비행편 수가 완전히 같지는 않지만, 이 목적에는 충분히 가깝다는 전제를 둠
• ADS-B Exchange 커버리지 밖의 비행장에서 이륙한 항공기처럼 일부 사례는 과소 집계될 수 있음
• 과소 집계는 체계적으로 발생하므로 기간 간 비교에는 사용할 수 있고, 절대 비행 수는 낮게 잡힐 수 있지만 퍼센트 변화는 정확하다는 판단을 둠
• 이미 이륙 감지 코드가 있었기 때문에 비행 중 항공기 수를 새로 세지 않고 이륙 수를 사용함

[GN⁺]

Hacker News 의견들

• Delta는 승무원 추적 소프트웨어가 크게 영향을 받아 복구에 시간이 걸렸다고 읽었음
  출처: https://news.delta.com/update-delta-customers-ceo-ed-bastian
  “특히 승무원 추적 관련 도구 하나가 영향을 받아, 시스템 중단으로 촉발된 전례 없는 변경 건수를 효과적으로 처리하지 못했다”는 내용이 있음

  • 또 다른 악화 요인은 Delta의 본사와 주요 운항 패턴이 동부 해안에 있다는 점임. CrowdStrike는 항공사들을 거의 같은 시각에 타격했기 때문에, Delta는 아침 피크 항공편에 들어가기 전 대응 시간이 대략 1~2시간 더 적었음
    아침 러시에 시스템이 필요해지는 시점까지 준비가 안 됐고, 그래서 업무 연속성 전략인 수동 처리로 넘어갔을 가능성이 큼. 이 방식은 처리량과 복구 시간에 불이익이 있고, 그 상태가 길어질수록 당연히 더 악화됨
    Southwest 사태와 이번 Delta 사태에서 드러나는 건, 대형 항공사들이 업무 연속성 모드로 전환했을 때 버틸 인력이나 일정 여유를 충분히 갖고 있지 않다는 점 같음. 조사할 필요가 있고, 금전적 제재가 행동을 유도하길 바라지만 시간이 지나봐야 알 수 있음
  • Delta는 단순히 “심하게” 맞았다기보다, Delta가 쓰는 허브 앤드 스포크 모델에서 금요일에 일정 관리가 조금이라도 내려가고 여기에 FAA 근무시간 제한이 겹치면 항공편 재배정 난도가 기하급수적으로 올라감
    더 쉽게 말하면 금요일 아침 일정 소프트웨어가 4시간 죽어 있어서, 늦거나 아픈 직원을 대신할 인력을 여기저기서 “빌려” 쓰게 됨. 그러면 다음 항공편의 가용 인력이 망가지고, 그때쯤 시스템이 돌아오길 바라지만 안 돌아오면 저녁 항공편에서 또 빌려야 함
    그 와중에 지연·취소된 항공편은 원래 투입 가능했던 직원들의 남은 근무시간에도 영향을 줌. 이렇게 연쇄가 이어진 뒤 주말에 들어서면, 각 승무원이 실제로 몇 시간을 기록했는지부터 정리해야 하고, 그들을 제시간에 원위치로 돌릴 방법도 불확실해짐
  • 라디오에서 들은 바로는, 컴퓨터 자체보다 Delta의 대응 방식이 더 컸다고 함
    다른 항공사들은 항공편을 지연시킨 반면 Delta는 바로 취소했고, 그 결과 사람과 비행기가 더 많이 엉뚱한 곳에 남아 복구가 어려워졌다는 내용이었음

• 탄탄하고 최신 상태이며 충분히 리허설된 재해 복구 계획이 실제로 누군가를 살렸는지 궁금함. 아니면 IT가 백업과 복구에 돈을 쓰든 말든 다들 그냥 맨몸으로 운영 중인 건지 알고 싶음

  • 우리 시스템은 괜찮았음. SentinelOne, CrowdStrike 같은 소프트웨어를 포함해 무언가 실패할 걸 전제로 하고, 절름거리며 계속 운영할 수 있는 재해 복구 시스템을 갖춰뒀기 때문임
    Thames Barrier가 실패해 Docklands가 사라지는 식의 다른 상황에도 동작할 복구 시스템이 있음. 안타깝게도 일부 외주 공급업체들은 그런 태도가 없었음
  • 확실히 도움이 됨. 한 지점에서 광케이블이 실수로 뽑혔을 때 HSRP와 VRRP, 그리고 다른 SD-WAN 기능들이 차이를 만들었음. 데이터센터 기술자가 크게 사고를 쳐서 우리와 적어도 다른 고객 하나를 같이 다운시킴
    분명히 순간적인 장애가 있었고 10분 정도 페이지 시간초과나 프로세스 재시작 같은 문제가 있었지만, 대체로 사이트들이 장애 조치돼서 원인 파악하는 동안 절름거리며 계속 버틸 수 있었음
    데이터센터에서는 19달러였나 21달러였나 하는 서비스 크레딧과 사과를 줬음. CEO는 소송하겠다고 크게 화냈지만 실제로 이어지진 않았고, IT 인프라 디렉터는 대부분 동작한 장애 조치를 준비해둔 우리에게 조용히 고마워했음
  • 물론 재해 복구 인프라는 준비돼 있었을 것임. 모든 재해 복구 서버에 CrowdStrike가 미리 설치된 채로
  • 직접 본 적은 없음. 물론 표본 편향이 있겠지만, 성공 사례를 들어보고 싶음
  • 내가 올린 직후 누군가 이걸 올렸음: https://news.ycombinator.com/item?id=41103486
    그래서 Delta가 그렇게 망가진 이유는 재해 복구 부족이 맞아 보임

• 이 그래프들에서 이해가 안 되는 점은, CrowdStrike 업데이트가 배포되기 조금 전부터 이륙 수가 상대적으로 증가한 이유임
  전체 그래프에도 있고 United, American, 특히 Delta 그래프에서도 보임. 이유가 떠오르지 않는데, 그냥 무작위 잡음일 수도 있고 전주 같은 시각에 뭔가 특이한 일이 있었을 수도 있음

  • 절대 항공편 수와 백분율 변화를 둘 다 차트로 넣은 이유 중 하나가 더 큰 맥락을 이해하기 위해서임. 그 상대적 증가들은 CrowdStrike가 터지기 직전, 즉 미국 동부 시간 자정 무렵에 있었고, 그때는 이미 운항량이 매우 낮았음
    그래서 25% 증가라고 해도 미국 전역에서 한 시간에 이륙한 항공편이 12편 더 늘어난 정도일 수 있음. 잡음은 분명히 많고, 절대값과 백분율 변화를 함께 보면 무슨 일이 있었는지 감을 잡는 데 도움이 됨
    이틀치 데이터면 CrowdStrike 영향의 주요 흐름을 보기에는 충분하겠지만, 모든 변동을 설명하기에는 부족함
  • 꽤 오랜만에 가장 바쁜 여행일이었다고 널리 보도됐고, 그게 문제를 더 키웠음
  • 변동 폭이라도 감을 잡으려면 몇 주치 데이터를 더 넣는 게 그렇게 어렵진 않았을 것 같음

• Delta가 Microsoft와 CrowdStrike를 상대로 제기하려는 소송이 어떻게 전개될지가 가장 흥미로울 듯함
  https://www.marketwatch.com/story/delta-hires-law-firm-seeking-damages-from-crowdstrike-microsoft-after-massive-tech-outage-report-a882328a

• 포함된 링크의 내용: https://www.techradar.com/pro/security/southwest-airlines-avoided-crowdstrike-microsoft-outage-because-its-still-running-windows-31-fourth-largest-us-airline-remained-free-of-bsod-errors-because-its-os-hasnt-been-updated-in-decades
  “이 운영체제가 얼마나 오래됐는지 감을 주자면, Windows 3.1은 원래 1992년에 출시됐고 Microsoft는 임베디드 버전을 제외하고 2001년 12월 31일 지원을 종료했으며, 임베디드 버전도 2008년에 공식 종료됐다”는 내용임
  Windows 3.1 이야기가 계속 반복되는 걸 듣고 있음. TechRadar에서 나온 데다 이름에 “Pro”까지 붙어 있으니 지어냈을 리는 없겠지? 그래도 완전히 믿기진 않음. Southwest에서 일하는 사람이 주 일정 관리 시스템이 Windows 3.1에서 돌아가는지 확인해줄 수 있나?

  • 그건 틀렸고 [1], 매체가 주장을 독립적으로 검증하는지 가르는 리트머스 시험지처럼 됨
    “Southwest가 내부 개발한 SkySolver와 Crew Web Access는 ‘Windows 95에서 설계된 것처럼 역사적으로 보인다’”는 말이 “Windows 3.1에서 실행된다”로 왜곡된 것임
    [1] https://www.osnews.com/story/140301/no-southwest-airlines-is-not-still-using-windows-3-1/
  • TechRadar는 Tom's Hardware를 인용했고, Tom's Hardware는 트윗 하나를 인용했음
    Southwest의 트윗도 아니고, Southwest에서 일한 적 있다고 말한 사람의 트윗도 아님. 그냥 트윗임
  • 그걸 처음 시작한 사람이 그냥 “트롤 트윗”이었다고 말했음
    https://x.com/ArtemR/status/1815408553131426179
  • “Southwest가 Windows 3.1을 쓴다”는 주장은 거짓이고, 어느 정도 “신뢰할 만한” 조직들이 거짓 소문을 반복하면 인터넷에서 헛소리가 퍼지는 방식을 잘 보여주는 예임
    https://kotaku.com/southwest-airlines-windows-3-1-blue-screen-crowdstrike-1851603013
  • 2000년대 후반에 SITA(https://en.wikipedia.org/wiki/SITA_(business_services_company))에서 일했음. 전 세계 항공사를 연결하는 거대한 X.25 직렬 네트워크가 있었음
    일부 고객은 데이터센터의 낡은 AT 시스템에서 아직 Windows 3.11을 돌리고 있었고, 고장 났을 때 쓸 하드웨어를 확보하려고 craigslist와 eBay에서 오래된 컴퓨터를 사곤 했음. 그런 시스템들이 지금도 쓰이고 있어도 놀라지 않을 듯함

• Berlin Brandenburg는 크게 맞았음. BER에 불만 많은 이용자로서, 거기가 가장 나쁜 여파를 겪은 쪽 중 하나였다는 게 전혀 놀랍지 않음

  • 독일 IT는 이런 일에 자주 크게 맞음. 물론 아직 종이로 운영 중인 경우는 예외임
    그래도 웹사이트 최상단 배너로 즉시 알린 건 나았음. 이민청 예약 시스템은 한 달 넘게 다운돼 있었고, 그 사실을 인정하는 데만 3주가 걸렸음
  • Brandenburg가 실제로 문을 열었다는 사실이 아직도 놀라움

• 소송이 들어올 것 같음. Delta는 이미 준비 중으로 보임
  https://finance.yahoo.com/news/delta-air-lines-seek-compensation-211908080.html

  • “Microsoft와 CrowdStrike로부터 보상을 청구하기 위해 로펌을 고용했다”는 대목이 있는데, 여기서 Microsoft를 겨냥하는 건 방향이 잘못된 것 같음
    자체 IT 부서가 설치한 제3자 드라이버와 Microsoft가 무슨 관련이 있나?

• 왜 Minneapolis-St Paul이 다른 미국 공항들보다 훨씬 일찍 취소 사태를 겪기 시작했는지 아는 사람 있나?

• 망하지 않는 법: Southwest는 CrowdStrike를 쓰지 않아서 영향을 받지 않았음

• 내 소셜미디어는 더 나은 백업과 인프라를 갖고 있는데, 전 세계에서 쓰이는 운영체제 쪽은 왜 그렇지 못한지 정말 이해가 안 됨

  • IT는 소셜미디어 회사의 본업이기 때문임. 그들은 IT를 속속들이 알고, 무엇이 잘못될 수 있는지와 완화 방법을 이해함
    반면 항공사의 본업은 비행기를 띄우는 것이고, 그건 매우 잘함. 하지만 IT는 외부에서 사오는 도구에 가깝고, 소셜미디어 회사만큼 같은 방식으로 이해하지 못함
    그래서 제대로 해줄 외부 계약자에게 의존하는데, 그 계약자들은 가장 싸거나 구매자에게 자기 서비스가 “업계 모범 사례”라고 설득해서 일을 따내는 경우가 많음
  • FAANG이 세상을 멈출 수 있는 설정 업데이트에 면역이라고 과대평가하진 않겠음. Facebook도 2021년에 엔지니어의 데이터센터 접근까지 포함해 모든 것이 몇 시간 동안 내려간 적이 있음
    https://news.ycombinator.com/item?id=28750894
    그리고 “운영체제와 비교한 인프라”라는 표현에 대해서는, Microsoft 인프라의 품질은 여기서 관련이 없다고 봄
  • 소셜미디어 회사의 기술직과 은행·항공사 같은 대형 전통 기업의 기술직이 제공하는 연봉, 근무 조건, 위상을 비교해보면 됨
    전자에서는 보수가 좋고 어느 정도 위상과 정치적 자본이 있음. 후자에서는 저임금이고, 위상이나 정치적 자본이 종종 청소 직원과 비슷한 수준임
  • Meta는 세계에서 가장 가치 있는 회사 중 하나이고, 최고 수준의 모든 것을 살 자원이 있음. 시가총액 1조 2,800억 달러로 American, Delta, United를 합친 것보다 30배 큼
    작년 이익도 390억 달러였고, 미국 항공사 전체의 78억 달러와 비교됨. 당연히 더 나은 시스템을 갖고 있음
  • 하나는 통제 가능한 데이터센터 안에 있고, 다른 하나는 통제할 수 없는 사용자 소유 하드웨어에 배포되기 때문임