인터넷 아카이브, DDoS 공격 피해

 (mastodon.archive.org)
1P by GN⁺ | ★ favorite | 댓글 1개
  • archive.org가 DDoS 공격으로 대부분의 서비스를 사용할 수 없는 상태가 되며, 이용자에게 직접적인 접속 장애가 발생함
  • Internet Archive는 데이터는 영향받지 않았다고 밝혀, 이번 문제의 핵심은 데이터 손상보다 서비스 가용성에 있음
  • 운영 측은 문제를 처리 중이며, 이후 상황은 댓글 업데이트로 알리겠다고 안내함
  • Brewster Kahle는 archive.org가 다시 올라왔지만 공격자와의 공방이 이어지는 상황이라고 남김
  • 이용자는 접속 불가나 간헐적 복구를 겪을 수 있으며, 운영 측은 일부 조정 뒤 상태를 지켜보는 단계임

archive.org 서비스 장애

  • Internet Archive 계정은 archive.org가 DDoS 공격을 받고 있다고 공지함
  • 이 영향으로 대부분의 서비스가 unavailable 상태가 됨
  • 데이터는 영향을 받지 않았다고 명시함

대응과 공지 방식

  • Internet Archive는 문제를 처리 중임
  • 추가 상황은 댓글에 게시하겠다고 안내함

댓글에 나온 이후 상태

  • Brewster Kahle는 archive.org가 다시 올라왔다고 남김
  • 다만 공격자와의 공방은 계속되고 있음
  • 주말과 휴일이 공격에 자주 쓰이는 시점으로 보인다고 봄
  • 일부 조정을 했지만, 이후 상태를 더 지켜봐야 하는 상황임

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 흥미로운 사이트는 직접 WWW 아카이브를 유지하는 습관이 생겼고, 지금은 1TiB 정도 모아둔 듯함
    언젠가는 네트워크를 설정해서 임의의 사이트를 로컬 아카이브에서 바로 제공하게 만들고, 원하는 사이트를 되살릴 수 있게 하고 싶음
    wget-mirror 셸 함수를 만들어 wget에 필요한 옵션을 붙여 쓰고 있는데, 사이트의 99%는 이걸로 처리됨

    • 1996년부터 있던 WWWOFFLE 프로젝트도 있음: https://en.wikipedia.org/wiki/WWWOFFLE
      https://ftp.netbsd.org/pub/pkgsrc/distfiles/wwwoffle-2.9j.tg...
      지금 웹의 흐름을 보면 일반적인 웹사이트를 보존하기보다 libgen의 논픽션 책이나 scimag의 학술지를 토렌트로 받아두는 편이 더 가치 있을 수 있음
      이런 1차 자료도 이른바 “AI” 학습 재료의 일부인데, 문제는 그 “AI”에 웹의 쓰레기까지 함께 들어간다는 점임
      최악의 경우 책과 학술지는 다시 대중이 접근하기 어려워지고, 엉터리 대체재로 “AI”만 제공되는 미래가 올 수 있음. 사람들이 더는 1차 자료로 연구하지 않고 원격 “AI” 서버에 질문만 던지게 되면 진실은 크게 훼손됨
    • 나도 비슷하게 PDF화된 잡지 등을 긁어 로컬에 보관하고 있음
      바이트를 쌓아두는 성향을 만족시키는 것도 있지만, 언젠가 밴이나 RV로 오프그리드에 있을 때 노트북으로 1972년 “Popular Electronics” 잡지를 읽을 수 있다는 생각이 좋음
      예전에 재생목록에 넣어둔 YouTube 영상들이 나중에 사라져 구멍만 남는 경우도 신경 쓰임
    • 이게 어떻게 해결책인지 모르겠음. The Archive는 가치 있는 서비스를 제공하고 있고, 개인이 백업하는 것보다 훨씬 많은 인터넷을 수집하고 있을 가능성이 큼
      오늘 백업하지 않은 무언가가 10년 뒤 사라졌을 때, archive.org에 남아 있을 가능성이 더 높음
      그래서 The Archive에 기부하고 있고, 더 많은 사람이 그래야 한다고 봄
    • 내가 쓰는 명령은 이렇고, 다른 명령도 보고 싶음:
      wget \
      --recursive \
      --mirror \
      --timestamping \
      --page-requisites \
      --html-extension \
      --convert-links \
      --restrict-file-names=windows \
      --no-parent \
      $url
    • archivebox도 쓸 수 있고, 꽤 사용자 친화적임

  • 이런 짓을 왜 하는지 모르겠음. 돈이 많거나, 다크웹 인맥이 있거나, 역사적인 Barbara Streisand식 원한이라도 있는 사람이 아니라면 무슨 의미인지 의문임

    • DDoS 공격은 매우 싸고, 고객지원까지 갖춘 대형 전문 사이트에서 의뢰할 수 있음
      폐쇄된 가장 큰 서비스는 수십만 명의 사용자를 보유했고, 월 $14.99부터 시작하는 가격으로 약 400만 건의 공격을 수행했음 [1]
      즉 사실상 누구나 거의 비용 없이 DDoS를 할 수 있어서, 목적이나 용의자를 분석해도 별 성과가 없을 가능성이 큼
      [1] - https://wccftech.com/865619-2/
    • 특정 공격 역량과 서비스를 광고하는 방식일 수도 있음
    • 누군가 잠시라도 조용히 묻어두고 싶은 치명적인 자료가 거기에 있을 수도 있음
    • 세상을 더 나쁘게 만들려는 아주 형편없는 사람들이 있음
      Npm도 최근 약 6주 동안 꽤 심한 공격을 받고 있었고, 다른 곳도 있었던 것 같음
      더 무서운 건 이런 지속적인 온라인 공격 앞에서 우리가 어떤 대응을 하느냐임
      이 일이 서방 국가들의 사생활과 자유 축소로 이어진다면, theonion.com의 “bin Laden이 붕괴를 즐기며 앉아 있는 계획” 같은 상황이 됨. 겁에 질려 사이버보안 편집증이 지배하게 하고 자유로운 소통과 연결을 파괴하면 안 됨
    • 내 거친 추측으로는 상당수가 DDoS 완화 서비스를 파는 회사들이 운영하는 공격일 듯함

  • archive.org는 인프라 등에 돈을 얼마나 쓸까? 가장 피해가 큰 DDoS를 버티려면 얼마나 필요할까?
    Google은 큰 DDoS 공격을 받고도 다운되지 않았다는 걸 어디선가 본 기억이 있음
    일반 이용자에게 주는 이익을 생각하면, 서비스를 쓰는 사람들은 가끔 소액이라도 기부하는 게 좋다고 봄. 이미 기부했지만 가족 문제만 아니었다면 훨씬 더 많이 냈을 것임

    • DDoS 공격은 보통 대역폭 소모형 공격임. 웹사이트가 인터넷에 연결된 회선보다 더 많은 비트를 보내는 방식임
      막으려면 정상 트래픽을 위한 회선에 더해 500Gbps 정도의 여분 회선을 사야 하는데, 매달 거의 쓰지 않는 대역폭 비용을 내는 셈이라 부담이 큼
      패킷이 데이터센터에 도착한 뒤에도 악성 트래픽을 걸러내고 정상 트래픽만 흘려보내는 전용 장비가 필요함
      Google은 항상 공격받지만, 평소 일일 트래픽이 여러 Tbps라서 월드컵이나 인기 YouTube 영상 같은 트래픽 급증에 대비해 남겨두는 여유 용량만으로도 대부분 공격자가 동원할 수 있는 규모보다 큼

  • DDoS 공격을 관리하는 방법, 가능하면 오픈소스로 할 수 있는 방법은 뭐가 있을까? Cloudflare는 갈취 기업이니 말하지 말았으면 함

    • Cloudflare는 “갈취 기업”이 아님. 큰 기술 회사이고, 가끔 팀들이 실적을 맞추려고 형편없는 영업 전술을 쓰긴 하지만 대체로 가치 있는 서비스를 제공하며 비교적 윤리적으로 행동함
      DDoS를 완화하는 오픈소스 도구는 있지만 모두 운영 비용이 들고, Cloudflare의 데이터 해자나 규모를 누리지 못하기 때문에 Cloudflare보다 훨씬 못할 수밖에 없음
    • 많은 DDoS 완화 업체가 오픈소스 기술을 쓰지만, 그건 완화의 첫 단계일 뿐임. 대부분의 일반 기업은 막대한 자원을 가진 누군가가 대신 공격을 받아주지 않으면 DDoS를 막기 어려움
      거대한 IP 전송 회선을 잔뜩 사더라도, 800마일 떨어진 인터넷 교환 지점이 혼잡해져 고객이 사이트에 접근하지 못하는 상황까지 막을 수는 없음
      그런 문제를 피하려면 트래픽을 다르게 라우팅할 수 있는 백본 접근권이 필요하고, 그래서 DDoS 스크러빙 서비스가 T1 ISP와 협력해 대부분의 일을 처리함
    • HAProxy와 DDoS 보호 조합도 가능함: https://www.haproxy.com/blog/application-layer-ddos-attack-p...
      또는 들어오는 트래픽을 지연시키는 작업증명 프록시를 쓸 수 있음
      서버가 하나뿐이라면 할 수 있는 일은 매우 적고, 정적 페이지로 리다이렉트하거나 DNS 항목을 죽이는 정도일 수 있음
    • 소프트웨어만의 문제가 아니라 하드웨어와 네트워크상 위치의 문제이기도 함
      이런 DDoS는 주로 인터넷 회선을 포화시키므로, 트래픽이 너무 집중되기 전에 핵심 ISP들과 조율해 DDoS 트래픽을 차단할 수 있어야 함
    • Cloudflare가 왜 갈취 기업인지 물어봐도 “언젠가 악해질 수 있다”는 답 말고는 못 들었음
      개인적으로는 Cloudflare보다 Amazon이 훨씬 더 걱정됨

  • 이건 방화범이 고아원이나 도서관에 불을 지르는 것과 같음. 왜 그런 짓을 하는지 이해가 안 됨

    • 방화범으로서 자기 서비스를 팔기 위해서일 수 있음. 성공적인 대형 공격을 보여줄 수 있으면 전문 DDoS 업자가 서비스를 판매하는 데 도움이 됨
    • 기술적으로 말하면 그냥 어떤 쓰레기가 장난질하는 것에 가까움

  • 데이터의 역사를 없애려는 사람들은 인류의 적으로 봐야 함. 이번 일이 지나가도 아카이브가 무사하길 바람

  • archive.org가 DDoS 공격을 받고 있음. 데이터는 영향을 받지 않았지만 대부분의 서비스는 사용할 수 없고, 대응 중이며 댓글로 업데이트하겠다고 함

  • 일단 다시 온라인으로 돌아온 듯함: https://mastodon.archive.org/@brewsterkahle/1125141764988452...
    @internetarchive가 복구됐고, 공격자와 밀고 당기는 중이라고 함. 주말과 휴일이 인기 있는 시점처럼 보이며 조정은 했지만 지켜봐야 한다는 내용임

  • archive.org 팀이 본다면, 웹사이트를 정말 좋아함. 정말 많은 희귀 콘텐츠를 살려줘서 대단함

    • 분산형 인터넷 아카이브라면 의미가 있을까? DDoS가 불가능할 것 같음
답변달기