진행 중인 Sourcehut 장애에 대한 성명

 (outage.sr.ht)
1P by GN⁺ | ★ favorite | 댓글 1개

현재 서비스 가용성

  • sr.ht: 오프라인
  • meta.sr.ht: 오프라인
  • git.sr.ht: 오프라인
  • hg.sr.ht: 오프라인
  • todo.sr.ht: 오프라인
  • lists.sr.ht: 오프라인
  • paste.sr.ht: 오프라인
  • man.sr.ht: 오프라인
  • pages.sr.ht: 오프라인
  • builds.sr.ht: 오프라인
  • chat.sr.ht: 오프라인
  • 객체 저장소는 현재 사용 불가능하며, 이로 인해 git과 hg 태그에 첨부된 릴리스도 현재 사용할 수 없음.
  • hg.sr.ht는 알려진 성능 문제와 hg clone과 관련된 문제가 있으며, 커뮤니티에서 유지 관리되기 때문에 커뮤니티 유지 관리자가 참여할 때까지 복구 작업이 보류 중임.

업데이트 2024-01-13 14:17 UTC

  • 새로운 트랜짓 제공업체를 찾아야 하며, 문제를 완화하기 위해 제공업체와 협상 중임.
  • 공학 작업을 곧 시작할 예정이며, 추가 업데이트가 있으면 알림.

업데이트 2024-01-13 13:00 UTC

  • 새로운 트랜짓 제공업체가 DDoS 공격이 새로운 네트워크로 따라왔다고 통보함.
  • 제공업체가 완화 조치를 배치했으며, 서비스 중단은 예상하지 않음.

업데이트 2024-01-13 12:40 UTC

  • lists와 todo에 대한 메일 서비스가 복구됨.
  • 중단 기간 동안 대기 중이던 이메일은 이제 처리를 재개할 것이며, 이메일이 손실된 것으로는 믿지 않음.

업데이트 2024-01-13 11:42 UTC

  • pages.sr.ht를 읽기 전용으로 서비스에 투입함.
  • 모든 사용자 정의 도메인이 곧 작동해야 하며, apex 레코드를 사용하는 사용자 정의 도메인은 제외됨.
  • 영향을 받는 사용자는 수동 개입이 필요함.

업데이트 2024-01-13 11:00 UTC

  • 대부분의 서비스에 대해 읽기/쓰기 접근을 활성화함.
  • hg는 여전히 읽기 전용이며, todo와 lists는 웹에서 요청을 처리하지만 메일 시스템은 아직 진행 중임.

업데이트 2024-01-13 09:26 UTC

  • hg.sr.ht를 읽기 전용 모드로 올림.
  • 오늘 사용 가능한 서비스에 대해 읽기/쓰기를 활성화하기 위해 작업 중임.
  • git.sr.hg의 백업에서 차이를 가져오는 작업을 마쳤으며, hg의 차이도 곧 마무리될 예정임.

업데이트 2024-01-12 20:49 UTC

  • 오늘의 목표에 대한 마무리 작업을 진행 중임.
  • 7개 주요 서비스를 읽기 전용 모드로 운영 중임.
  • git clone/fetch와 관련된 이전 문제도 해결됨.

업데이트 2024-01-12 16:38 UTC

  • todo와 lists를 읽기 전용 모드로 온라인에 올림.

업데이트 2024-01-12 16:13 UTC

  • 일부 서비스를 온라인으로 가져오기 시작함.
  • meta와 git이 DNS 전파에 따라 사용 가능해질 예정임.

SourceHut이란 무엇인가?

  • SourceHut은 Drew가 창립한 회사로, 현재 중단된 상태임.
  • 신뢰성을 자랑하는 SourceHut은 이번에 가장 심각하고 장기적인 중단을 겪고 있음.
  • SourceHut 팀은 문제를 해결하고 서비스를 가능한 빨리 복구하기 위해 모든 노력을 기울이고 있음.

무슨 일이 일어나고 있는가?

  • 1월 10일 06:30 UTC에 SourceHut을 대상으로 한 분산 서비스 거부(DDoS) 공격이 시작됨.
  • SourceHut은 일반적인 DDoS 공격을 처리할 수 있지만, 이번 공격은 그 규모가 커서 스스로 완화할 수 있는 범위를 넘어섬.
  • 상위 네트워크 제공업체는 SourceHut을 완전히 차단하여 인터넷과 SourceHut 스태프 모두 서버에 접근할 수 없게 함.
  • PHL 데이터센터가 영향을 받았으며, SourceHut은 PHL 공급업체로부터 콜로케이션 공간을 임대하고 있음.
  • PHL 공급업체가 두 번의 인수를 겪으면서 SourceHut의 계정이 티켓 시스템 이전 중에 누락되었고, 이로 인해 초기에는 공급업체와의 연락이 지연됨.
  • SourceHut의 가용성은 1월 10일 저녁에 부분적으로 복구되었지만, 1월 11일 초기에 DDoS가 확대되면서 공급업체는 다시 차단을 강제함.

우리가 취하고 있는 조치는?

  • SourceHut은 세 개의 사이트(PHL, FRE, AMS)를 유지하고 있으며, PHL은 주요 사이트로 현재 오프라인 상태임.
  • PHL에 전혀 접근할 수 없게 되자, AMS에서 SourceHut의 병렬 설치를 위해 백업에서 복구를 시작함.
  • 사용자 데이터 손실에 대한 전망은 좋으며, 백업은 정기적으로 작동하고 테스트되고 있음.
  • AMS에서 SourceHut 서비스를 복구하고 있으며, 메타, todo, lists, paste, 프로젝트 허브가 운영 환경 데이터에 대해 완전히 작동하고 있음.
  • git.sr.ht, hg.sr.ht, pages.sr.ht, chat.sr.ht, man.sr.ht, builds.sr.ht 등의 서비스 복구에 우선순위를 두고 작업 중임.
  • 커뮤니티에 대한 읽기 전용 접근을 가능한 빨리 활성화한 다음, 전체 읽기/쓰기 접근을 복구하는 것이 목표임.

어떻게 도울 수 있나?

  • 가장 필요한 것은 인내와 이해임.
  • 이러한 공격을 완화하는 것은 마라톤과 같으며, 스태프를 과로시키지 않도록 주의해야 함.
  • Mastodon과 Libera Chat의 #sr.ht IRC 채널에서 업데이트와 지지의 말을 공유할 수 있음.

GN⁺의 의견:

  1. SourceHut의 현재 상황은 오픈 소스 커뮤니티와 개발자들에게 중요한 사건으로, 신뢰할 수 있는 서비스의 취약성과 긴급 상황에 대한 대응 계획의 중요성을 보여줌.
  2. 이 사건은 DDoS 공격의 심각성과 대규모 사이버 공격에 대비한 기업의 필요성을 강조함.
  3. SourceHut 팀의 투명한 커뮤니케이션과 문제 해결을 위한 노력은 사용자들에게 신뢰를 주며, 커뮤니티의 지지와 인내가 중요한 역할을 함을 보여줌.

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 최근 운영 중인 서비스가 DDoS 공격을 받았는데, 직전에 인도 경찰기관이 특정 사용자 데이터를 요구했음
    테러 관련이라고 주장했고, 우리 관할권에서는 긴 법적 절차가 필요하다는 정책을 설명했더니 몇 시간 안에 서비스가 내려갔고 약 12시간 지속됨
    몸값 요구는 없었고 가능한 원인은 인도 경찰/정부, 원래 사용자, 완전한 우연 세 가지뿐이었음
    이런 일을 겪으면 “이게 가능하면 안 된다”는 생각이 들고, 해결을 방치하든 직접 이용하든 강한 쪽에 지나치게 유리한 게임이라는 점이 드러남

    • 그 요청이 실제 인도 경찰에서 온 것이라고 얼마나 확신할 수 있는지 궁금함
      원하는 데이터를 못 받자 비이성적으로 화낼 수 있는 다른 누군가였을 가능성도 있지 않나 싶음
    • 우리도 최근 DDoS를 당했는데, 그때마다 누가 이득을 보는지, 혹은 누가 우리에게 관심이나 있는지 궁금해짐
      경쟁사인지, 그냥 심심한 사람인지, 불만 있는 고객인지 알 수 없고 아마 영원히 모를 가능성이 큼
    • 어느 경찰기관이었는지가 중요함
      CRPF나 ITBP처럼 이름에 “Police”가 들어가는 군사·내부 보안 조직도 있고, MHA 산하라면 “국가 안보” 범주라 놀랍지 않음
    • 놀라운 점은 그 서비스가 이미 어떤 형태로든 DDoS 방어를 갖추지 않았다는 것임
      공개 서비스에는 10~20년 전부터 거의 표준처럼 붙이는 것이고, 작은 서비스라면 Cloudflare도 무료거나 저렴하며 다른 선택지도 많음
      출시 직후 무작위 DDoS를 당할 수 있다고 가정하는 편이 맞고, 공격자를 알아내도 추적해 처벌할 가능성은 거의 없음
      여기서 얻을 결론은 “이게 가능하면 안 된다”가 아니라 “수십 년간 흔했던 일이고 계속 일어날 테니 다음을 준비해야 한다”에 가까움
      부패한 지역 기관이든 스크립트 키디든 상관없이, 세상의 절반이 형편없는 기기로 연결되어 있는 한 DDoS는 계속 발생함
    • 인도 경찰이 그 서비스를 DDoS할 만큼 유능할 가능성은 없다고 봄

  • [대형 공개 코드 호스팅]에 입사한 첫 주에 [국가급 행위자]에게 공격을 받았는데, 아마 [국가]가 싫어하는 무언가를 호스팅했기 때문이었을 것임
    SourceHut과 Codeberg가 이런 관심을 받는다는 건, 대안 코드 호스팅들이 실제 견인력을 얻기 시작했다는 고무적인 신호이기도 함

    • 그게 [국가]라는 걸 어떻게 알아냈는지 궁금함
      명확한 협박이나 “이걸 안 하면…” 같은 요구 메시지가 있었는지 모르겠음

  • HN이 왜 내려갔는지 알게 되어 흥미로움
    “1월 10일 Hacker News가 내려간 걸 봤을 텐데, SourceHut을 겨냥한 DDoS를 완화하는 과정에서 Cogent가 지나치게 거칠게 대응한 결과였다고 본다”는 내용임
    https://news.ycombinator.com/item?id=38939532에도 있었지만 전에 보지 못했음

    • Cogent가 SourceHut의 IP 주소를 블랙홀 처리했고, 그게 어떻게 HN의 IP 주소에 영향을 줬다는 뜻인지 헷갈림
      둘은 완전히 별도의 IP 할당과 ASN에 있음
    • 어느 지점에 이르면 DDoS 방어에서 남는 선택지가 경계 라우터의 원격 트리거 블랙홀링뿐일 때가 있음
      그 결과 전체 /24 네트워크가 자기 네트워크로 라우팅되지 않고 피어 쪽에서 버려짐
    • Drew가 Hacker News를 좋아하지 않는 걸 생각하면, 그래도 저런 언급을 넣은 게 의외임

  • 팀이 이런 일을 처리해야 하는 건 안타깝지만, 고객과 소통하는 방식으로는 훌륭한 사례라 박수를 보내고 싶음

  • sr.ht 직원들이 AMS 이전을 잘 마치길 바람
    다행히 git이 충분히 분산형이라 지난 며칠 동안 사실상 모든 일을 할 수 있었고, 못 한 건 공식 업스트림 저장소에 새 릴리스를 푸시하는 것뿐이었음

    • SourceHut이 사용자에게 git send-email을 과보호식으로 감추지 않는 덕분에, 그 플랫폼에서 이뤄지는 협업 개발은 유독 계속 이어지기 좋은 구조임
    • 혹시 AWS 이전을 말하는 건가?
      AWS에서 DDoS를 맞으면 Amazon이 트래픽을 흡수하더라도 Drew와 SourceHut은 파산할 가능성이 높음
      애초에 그들이 AWS에 대해 가진 원칙적 문제도 있음

  • “CloudFlare와 이야기했지만 재정적으로 감당하기 어려운 금액을 제시받았다”는 대목을 보면, Cloudflare 내부의 윗선 누군가가 이 건을 올려서 적절한 견적을 도와줄 수 있지 않을까 싶음

    • 많은 사람들이 Cloudflare의 무료/저가 서비스 상당수가 HTTP 중심이라는 걸 잘 모르는 듯함
      여러 프로토콜을 다루는 기능은 그들이 돈을 버는 기업용 요금제에 있음
    • 견적이 비싸다고 해서 적절한 견적이 아닌 건 아님
      CloudFlare가 홍보 차원에서 무료로 해주거나, 아니면 제대로 된 견적에 맞게 비용을 받아야 함
    • 왜 Cloudflare가 SourceHut 대신 비용을 부담해야 한다고 기대해야 하는지 모르겠음
    • SSH 같은 비 HTTP 서비스를 보호하는 Cloudflare Spectrum 가격이 터무니없이 비싸서 그럴 수 있음
    • 견적을 공개하지 않는 이유가 궁금함
      다른 회사들이 더 나은 조건을 제안할 수도 있음

  • Godot, Codeberg, SourceHut까지 당했다면 다른 사이트도 있나?
    누군가 오픈소스 관련 웹사이트를 겨냥하는 것처럼 보임

    • 누군가 악의적 구매자에게 용량을 팔기 위해 자기 DDoS 역량을 시연하는 중일 수 있음

  • DDoS 공격의 동기는 보통 무엇인지 궁금함
    형사처벌 위험이 어느 정도 있을 텐데 얻는 게 있어야 할 것 같고, 갈취나 경쟁사 방해라기엔 이 경우에는 둘 다 그다지 그럴듯해 보이지 않음

    • 피해자에게 부당한 일을 당했다고 느낀 불안정한 개인이 공격을 빌리는 정도로 단순한 경우가 많음
      Discord가 인기를 얻은 큰 이유도 Skype와 Teamspeak가 IP 주소를 노출했기 때문이고, 대다수 온라인 게임이 직접 P2P 네트워킹을 중단한 이유도 여기에 있음
    • 스크립트 키디, 국가 행위자, 잘못 설정된 봇넷 등 원인은 다양함
      동기는 많은 것이 다시 작성되는 이유와 비슷하게 “할 수 있으니까” 또는 “거기 있으니까”일 때가 많음
      관련 집단 안에 있는 건 아니지만 역사와 뉴스를 보면, 성인 기소 연령 미만이거나 단속 의지가 없는 국가에서 벌어지는 일이 많아 위험이 작고, 설령 위험이 있어도 붙잡힐 거라고 믿지 않는 사람들이 많음
    • 동기는 몸값, 경쟁사 제거, 검열 등이 있음
      예를 들어 도박 사이트를 공격하거나, 중국 정부가 VPN 소프트웨어를 호스팅한다는 이유로 GitHub를 정기적으로 겨냥하는 식임
    • DDoS로 실제 기소된 사례가 있었는지 궁금함
    • 가장 뻔한 이유는 누군가 웹사이트에 올라온 코드 일부를 싫어했고, 그 사이트를 내리기 쉬웠기 때문일 수 있음
      우리가 모르는 가벼운 경고가 먼저 있었을 가능성도 있음

  • Codeberg도 약 12시간 전에 DDoS로 내려갔음
    https://status.codeberg.eu/status/codeberg

    • 왜 EU로 이전을 고려하는지 궁금함
      같은 지역의 동료 서비스도 같은 문제를 겪는 것 같고, 유럽으로 옮긴다고 해결되지는 않을 텐데 공개 공지에 그런 내용이 있었음
답변달기