GN⁺: 진행 중인 Sourcehut 장애에 대한 성명

현재 서비스 가용성

• sr.ht: 오프라인
• meta.sr.ht: 오프라인
• git.sr.ht: 오프라인
• hg.sr.ht: 오프라인
• todo.sr.ht: 오프라인
• lists.sr.ht: 오프라인
• paste.sr.ht: 오프라인
• man.sr.ht: 오프라인
• pages.sr.ht: 오프라인
• builds.sr.ht: 오프라인
• chat.sr.ht: 오프라인
• 객체 저장소는 현재 사용 불가능하며, 이로 인해 git과 hg 태그에 첨부된 릴리스도 현재 사용할 수 없음.
• hg.sr.ht는 알려진 성능 문제와 hg clone과 관련된 문제가 있으며, 커뮤니티에서 유지 관리되기 때문에 커뮤니티 유지 관리자가 참여할 때까지 복구 작업이 보류 중임.

업데이트 2024-01-13 14:17 UTC

• 새로운 트랜짓 제공업체를 찾아야 하며, 문제를 완화하기 위해 제공업체와 협상 중임.
• 공학 작업을 곧 시작할 예정이며, 추가 업데이트가 있으면 알림.

업데이트 2024-01-13 13:00 UTC

• 새로운 트랜짓 제공업체가 DDoS 공격이 새로운 네트워크로 따라왔다고 통보함.
• 제공업체가 완화 조치를 배치했으며, 서비스 중단은 예상하지 않음.

업데이트 2024-01-13 12:40 UTC

• lists와 todo에 대한 메일 서비스가 복구됨.
• 중단 기간 동안 대기 중이던 이메일은 이제 처리를 재개할 것이며, 이메일이 손실된 것으로는 믿지 않음.

업데이트 2024-01-13 11:42 UTC

• pages.sr.ht를 읽기 전용으로 서비스에 투입함.
• 모든 사용자 정의 도메인이 곧 작동해야 하며, apex 레코드를 사용하는 사용자 정의 도메인은 제외됨.
• 영향을 받는 사용자는 수동 개입이 필요함.

업데이트 2024-01-13 11:00 UTC

• 대부분의 서비스에 대해 읽기/쓰기 접근을 활성화함.
• hg는 여전히 읽기 전용이며, todo와 lists는 웹에서 요청을 처리하지만 메일 시스템은 아직 진행 중임.

업데이트 2024-01-13 09:26 UTC

• hg.sr.ht를 읽기 전용 모드로 올림.
• 오늘 사용 가능한 서비스에 대해 읽기/쓰기를 활성화하기 위해 작업 중임.
• git.sr.hg의 백업에서 차이를 가져오는 작업을 마쳤으며, hg의 차이도 곧 마무리될 예정임.

업데이트 2024-01-12 20:49 UTC

• 오늘의 목표에 대한 마무리 작업을 진행 중임.
• 7개 주요 서비스를 읽기 전용 모드로 운영 중임.
• git clone/fetch와 관련된 이전 문제도 해결됨.

업데이트 2024-01-12 16:38 UTC

• todo와 lists를 읽기 전용 모드로 온라인에 올림.

업데이트 2024-01-12 16:13 UTC

• 일부 서비스를 온라인으로 가져오기 시작함.
• meta와 git이 DNS 전파에 따라 사용 가능해질 예정임.

SourceHut이란 무엇인가?

• SourceHut은 Drew가 창립한 회사로, 현재 중단된 상태임.
• 신뢰성을 자랑하는 SourceHut은 이번에 가장 심각하고 장기적인 중단을 겪고 있음.
• SourceHut 팀은 문제를 해결하고 서비스를 가능한 빨리 복구하기 위해 모든 노력을 기울이고 있음.

무슨 일이 일어나고 있는가?

• 1월 10일 06:30 UTC에 SourceHut을 대상으로 한 분산 서비스 거부(DDoS) 공격이 시작됨.
• SourceHut은 일반적인 DDoS 공격을 처리할 수 있지만, 이번 공격은 그 규모가 커서 스스로 완화할 수 있는 범위를 넘어섬.
• 상위 네트워크 제공업체는 SourceHut을 완전히 차단하여 인터넷과 SourceHut 스태프 모두 서버에 접근할 수 없게 함.
• PHL 데이터센터가 영향을 받았으며, SourceHut은 PHL 공급업체로부터 콜로케이션 공간을 임대하고 있음.
• PHL 공급업체가 두 번의 인수를 겪으면서 SourceHut의 계정이 티켓 시스템 이전 중에 누락되었고, 이로 인해 초기에는 공급업체와의 연락이 지연됨.
• SourceHut의 가용성은 1월 10일 저녁에 부분적으로 복구되었지만, 1월 11일 초기에 DDoS가 확대되면서 공급업체는 다시 차단을 강제함.

우리가 취하고 있는 조치는?

• SourceHut은 세 개의 사이트(PHL, FRE, AMS)를 유지하고 있으며, PHL은 주요 사이트로 현재 오프라인 상태임.
• PHL에 전혀 접근할 수 없게 되자, AMS에서 SourceHut의 병렬 설치를 위해 백업에서 복구를 시작함.
• 사용자 데이터 손실에 대한 전망은 좋으며, 백업은 정기적으로 작동하고 테스트되고 있음.
• AMS에서 SourceHut 서비스를 복구하고 있으며, 메타, todo, lists, paste, 프로젝트 허브가 운영 환경 데이터에 대해 완전히 작동하고 있음.
• git.sr.ht, hg.sr.ht, pages.sr.ht, chat.sr.ht, man.sr.ht, builds.sr.ht 등의 서비스 복구에 우선순위를 두고 작업 중임.
• 커뮤니티에 대한 읽기 전용 접근을 가능한 빨리 활성화한 다음, 전체 읽기/쓰기 접근을 복구하는 것이 목표임.

어떻게 도울 수 있나?

• 가장 필요한 것은 인내와 이해임.
• 이러한 공격을 완화하는 것은 마라톤과 같으며, 스태프를 과로시키지 않도록 주의해야 함.
• Mastodon과 Libera Chat의 #sr.ht IRC 채널에서 업데이트와 지지의 말을 공유할 수 있음.

GN⁺의 의견:

1. SourceHut의 현재 상황은 오픈 소스 커뮤니티와 개발자들에게 중요한 사건으로, 신뢰할 수 있는 서비스의 취약성과 긴급 상황에 대한 대응 계획의 중요성을 보여줌.
2. 이 사건은 DDoS 공격의 심각성과 대규모 사이버 공격에 대비한 기업의 필요성을 강조함.
3. SourceHut 팀의 투명한 커뮤니케이션과 문제 해결을 위한 노력은 사용자들에게 신뢰를 주며, 커뮤니티의 지지와 인내가 중요한 역할을 함을 보여줌.

[neo]

Hacker News 의견

• 서비스가 인도 경찰로부터 특정 사용자의 데이터를 요청받은 직후 DDoS 공격을 받았음. 인도 경찰은 테러와 관련이 있다고 주장했으나, 서비스 측은 법적 절차가 필요하다고 설명함. 몇 시간 후 서비스가 다운되었고, 약 12시간 지속됨. 몸값 요구는 없었으며, 가능한 세 가지 원인을 생각함: 인도 경찰/정부, 원래 사용자, 완전한 우연.
• [대규모 인기 있는 공개 코드 저장소]에서 첫 주에 근무할 때, [국가 차원의 행위자]에 의해 공격을 받았음. 이는 SourceHut과 Codeberg와 같은 대안적인 저장소가 주목을 받기 시작했다는 긍정적인 신호로 해석됨.
• Hacker News가 1월 10일에 다운된 이유를 알게 됨. 이는 SourceHut을 대상으로 한 DDoS 공격을 완화하기 위한 Cogent의 과도한 조치 때문이었음.
• 팀이 이러한 상황을 처리해야 하는 것에 대해 안타까움을 표현하면서도, 고객과의 소통 방식에 대해 칭찬함.
• sr.ht 직원들이 AMS 마이그레이션을 잘 처리하기를 바라며, git이 분산되어 있어서 지난 며칠간 새로운 소프트웨어 릴리스를 제외하고는 모든 작업을 할 수 있었음.
• CloudFlare에 문의했을 때, 재정적으로 감당할 수 없는 금액을 제시받았으나, 공격자에게 계획을 알릴 위험 없이 공개할 수 있는 다른 해결책을 모색 중임.
• Godot, codeberg, sourcehut 등 오픈 소스 관련 웹사이트들이 공격 대상이 되고 있는 것 같음.
• SourceHut의 창립자 Drew는 서비스 다운에 대해 사과하며, 신뢰성을 자랑하는 SourceHut로서는 가장 심각하고 긴 시간 동안의 중단임을 인정함. 문제 해결을 위해 모든 직원이 최선을 다하고 있음.
• DDoS 공격의 동기에 대한 궁금증 제기. 범죄 기소의 위험이 있는데도 불구하고 공격이 이루어지는 이유는 무엇인지, 이 경우에는 협박이나 경쟁사의 방해가 그리 설득력 있어 보이지 않음.
• "만약 주 데이터센터가 내일 사라진다면?"이라는 질문을 스스로에게 던지며, 이에 대한 심각한 계획을 세우고 있음. 예상치 못한 상황에 대비해 다른 데이터 센터에 복제본을 두고 동기화할 것을 제안함.