FSE가 FBI를 만남

• FSE(Freespeech Extremist) 서버가 미 연방수사국(** FBI**)의 데이터 수집 대상이 된 경험을 공유함
• FBI는 사설 업체(SocialGist 등) 에 비용을 지불해 각종 포럼, 페디버스 데이터를 대규모로 스크랩하여, 내용 분석과 키워드 기반 분류, 감성분석에 활용함
• 서버 운영 과정에서 악의적 유저 탐지, 트래픽 분석·추적 노하우, 그리고 데이터 포이즈닝이나 우회적 크롤링 대응 경험을 기술함
• BoardReader와 같은 자료 수집 기업들이 공격적 크롤링·프록시 우회로 서버를 계속 스캔하였고, FBI 데이터 연관성도 드러남
• 이러한 사례를 통해 페디버스 서버 운영자 및 IT업계에게 데이터 보안, 관찰 및 대응력을 높일 필요성을 강조함

---

FSE가 FBI를 만남

Pete, 2025년 4월 6일

개요 및 사건의 전개

• FSE(Freespeech Extremist) 관리자는 서버의 UGC, 크롤러, 연방 수사기관 데이터 수집 전반에 대한 이상 경험을 공유함
• FBI와의 실제 접점 및, 데이터가 어떻게 스크랩되어 실제로 수사기관 내부 시스템 및 Facebook 기반 조직화 인터페이스로 유입되는지 분석함
• 본문의 주요 내용은 서버 로그 분석, 악성 이용자 대처, 트래픽 이상 탐지 방법론과, 데이터 스크래핑 업체의 우회 접근, 이들과 법집행기관의 연결 고리임

사건의 뿌리 – 불법 콘텐츠의 위협

• 페디버스 내 아동 성범죄자 유입이 서버 존재 자체를 위협하는 가장 심각한 리스크임
• FSE는 표현의 자유를 중시해 관리하였으나, 불법적 행위 발생 시 철저히 기록을 남기고 적극적으로 차단·공개함
• 타 인스턴스의 허위 블록 및 오해로 인한 정보 왜곡, 외부 정보기관(예: FBI)으로 데이터가 넘어가는 구조에도 유의함

기술적 대응 및 로그 분석 크래시코스

서버 운영에서의 이상 징후 진단

• 서버 소프트웨어의 한계, 비정상 트래픽, 크롤러/봇/스캐너로 인해 공개 서버는 항상 ‘Weird’에 노출됨
• 효과적으로 대응하려면 awk, tail -f, whois, tcpdump, traceroute, Shodan 등 텍스트 및 네트워크 분석 도구 습득 필요
• 웹서버 로그 포맷 커스터마이징(TSV 등), 리소스별 응답 시간 기록, 이상값 탐지 등 실시간 데이터 흐름 파악법 소개
• 간단한 통계 분석(평균, 표준편차, 이상치 알림) 을 활용하여 DDoS, 크롤링 등 비정상 상황 식별 가능

경험에서 쌓인 ‘흉터 조직’과 대응 방안

• 초기에는 일반적 스패머 및 자동화된 가입 이슈를 맞닥뜨림
• 대량 등록 방지 목적으로 로그와 연동된 이메일, 음성 알림, nginx 레이트리밋 등 자체적 경량화 도구 제작·운용
• CAPTCHA, 이메일 인증 도입 대신 개인정보 최소화 정책과 수작업 패스워드 리셋 도입
• 대부분의 솔루션을 직접 구현해 유연성, 속도, 신속한 대응력 확보

BoardReader와 FSE, 그리고 크롤러 탐지

BoardReader 크롤링 경위와 분석

• 기존에 알지 못했던 BoardReader라는 업체가 FSE 데이터를 포럼 게시글로 인식, 대량 크롤링함
• 크롤러는 여러 IP, 레지던셜 프록시, Tor, 다양한 UA, 심지어 크롬 세션 재생 등 우회를 시도함
• 429(스로틀링), 401/403(권한/금지) 오류를 보내면 오히려 더 많은 요청 반복 시도
• 결국 402(Payment Required) 등 다양한 응답으로 차단을 지속했고, 대화도 시도하였으나, 계속해서 우회로 데이터를 수집함
• 크롤러 우회 패턴을 식별하고, 추적 중 SocialGist와 연결 관계 및 FBI 연루 정황 파악

BoardReader·SocialGist와의 실제 교신

• 반복된 크롤링에 대해 BoardReader와 SocialGist에 공식 문의, ‘크롤링 중지 및 [e-mail] 응답 요청’ 시도
• SocialGist 측에서는 형식적인 답만 제공하고 실제로는 계속 우회를 지속, 약속 불이행이 확인됨
• 서비와 추가적으로 개발자 IP 추적(세르비아 ISP, devtools.boardreader.com) , 내부적으로 페디버스 아키텍처 안내 진행

FBI의 직접적 개입

FBI 문의 경위 및 파악

• Dave(SocialGist)와의 교신 도중, fbi.gov 주소로부터 ‘긴급 공개 요청(Emergency Disclosure Request)’ 제목의 공식 메일 수신
• FBI 요원은 ‘WitchKingOfAngmar’라는 이용자의 신상정보 요청 및 게시글 스크린샷을 첨부하여 문의함
• 해당 게시물은 FSE가 아니라 sneed.social 산하의 게시글임에도, 크롤러가 FSE에 귀속시켜 DB에 등록하여 오인 유발
• FBI의 스크린샷에는 포럼형 목록, 감성분석, 관련 키워드(‘kill blackrock’, ‘larry fink’ 등) 하이라이트가 포함됨
• SocialGist의 Relay, BoardReader의 데이터 아키텍처 결함, FBI의 구조적 오해, 실제로는 페디버스 분산 특성과 시스템적 혼동이 드러남

FBI와의 후속 대처

• FSE 관리자는 FBI에 원 게시글이 FSE 산하가 아님을 설명, 원 게시자의 인스턴스를 확인 요청함
• FBI 요원의 문의가 중지되고, 직접적 대응 종료, 게시글 비공개화 및 긴급 대응 후 서버 서비스 접근을 일시 제한
• 동 시점 BoardReader는 지속적으로 우회 크롤링을 시도하지만 차단 지속, FBI는 추가 응답 없이 종료됨

결론 및 시사점

• 이 케이스는 스크래핑 업체와 데이터 브로커, 그리고 국가기관 간 데이터 연계 실제 현황을 구체적으로 보여줌
• 분산 SNS(페디버스) 서버 운영자가 로그분석, 이상패턴 탐지, 법적 대응, 자동화 차단 도구 구축에 능해야 함을 강조
• 사회 전체적으로는, 민주적 오픈 웹 시스템이 사적/국가기관 감시 체계에 쉽게 흡수·왜곡될 위험성이 있음을 시사함
• 최종적으로, 개방형 네트워크 설계 및 운영자 커뮤니티의 정보공유가 효과적인 데이터 보안 방어의 핵심임을 강조함

[GN⁺]

Hacker News 의견

• Fediblock가 사실관계를 체크하지 않아 오해를 일으킨다는 비판이 있었지만, 블로그 글에서 링크된 곳은 단순히 탈페더링(서로 연결을 끊는 것)한 인스턴스 목록에 불과하다는 의견 제시, Fediblock은 이미 몇 년 전에 종료된 서비스고, 공식적인 기준이 아니라 참고용 정보였다고 강조, 블로그 글 저자가 원래 Fediblock 내용을 찾으려다 그 대체 링크를 무심코 쓴 것 같다는 직감 공유

  • 나는 중간 규모의 Mastodon 서버 운영자로, 어떤 사용자가 내게 인종차별적 욕설을 하고 관리자를 신고했지만 아무런 조치가 없었던 경험 후 해당 인스턴스를 차단했던 경험 공유, fediblock이나 커뮤니티 메커니즘은 전혀 관련 없는 결정이고, 자신의 서버 이용자를 괴롭히는 트롤 행위를 한 상대 인스턴스와 굳이 소통할 이유가 없었음 강조, FSE가 누군가 자신들을 음모론적으로 차단한 것처럼 이야기하는 게 오히려 우습다고 생각
  • Fediblock 서비스가 실제로 2023년 9월에 종료됐으며, 기사에서 언급한 대부분의 사건이 이 종료 시점 이전에 일어난 것이라는 사실 지적

• 이 글이 재밌었던 이유를 분석하며, 먼저 캡차 도입이 실제 이용자에게 피해를 줄 수 있다는 고민에서 시작해 결국 회원가입과 타임라인을 공개로 돌린 뒤에 수많은 문제로 사용자 환경이 오히려 악화됐던 장황한 과정을 적나라하게 보여준 부분에 주목, 커뮤니티 공간을 직접 운영하는 일에는 자신이 절대 도전하고 싶지 않다는 결론을 얻게 됐다는 내적 체험 공유

• 이 게시글의 매력을 다섯 가지로 요약, 1) 시민 과학 방식으로 FBI 정보수집/감시 메커니즘을 파헤치는 내용, 2) Fediverse 내부의 자잘한 사건, 3) 소규모 서버 운영자 관점의 실용적 시스템 운영팁, 4) 여러 사건의 중심에 있는 torswats 라는 인물과 그 체포까지의 흥미로운 서브 플롯, 5) 지적이고 매끄러운 글쓰기 스타일로 별 5개 만점 평가, 필독 추천

  • 나 역시 이 글이 기술적 디테일이 적절히 가미된 멋진 글이라 생각, Chaos Communication Congress 같은 해커 컨퍼런스에서 발표해도 손색없을 수준 평가
  • 글에서 글쓴이가 잘못된 결론을 내렸다고 지적, FBI가 폭력 위협을 담은 사용자의 스크린샷을 보내면서 정보를 요구했는데도 글쓴이가 단순 허세라고 치부했고 실제로 최근 CEO 살인사건 등 폭력이 일어난 사례를 볼 때 위험성을 과소평가한 부분 지적, FSE 운영자가 연방수사관과 적극 대화한 점은 다행이지만, 위협 캡처를 보고 무조건 무해하다고 결론 내리는 건 위험한 편향이라는 의견 강조

• 글 내용에 진심으로 감명받았고, 내 세부적인 지적은 검색엔진의 'Negative' 버튼이 감정분석 결과가 아니라 검색결과 부적합(음성적 탐색 실패)로 표시한 것 같다는 해석, 감정분석이 이 시나리오에서 크게 활용될 이유가 없다는 관점 공유

  • 이에 동의하지 않는 의견도 있었고, 'Negative' 아이콘 디자인이 붉은 머리 형태라 부적합 표시라기엔 언어적으로 이상하다는 분석과 감정분석 의미에 더 가깝다는 해석 제시

• fediblock 덕분에 FSE에 허위 허용 규정이 있다고 오해가 생겼다며, kiwifarms에 소스코드가 있는 사이트를 인용하는 것에 대한 불만 표출, FSE가 차단된 이유는 대부분의 이용자가 'free speech' 집단과 소통하고 싶지 않기 때문이라는 설명 추가

  • 차단 여부와 팩트체크의 상관관계가 없는 것 같다는 피드백, 반감이나 차단은 꼭 팩트체크와 연관된 논점이 아니라는 반박

• 스크래핑 방어 방식에 대해 더 효율적 기술 방안이 없었는지 제안, 예를 들어 IP나 도메인 레벨에서 유입 차단하는 방법, 혹은 Cloudflare 같은 API 엔드포인트 보호용 외부 서비스 제안, 다만 이런 서비스도 비용 문제가 있고, Free Speech Extremist와 같은 성격의 사이트에는 적합하지 않을 수 있음 언급, 비용적 측면에서도 악성 트래픽 차단이 오히려 절약일 수 있다는 의견 제시

  • 실제로 나 역시도 스크래핑 IP 차단 명령을 서버에 내렸지만, 금세 미국 내 주거용 신규 IP(프록시)로 시도하는 패턴을 보았다는 실전 경험 공유

• FSE에서 소아성애자 문제가 드러났다고 지적, 이것이 Fediverse 전반의 문제이고, Discord 같은 곳도 해당된다고 부연

  • 실명 사용이 없어 사진 업로드가 가능한 아무 온라인 공간에서나 비슷한 문제가 벌어진다는 공감
  • Signal이나 Telegram 같은 익명 메신저 플랫폼도 동일 문제 위험성 지적

• FSE(Free Speech Extremist)이 왜 '극단주의자(extremist)'라는 꼬리표를 받아야 하는지 질문, 미국 헌법에 보장된 표현의 자유를 중시하는 나라에서 굳이 극단주의자여야 하냐는 의문 제기

  • 저자 특유의 유머감각으로 볼 때 이 표현 자체가 일종의 농담에 가까움을 지적, 실제로 표현의 자유의 범위와 한계를 두고 미국 법체계 내부에서도 계속 논쟁이 이어지고 있고, FSE 인스턴스 정책이 '법적으로 허용된 말은 역겹거나 불쾌해도 원칙적으로 허용' 취지에서 운영된다는 분석, 자신도 원칙에 공감하지만 현실에서 다 따를 용기는 없다는 솔직한 의견, 반대로 연합 내 다른 대부분 인스턴스들은 엄격 규정과 차단 리스트를 운용한다는 배경 설명, 관련 링크도 제공
  • 이런 화두를 던지는 자체가 FBI가 헌법상 의무를 회피하거나 직접 위반하고 있음을 보여주는 에피소드에서 더욱 중요해진다는 지적
  • 'Extremist'는 'radical'의 비하적 표현이고, 역사적으로나 문화적으로 논쟁꺼리였던 포지션을 누가 갖든 라벨은 붙게 되는 것이 현실이라는 점 언급
  • 미국 헌법의 권리가 절대적이지 않고 법원에서도 명확한 한계를 언급했기 때문에, 현실에서 제한 밖을 주장할 경우 반대하는 사람들은 쉽게 '극단주의'라고 낙인찍게 됨 설명
  • 극단주의자는 언제나 한 가지 가치를 다른 모든 가치보다 우선시하는 특징이 있는데, 예를 들어 숨쉬기를 밥 먹기, 물 마시기보다 절대적으로 중시한다면 단기적으로는 맞아도 중장기적으로는 문제가 생길 수 있다는 교훈적 비유로 다양한 균형 필요성을 전달

• 온라인 공간 운영이 현실적으로 굉장히 고된 일임을 한 문장으로 요약