▲

GN⁺: 웹사이트에 Cloudflare를 사용한다면 RSS 사용자를 차단할 가능성이 있음

 (openrss.org)
3P by neo 1달전 | favorite | 댓글 1개
  • 많은 사용자가 웹사이트의 콘텐츠를 최신 상태로 유지하기 위해 RSS 피드 리더를 사용함
    • 그러나 Cloudflare를 웹사이트에 활성화하면 이러한 RSS 사용자가 콘텐츠에 접근하지 못하게 차단할 가능성이 있음.
  • Cloudflare 대시보드에는 봇 트래픽을 차단하기 위한 도구가 있음. 특히 Bot Fight Mode와 "AI scrapers and crawlers" 차단 옵션이 있음.
    • 이러한 기능을 활성화하면 RSS 리더를 통해 웹사이트에 접근하는 사용자가 차단될 수 있음.

Cloudflare가 RSS 리더를 차단하는 방법

  • Cloudflare는 웹사이트 방문을 AI 스크래퍼나 봇으로 판단하여 차단함.
  • RSS 리더가 웹사이트를 읽으려고 할 때, Cloudflare는 사람이 해결해야 하는 도전을 제시함. RSS 리더는 이를 해결할 수 없음.
  • 다른 경우에는 이유 없이 RSS 리더의 접근을 차단하기도 함.

Cloudflare를 사용하면서 RSS 리더 차단 해제

  • Cloudflare를 사용하면서도 RSS 리더를 화이트리스트에 추가하여 차단을 해제할 수 있음.
  • Cloudflare의 분석 대시보드에서 차단된 RSS 리더의 사용자 에이전트를 찾아야 함.
  • 사용자 에이전트 문자열이나 IP 주소를 기반으로 사용자 정의 규칙을 만들어 트래픽을 허용할 수 있음.

Cloudflare가 RSS 리더를 허용하는 더 나은 방법 필요

  • Cloudflare는 RSS 리더 소유자가 수동으로 신청할 수 있는 봇 인증 프로그램을 제공하지만, 이 프로그램은 보장되지 않으며 여러 문제가 있음.
    • 인증 과정이 불안정함.
    • 인증된 RSS 리더가 여전히 차단됨.
    • 여러 웹사이트에서 RSS 리더 차단 해제가 번거로움.

GN⁺의 정리

  • Cloudflare의 보안 도구는 악성 봇과 공격을 방지하는 데 유용하지만, RSS 도구 사용자가 웹사이트 콘텐츠에 접근할 수 있도록 해야 함.
  • Cloudflare는 RSS 리더 차단 문제를 쉽게 해결할 수 있는 방법을 제공해야 함.
  • Cloudflare의 보안 설정을 사용하는 웹사이트 소유자에게는 중요한 정보임
▲
neo 1달전  [-]
Hacker News 의견

  • NewsBlur 운영자는 Cloudflare의 차단으로 인해 RSS 피드 수집에 어려움을 겪고 있으며, 사용자들이 환불을 요구하고 있음. Cloudflare에 IP 주소 목록을 공유했지만 효과가 없었음. Cloudflare가 이 목록을 허용 목록에 추가해 주기를 바라고 있음

  • Listen Notes는 Cloudflare를 사용하여 서비스 보안을 관리하고 있으며, 트래픽 유형에 따라 서브도메인을 분리하여 각각에 맞는 방화벽 및 페이지 규칙을 적용하고 있음. 이를 통해 최적의 서비스 제공을 보장하고 있음

  • Firefox를 OpenBSD에서 엄격한 개인정보 보호 설정으로 실행할 때 Cloudflare가 앞에 있는 웹사이트에서 403 Forbidden 오류가 발생함. 이는 Cloudflare의 문제로 보임

  • 특정 사용자 에이전트를 화이트리스트에 추가하는 것은 끝없는 수작업이며 악의적인 행위자가 이를 우회할 수 있음. 대신 봇 차단을 비활성화하는 페이지 규칙을 만들어 모든 RSS 리더의 문제를 해결할 것을 권장함. Cloudflare의 기본 설정 문제는 수년간 해결되지 않고 있음

  • Cloudflare의 jgc@cloudflare.com 이메일을 통해 RSS 리더 소유자들의 경험을 듣고 싶어하며, 팀에게 문제를 자세히 조사할 것을 요청할 계획임

  • RSS 리더 소유자는 많은 지원 요청이 "피드가 작동하지 않음"이라는 문제로 인해 발생하며, 이는 Cloudflare뿐만 아니라 다양한 방화벽 설정으로 인해 발생한다고 언급함

  • Cloudflare는 RSS 리더의 피드 수집을 방해하며, 웹사이트 소유자들이 개별적으로 예외를 추가하도록 요청하는 것 외에는 해결 방법이 없음

  • Cloudflare를 사용하는 웹사이트는 Safari, Chrome 사용자 또는 모든 사용자를 차단할 수 있으며, 이는 웹사이트 소유자에게 손실을 초래함. Cloudflare 자체에 접근할 때는 차단되지 않음

  • 정부 웹사이트가 Cloudflare로 인해 차단될 때 문제를 설명하고 해결을 요청하는 것이 거의 불가능함. 해결되더라도 몇 주 후에 다시 문제가 발생함

  • Cloudflare는 태국 IP와 Linux Firefox 지문에서 웹 접근을 방해하며, 웹 관리자는 이러한 문제를 인지하지 못함. Scrapfly 웹 스크래핑 API를 사용하여 RSS 브리지를 만들어 문제를 해결함. 현대 웹은 반사회적이며, API로 모든 것이 연결될 것이라는 웹 2.0의 이상과는 거리가 멀어짐

답변달기