Hacker News 의견

• Meta의 AI 봇이 웹사이트를 과도하게 크롤링하여 서버가 다운된 경험을 공유함. Cloudflare를 사용하여 이를 차단하는 방법을 설명함

  • Cloudflare의 AI 봇 차단 기능이 유용하다고 언급함
  • AI 봇의 콘텐츠 접근이 가치가 없다고 주장함

• 다양한 플랫폼에서 발생한 봇 트래픽 데이터를 공유함

  • Claude, Amazon, Data For SEO, Chat GPT 등의 봇이 많은 트래픽을 발생시킴
  • 이러한 봇들이 robots.txt를 무시하거나 지연이 발생해도 백오프하지 않는다고 설명함

• 봇을 차단하는 방법에 대해 논의함

  • IP를 변경하거나 비봇 User Agent로 전환하는 봇의 행동을 설명함
  • OpenAI의 IP 범위를 공개하는 GitHub 링크를 공유함
  • WordPress 플러그인을 사용하여 AI 봇을 차단하는 방법을 제안함

• CGTalk 포럼이 자원 문제로 폐쇄된 사례를 언급함

  • 많은 포럼이 서버 운영 부담을 줄이기 위해 Slack, Discord로 이동함

• AI 회사들이 더 지능적으로 스크래핑을 해야 한다고 주장함

  • AI 회사의 행동이 부끄러운 일이라고 언급함

• 포이즈닝 공격에 대한 호기심을 표현함

  • 인간이 작성한 잘못된 콘텐츠로 AI 모델을 혼란스럽게 할 수 있는 가능성을 탐구함

• GCP에 배포한 앱이 봇 트래픽으로 인해 비용이 증가한 경험을 공유함

  • Reddit에 앱을 공유한 것이 원인이라고 추측함

• 대형 포럼의 크롤링 경험을 공유함

  • ChatGPT가 포럼의 역사에 대해 잘 알고 있다고 언급함
  • LLMs에 영향을 줄 수 있는 텍스트를 추가하는 아이디어를 제안함

• robots.txt를 무시하고 서비스에 악영향을 미치는 봇의 행동을 불법으로 간주할 수 있다고 주장함

  • 지역 사이버 법 집행 기관에 연락할 것을 권장함