Hacker News 의견

• 많은 사람들이 대규모 인터넷 인프라를 운영하면서 비슷한 경험을 하고 있음

  • AI 크롤러의 남용에 대한 이야기를 공유하며, 이러한 문제를 한 곳에 모아 정리한 글이 있음
  • 일부 스타트업은 문제를 해결하고 비용을 환불해 주었으나, Facebook은 이메일에 답하지 않음

• Fastly는 FOSS 프로젝트에 무료 보안 서비스를 제공하고 있음

  • 최근 AI 스크래핑에 대한 요청이 증가하고 있음

• 자신의 프로젝트가 미리보기 이미지에 등장한 것이 놀라움

  • 프로젝트를 xeiaso.net에 배포하여 실제 환경에서의 작동을 확인하고 있음

• FOSS 인프라뿐만 아니라 익명 인터넷 접근 자체가 위협받고 있음

  • 새로운 봇들이 캡차를 풀고 실제 사용자처럼 행동할 수 있음
  • 사이트들이 신용카드나 Worldcoin 같은 인증을 요구할 가능성이 있음

• 최근 Forgejo 인스턴스가 공격받았음

  • 디스크가 생성된 zip 파일로 가득 찼고, Alibaba Cloud의 IP 범위를 차단하여 공격이 줄어듦
  • DISABLE_DOWNLOAD_SOURCE_ARCHIVES 설정을 true로 변경할 것을 권장함

• 과거 검색 엔진 문제를 해결하기 위해 robots.txt가 만들어졌으나, 현재 새로운 인덱서들은 이를 무시하고 있음

  • 법적 제재가 필요하다고 주장함

• Google과 광고의 웹 지배력이 약화될 것임

  • 캡차로 인해 검색 엔진이 사이트를 인덱싱하지 못하게 되고, 이는 검색 엔진의 가치를 떨어뜨릴 것임

• LLaMa를 사용하여 모순된 게시물을 생성하여 정보의 혼란을 유도함

• VideoLAN도 AI 회사의 봇으로 인해 포럼과 Gitlab이 공격받고 있음

  • 대부분의 봇이 robots.txt를 무시함

• 검색 엔진에 인덱싱되지 않는 웹이 생길 가능성이 있음

  • LLM 스크래핑에 대한 해결책으로 작업 증명을 요구하는 방법이 제안됨