Hacker News 의견

• Xe가 역사적으로 농담이나 하찮은 게시물로 여겨졌던 것을 실제로 유용한 제품으로 전환한 것이 재미있음
• 많은 사이트들이 이 제품을 필요로 한다는 것이 놀라움
  • 일부 git 서버의 경우, 깊이가 깊고 캐시가 없으며 느린 디스크에서 제공되기 때문에 git 페이지가 느려지는 문제를 이해함
• Unesco의 경우, 하위 사이트가 상당히 크고 수천 개의 문서가 있지만 정적 콘텐츠임
  • 잘못 배포된 Wordpress가 Apache 위에 있으며, 캐싱이 없고 콘텐츠 압축이 없으며 HTTP 2/3도 없음
  • 작은 기계에서 저렴하게 제공할 수 있지만 전문 지식이 필요함
• LLM에게 물어볼 수 있지만, 무엇을 물어봐야 할지 모를 때는 도움이 되지 않음
• AI 스크래핑을 방지하기 위한 것임
  • Anubis는 클라이언트가 최신 브라우저를 사용하고 SHA-256 체크섬을 계산할 수 있도록 보장하기 위해 작업 증명 도전을 사용함
• Anubis 프로젝트가 멋지다고 생각함
  • 그러나 사이트 방문자가 Javascript™를 활성화해야 한다는 점이 아쉬움
  • 정적 사이트에는 적합하지 않음
• 네트워크 수준에서 "나쁜 봇"을 효과적으로 차단하는 솔루션을 구축함
  • MaxMind의 데이터베이스와 맞춤형 WAF 및 Reverse Proxy를 사용하여 여러 대형 "Big Tech / Big LLM" 네트워크를 ASN(BGP)에서 차단함
• 작업 증명 도전이 프로토콜 수준으로 내려가야 한다고 생각함
  • 접근성을 위해 TCP의 일부로 구현되는 것이 더 나을 것임
• Anubis의 검사를 기다리는 동안의 중간 페이지 이미지가 귀여움
  • 일반 검색 엔진에 미치는 영향과 Cloudflare의 AI 크롤러 방지 솔루션과의 비교가 궁금했음
  • Anubis 설치 및 사용 시 일부 검색 엔진에서 웹사이트가 인덱싱되지 않을 수 있음
  • AI 스크래퍼 봇이 너무 공격적으로 스크래핑하여 어쩔 수 없이 선택한 방법임
  • 대부분의 경우 Cloudflare를 사용하여 보호할 수 있지만, 사용할 수 없는 경우 Anubis가 대안임
• 봇 탐지가 휴대폰에서 해결하는 데 5초가 걸림
• JavaScript가 비활성화된 사용자를 차단하는 데 효과적임
• 멋져 보이지만 AI 회사가 도전을 해결하고 작업 증명을 완료하여 웹사이트를 스크래핑하는 것을 막을 방법이 궁금함