▲Wikipedia 의 robots.txt (en.wikipedia.org)7P by xguru 2019-07-17 | ★ favorite | 댓글 2개 주석이 달려 있어서 재미난 robots.txt - 이상동작하는 봇, 규약을 지키지 않는 봇, 캡쳐봇, 구글광고봇, 문제많은 wget recursive 모드등. 함께 보면 좋은 글 β robots.txt에 대해 내가 틀렸던 점 문제가 있으면 IP 레벨에서 차단하세요 AI 스크레이퍼가 주석 처리된 스크립트를 요청하다 Perplexity가 크롤링 금지 지침을 우회하기 위해 은밀하고 신고되지 않은 크롤러를 사용함 스크레이퍼 봇과 장난치기 인증 이메일 클릭후 다시 체크박스를 눌러주세요 ▲rtyu1120 2019-07-20 [-]"Doesn't follow robots.txt anyway, but..." 부분이 재미있네요 ㅋㅋ답변달기▲iolothebard 2019-07-17 [-]robots.txt 의 모범 사례라 할만!! 좋은 정보 감사합니다.답변달기