7P by xguru 2019-07-17 | favorite | 댓글 2개

주석이 달려 있어서 재미난 robots.txt - 이상동작하는 봇, 규약을 지키지 않는 봇, 캡쳐봇, 구글광고봇, 문제많은 wget recursive 모드등.

rtyu1120 2019-07-20  [-]

"Doesn't follow robots.txt anyway, but..." 부분이 재미있네요 ㅋㅋ

iolothebard 2019-07-17  [-]

robots.txt 의 모범 사례라 할만!!
좋은 정보 감사합니다.