Wikipedia 의 robots.txt

주석이 달려 있어서 재미난 robots.txt - 이상동작하는 봇, 규약을 지키지 않는 봇, 캡쳐봇, 구글광고봇, 문제많은 wget recursive 모드등.

[rtyu1120]

"Doesn't follow robots.txt anyway, but..." 부분이 재미있네요 ㅋㅋ

[iolothebard]

robots.txt 의 모범 사례라 할만!!
좋은 정보 감사합니다.