▲Wikipedia 의 robots.txt (en.wikipedia.org)7P by xguru 2019-07-17 | ★ favorite | 댓글 2개 주석이 달려 있어서 재미난 robots.txt - 이상동작하는 봇, 규약을 지키지 않는 봇, 캡쳐봇, 구글광고봇, 문제많은 wget recursive 모드등. 함께 보면 좋은 글 β NodeJS용 Robots.txt 파서 웹 크롤러 아키텍쳐 AI 회사들이 대부분의 웹 트래픽을 만들고 있음 robots.txt에 대해 내가 틀렸던 점 구글 robots.txt Parser 오픈소스로 공개 [C++ 라이브러리] 인증 이메일 클릭후 다시 체크박스를 눌러주세요 ▲rtyu1120 2019-07-20 [-]"Doesn't follow robots.txt anyway, but..." 부분이 재미있네요 ㅋㅋ답변달기▲iolothebard 2019-07-17 [-]robots.txt 의 모범 사례라 할만!! 좋은 정보 감사합니다.답변달기