4P by xguru 9일전 | favorite | 댓글 1개

- IETF 의 Robots Exclusion Protocol 드래프트와 호환을 목표로 개발
- 지원 규칙
ㅤ→ User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host
ㅤ→ Path : Wildcard(*) 와 EOL($) 매칭

xguru 9일전  [-]

- Wikipedia 의 robots.txt https://news.hada.io/topic?id=90

답변달기