▲

NodeJS용 Robots.txt 파서

 (github.com)
4P by xguru 2022-01-15 | favorite | 댓글 1개

- IETF 의 Robots Exclusion Protocol 드래프트와 호환을 목표로 개발
- 지원 규칙
ㅤ→ User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host
ㅤ→ Path : Wildcard(*) 와 EOL($) 매칭