구글 robots.txt Parser 오픈소스로 공개 [C++ 라이브러리]

구글이 90년대부터 내부적으로 사용하는 코드 포함. 룰 테스트 도구도 같이 공개