Greenflare - 오픈소스 로컬 SEO 크롤러
(greenflare.io)- 로컬에서 웹사이트를 크롤링해서 SEO 분석을 도와주는 도구
ㅤ→ H1,H2 태그및 Meta 데이터 확인
ㅤ→ XPath 및 CSS 셀렉터로 각 페이지의 정보 추출
ㅤ→ Robots.txt 파서로 상태 확인
ㅤ→ 깨진 링크 및 상태코드(3xx, 4xx, 5xx) 확인
ㅤ→ 필터로 URL들 예외 처리 가능
- 윈도우/맥/리눅스 실행파일 제공
- CSV 로 크롤링 결과 Export ( 자체적으로 sqlite 에 저장 )
- 저사양에서도 실행 가능하며, 크기 제한은 없음
ㅤ→ 4백만개 이상의 페이지를 가진 사이트들 대상 테스트 완료
- 파이썬 코드, pypi 패키지로도 제공 ( pip install greenflare )
테스트 해보니 꽤 빠르게 URL들을 긁어와서 처리해줍니다.
5000개 URL읽어오는데 얼마 안걸리네요.
서버쪽에는 부하가 걸릴수도 있으니 살살 사용하시기 바랍니다. ^^