16P by xguru 3달전 | favorite | 댓글과 토론
  • Node.js용 빠르고 안정적인 크롤러 작성 라이브러리
  • Puppeteer & Playwright(헤드리스 브라우저 크롤링) + CheerIO/JSDOM(Raw HTTP 크롤링)
  • 브라우저 헤더 & TLS 핑거프린트를 모방하여 실제 트래픽처럼 보이게 함
  • 프록시 로테이션 자동화 로 대규모 확장 가능
  • 작업은 큐 처리되며 파일, 스크린샷, JSON 결과등을 쉽게 파일 또는 DB에 저장