Crawlee - 웹스크래핑 & 브라우저 자동화 라이브러리
(crawlee.dev)- Node.js용 빠르고 안정적인 크롤러 작성 라이브러리
- Puppeteer & Playwright(헤드리스 브라우저 크롤링) + CheerIO/JSDOM(Raw HTTP 크롤링)
- 브라우저 헤더 & TLS 핑거프린트를 모방하여 실제 트래픽처럼 보이게 함
- 프록시 로테이션 자동화 로 대규모 확장 가능
- 작업은 큐 처리되며 파일, 스크린샷, JSON 결과등을 쉽게 파일 또는 DB에 저장