ChatGPT로 완성하는 쿠팡 크롤링 봇

(blog.hashscraper.com)

ChatGPT로 쿠팡의 상품 정보를 수집하는 크롤링 봇 개발
- 수집할 컬럼은 상품 이름, 정가, 판매가, 별점, 리뷰 개수, 카드 할인 정보, 적립 정보, 배송 정보
토큰 수 제한을 피하기 위한 HTML 크기 축소 방법 및 프롬프트 작성시 고려 사항
광고 상품 건너띄기
DOM 구조가 다른 경우 예외처리
필수 컬럼 확인(상품명, 가격)
ChatGPT는 굉장히 유용한 도구이지만, 약간의 디버깅과 수정이 필요 (결국 전문가가 더 큰 도움을 받게 된다)
대량의 데이터를 수집하기 위해 차단 회피에 대해 고려해야 함