# ChatGPT로 완성하는 쿠팡 크롤링 봇

> Clean Markdown view of GeekNews topic #10605. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=10605](https://news.hada.io/topic?id=10605)
- GeekNews Markdown: [https://news.hada.io/topic/10605.md](https://news.hada.io/topic/10605.md)
- Type: news
- Author: [bamchi](https://news.hada.io/@bamchi)
- Published: 2023-08-29T11:22:37+09:00
- Updated: 2023-08-29T11:22:37+09:00
- Original source: [blog.hashscraper.com](https://blog.hashscraper.com/build-coupang-crawler-bot-with-chatgpt/)
- Points: 17
- Comments: 5

## Topic Body

* ChatGPT로 쿠팡의 상품 정보를 수집하는 크롤링 봇 개발  
  * 수집할 컬럼은 상품 이름, 정가, 판매가, 별점, 리뷰 개수, 카드 할인 정보, 적립 정보, 배송 정보  
* 토큰 수 제한을 피하기 위한 HTML 크기 축소 방법 및 프롬프트 작성시 고려 사항  
* 광고 상품 건너띄기  
* DOM 구조가 다른 경우 예외처리  
* 필수 컬럼 확인(상품명, 가격)  
* ChatGPT는 굉장히 유용한 도구이지만, 약간의 디버깅과 수정이 필요 (결국 전문가가 더 큰 도움을 받게 된다)  
* 대량의 데이터를 수집하기 위해 차단 회피에 대해 고려해야 함

## Comments



### Comment 18754

- Author: freedomzero
- Created: 2023-08-30T21:46:50+09:00
- Points: 1

여기 글 자체가 다 GPT로 쓰여진 것 같네요

### Comment 18753

- Author: roxie
- Created: 2023-08-30T21:11:51+09:00
- Points: 1

> (결국 전문가가 더 큰 도움을 받게 된다)   
  
로 요약되는것 같네요..

### Comment 18744

- Author: superyang
- Created: 2023-08-30T14:54:32+09:00
- Points: 1

ChatGPT로 크롤러를 만들고 있는데 파싱이나 Xpath 추출에 많은 도움을 받고 있습니다

### Comment 18715

- Author: kernel00
- Created: 2023-08-30T09:27:17+09:00
- Points: 1

gpt로 크롤링 만드는 글이지만 결국 해시스크래퍼 광고군요

### Comment 18752

- Author: superwoou
- Created: 2023-08-30T19:46:47+09:00
- Points: 1
- Parent comment: 18715
- Depth: 1

테크 블로그가 다 그런 것 아니겠읍니까.. 흐흐