# ChatGPT API를 이용한 Hacker News 책 추천 정보 추출

> Clean Markdown view of GeekNews topic #11184. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=11184](https://news.hada.io/topic?id=11184)
- GeekNews Markdown: [https://news.hada.io/topic/11184.md](https://news.hada.io/topic/11184.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2023-10-05T10:15:56+09:00
- Updated: 2023-10-05T10:15:56+09:00
- Original source: [blog.reyem.dev](https://blog.reyem.dev/post/extracting_hn_book_recommendations_with_chatgpt_api/)
- Points: 2
- Comments: 1

## Topic Body

- ChatGPT API를 사용하여 Hacker News (HN) 스레드에서 책 추천을 추출하는 기사
- 저자가 "book"이라는 단어를 제목에 포함하고 다른 페이지에 연결되지 않은 HN의 거의 200개의 이야기를 분석
- 저자가 GPT API를 사용하여 데이터를 분류하고 정보를 JSON 형식으로 출력
- 데이터는 Hacker News API에서 가져왔으며, 저자는 Chat Completions API를 호출하여 텍스트에서 책 제목, 저자, URL을 추출
- 상위 50개의 책 추천이 나열되었으며, Abelson과 Sussman의 "Structure and Interpretation of Computer Programs"이 가장 추천되었음
- API가 때때로 유효한 JSON을 반환하지 않는 경우, 특히 ChatGPT가 "thanks"라는 댓글에 응답하거나 질문할 때 발견
- 저자가 제목이 없는 응답을 버리도록 프롬프트를 설계, ChatGPT가 때때로 특정 책의 제목 없이 저자의 언급을 포함하기 때문
- 57k 댓글 처리는 GPT 3.5 터보 API를 사용하여 약 $40 비용 발생
- 저자가 온도가 0일 때도 GPT의 결과가 호출마다 다르며, 이전 GPT-3 모델에 비해 더 큰 변동성을 보임을 발견
- 저자가 GPT가 텍스트에서 링크를 식별할 수 있지만, URL 대신 잘린 링크 텍스트를 선택하는 것을 방지하기 위해 HTML 태그를 제거해야 함을 발견
- 저자가 ChatGPT에 의한 JSON 출력과 작업에 사용된 프롬프트의 예를 공유했음
- GPT에 의해 생성된 원시 데이터는 제목별로 정렬되어 추가 분석을 위해 공유되었음
- 저자가 학습 연습으로 표의 Amazon URL에 Amazon 제휴 링크를 추가했음

## Comments



### Comment 19661

- Author: neo
- Created: 2023-10-05T10:15:56+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=37761273) 
- Hacker News에서 ChatGPT API를 이용해 책 추천 정보 추출에 대한 기사
- 일부 사용자들이 ChatGPT가 몇몇 책 추천 정보를 놓친 것으로 지적
- 사용자가 "books"라는 키워드를 이용해 Hacker News에서 책 추천 정보를 검색하고, 플랫폼에서 찾은 추천 정보의 품질을 칭찬
- 사용자가 Hacker Recommended Books와 Hacker News Books 등 다른 책 추천 정보 리소스를 언급
- 'Code' by Charles Petzold와 Knuth의 책 등 일부 책들이 상위 50 리스트에 빠진 것에 대해 일부 사용자들이 놀라움 표현
- AI가 생성한 책 추천 정보의 품질에 대한 우려, 일부 사용자들이 이를 Amazon affiliate 링크 생성에 이용될 수 있다고 제안
- 'How to Win Friends and Influence People'와 'Atlas Shrugged' 등 일부 책들이 리스트에 포함된 것에 대해 일부 사용자들이 의문 제기
- 사용자가 'Meditations' by Marcus Aurelius가 Descartes의 'Meditations on First Philosophy'와 혼동되어 리스트에 오류가 있을 수 있다고 지적
- 일부 사용자들이 Hacker News 게시물의 댓글에서 찾은 덜 인기 있는 책 추천 정보에 가치를 발견
- ChatGPT를 이용하는 것의 필요성에 대한 의문, 일부 사용자들이 Algolia와 데이터 분석이 충분하다고 제안