Show GN: MyGeekNews - 내가 Upvote한 GeekNews 게시글 검색기
(github.com/Laeyoung)안녕하세요.
GeekNews에서 Upvote 한 글들이 많아지다보니, 제가 Upvote 한 글들을 찾기가 어려워서, 스크래핑 후 upvote한 글을 검색 할 수 있게 해주는 웹서비스를 만들었습니다.
지인분들과 이야기 하다가 얼마 전에 GeekNews에서 본 좋은 글인데 하고 찾을 때가 있는데요.
Upvote를 한게 많다보니 페이지를 넘겨도 넘겨도 찾기 어려운 경우가 종종 있더라고요.
그래서 스크래핑 해서 제가 Upvote한 글들의 ID들을 하나의 json 파일로 만든 다음에, 그 글들에서 검색을 할 수 있는 웹서비스를 만들어 보았습니다.
주요 기능
- 증분 스크랩핑 (Incremental Scraping): Python 스크립트를 사용하여 새로 추천한 기사만 효율적으로 스크랩합니다.
- 스마트 검색: 한글 초성 검색을 지원하는 실시간 퍼지 검색을 제공합니다 (예: "ㄱㄴ" 검색 시 "GeekNews" 검색 가능)
- 무한 스크롤: 자동으로 더 많은 기사를 불러오는 끊김 없는 브라우징 경험을 제공합니다.)
실행 방법
- 프로젝트 clone
- .env 파일에
GEEKNEWS_ID=your_id및PASSWORD=your_password추가 - 스크래핑 스크립트 실행
python3 scrape_geeknews.py -
npm install후,npm run dev
제 계정으로 해보니, upvote 한 글이 2,400개가 넘더라고요. 하루에 1.5개 꼴로 upvote 하고 있으니, 추천한 글 페이지에서 원하던 걸 찾을 수 없을 만 했더라고요.
ps. 내가 upvote 한 글을 가져오기 위해 GeekNews의 My upvote 페이지를 돌면서 스크랩핑을 합니다. 혹시 문제가 된다면, 이 글을 삭제 하셔도 괜찮습니다.