21P by laeyoung 2일전 | ★ favorite | 댓글 7개

안녕하세요.
GeekNews에서 Upvote 한 글들이 많아지다보니, 제가 Upvote 한 글들을 찾기가 어려워서, 스크래핑 후 upvote한 글을 검색 할 수 있게 해주는 웹서비스를 만들었습니다.

지인분들과 이야기 하다가 얼마 전에 GeekNews에서 본 좋은 글인데 하고 찾을 때가 있는데요.
Upvote를 한게 많다보니 페이지를 넘겨도 넘겨도 찾기 어려운 경우가 종종 있더라고요.
그래서 스크래핑 해서 제가 Upvote한 글들의 ID들을 하나의 json 파일로 만든 다음에, 그 글들에서 검색을 할 수 있는 웹서비스를 만들어 보았습니다.

주요 기능

  • 증분 스크랩핑 (Incremental Scraping): Python 스크립트를 사용하여 새로 추천한 기사만 효율적으로 스크랩합니다.
  • 스마트 검색: 한글 초성 검색을 지원하는 실시간 퍼지 검색을 제공합니다 (예: "ㄱㄴ" 검색 시 "GeekNews" 검색 가능)
  • 무한 스크롤: 자동으로 더 많은 기사를 불러오는 끊김 없는 브라우징 경험을 제공합니다.)

실행 방법

  1. 프로젝트 clone
  2. .env 파일에 GEEKNEWS_ID=your_idPASSWORD=your_password 추가
  3. 스크래핑 스크립트 실행 python3 scrape_geeknews.py
  4. npm install후, npm run dev

제 계정으로 해보니, upvote 한 글이 2,400개가 넘더라고요. 하루에 1.5개 꼴로 upvote 하고 있으니, 추천한 글 페이지에서 원하던 걸 찾을 수 없을 만 했더라고요.

ps. 내가 upvote 한 글을 가져오기 위해 GeekNews의 My upvote 페이지를 돌면서 스크랩핑을 합니다. 혹시 문제가 된다면, 이 글을 삭제 하셔도 괜찮습니다.

Fav가 있긴 하지만 가끔 fav는 까먹고 안 누르는 경우가 있죠…

이 글을 upvote 합니다

긱뉴스 게시글 검색이 아쉽긴해요...

긱뉴스 검색기능이 있어도 과거글 찾기가 너무 어렵긴 한 거 같습니다.

깃뉴스에서 자체적으로 지원해주면 좋겠네요.

야생의 긱뉴스 업보터가 니타났다....?

그리고 올 5월에 바이브 코딩으로 만들다가 잘 안되어서 덮어 두었던 프로젝트 였습니다. 그러다가 이번에 나온 Antigravity로 프로젝트를 이어서 시키니 생각보다 잘해서 완성하게 되었습니다. python 스크래핑도 걔가 알아서 GeekNews 사이트 열어서 들어가보더니, 해줬고요.