29P by laeyoung | ★ favorite | 댓글 10개

안녕하세요.
GeekNews에서 Upvote 한 글들이 많아지다보니, 제가 Upvote 한 글들을 찾기가 어려워서, 스크래핑 후 upvote한 글을 검색 할 수 있게 해주는 웹서비스를 만들었습니다.

지인분들과 이야기 하다가 얼마 전에 GeekNews에서 본 좋은 글인데 하고 찾을 때가 있는데요.
Upvote를 한게 많다보니 페이지를 넘겨도 넘겨도 찾기 어려운 경우가 종종 있더라고요.
그래서 스크래핑 해서 제가 Upvote한 글들의 ID들을 하나의 json 파일로 만든 다음에, 그 글들에서 검색을 할 수 있는 웹서비스를 만들어 보았습니다.

주요 기능

  • 증분 스크랩핑 (Incremental Scraping): Python 스크립트를 사용하여 새로 추천한 기사만 효율적으로 스크랩합니다.
  • 스마트 검색: 한글 초성 검색을 지원하는 실시간 퍼지 검색을 제공합니다 (예: "ㄱㄴ" 검색 시 "GeekNews" 검색 가능)
  • 무한 스크롤: 자동으로 더 많은 기사를 불러오는 끊김 없는 브라우징 경험을 제공합니다.)

실행 방법

  1. 프로젝트 clone
  2. .env 파일에 GEEKNEWS_ID=your_idPASSWORD=your_password 추가
  3. 스크래핑 스크립트 실행 python3 scrape_geeknews.py
  4. npm install후, npm run dev

제 계정으로 해보니, upvote 한 글이 2,400개가 넘더라고요. 하루에 1.5개 꼴로 upvote 하고 있으니, 추천한 글 페이지에서 원하던 걸 찾을 수 없을 만 했더라고요.

ps. 내가 upvote 한 글을 가져오기 위해 GeekNews의 My upvote 페이지를 돌면서 스크랩핑을 합니다. 혹시 문제가 된다면, 이 글을 삭제 하셔도 괜찮습니다.

댓글과 토론

긱뉴스에서 자체 지원해주셨으면 좋겠네요

이 글을 upvote 합니다

긱뉴스 게시글 검색이 아쉽긴해요...

긱뉴스 검색기능이 있어도 과거글 찾기가 너무 어렵긴 한 거 같습니다.

깃뉴스에서 자체적으로 지원해주면 좋겠네요.

야생의 긱뉴스 업보터가 니타났다....?

그리고 올 5월에 바이브 코딩으로 만들다가 잘 안되어서 덮어 두었던 프로젝트 였습니다. 그러다가 이번에 나온 Antigravity로 프로젝트를 이어서 시키니 생각보다 잘해서 완성하게 되었습니다. python 스크래핑도 걔가 알아서 GeekNews 사이트 열어서 들어가보더니, 해줬고요.

검색 관련해서는 개선을 고려중입니다. 조금만 기다려주세요.

너무 좋은 소식 이네요. GeekNews 너무 잘 이용하고 있어서 항상 감사드려요 🤲!

Fav가 있긴 하지만 가끔 fav는 까먹고 안 누르는 경우가 있죠…