(정말 제가 보려고 만든건데 필요하신 분이 계실까봐 공유드려요)
해커뉴스 많이 보시나요? 영어에 제목과 링크만 있다보니 여기저기 찾아다니며 보기 힘드셨죠? 번거롭고 귀찮은 걸 제가 무료로 해드려요 👏
다음 조건으로 수집된 뉴스
- 해커뉴스(news.ycombinator.com) BEST 50에 신규 진입한 뉴스
아래 방법으로 발송해드려요
- 이메일 : 매일 아침 7시, 저녁 5시에 하루 2번 정리해서 전달
- 슬랙 : 신규 등록된 뉴스를 실시간으로 전달
어떤 절차로 뉴스가 변환되나요?
- 이미 수집된 뉴스인지 확인
- 제목과 링크를 수집
- 링크를 이용해서 jina ai 로 콘텐츠 내용 추출
- OpenAI GPT 4o-mini 모델로 한글로 번역하고 요약
- 키워드도 추출하고 잘 정리해서 저장
뉴스의 형태
최신 해커 뉴스가 도착했습니다 🚀
‣ 제목 : Rust에서의 임베딩 스킴
‣ 내용 : 이 글에서는 Rust 언어에서 ...
‣ 핵심 키워드 : Rust,Stak Scheme,...
‣ 사이트 주소 : https://...
이 기능은 n8n 으로 자동화하여 수집되고 있습니다
자동화 툴을 이용하면 간단히 이런 기능 구현 가능해요
지금 첨부된 form 도 n8n 에서 자체 제공하는 form 입니다!
바라는거 전혀 없어요 모두 좋은 정보 잘 얻으시길 바래요
시간 되시면 제 github 이나 한 번 놀러와주세요
감사합니다 🙇♂️
잘 보고 있었는데.. 어제 오늘 메일이 오지 않네요.. ㅜㅜ
서비스에 문제가 생긴걸까요?
저도 공부해보고 싶은데... n8n 노드정보 좀 공유해주실 수 있으신가요? ^^
안녕하세요 🙇♂️ 개선이 필요한 부분이 있어 내일부터 다시 발송될 예정입니다 n8n 노드를 복사해서 공개하려했는데 크리덴셜 정보가 포함되어있고 너무 데이터가 크네요 혹시 n8n 의 어떤 정보 알려드리면 될까요?
안녕하세요! 서비스 잘 이용하고 있습니다.
http 추출에 대해서 궁금한 게 있는데요,
-
매일 hackernews 에 신규로 추가되는 http 에 대해서 전체 추출하여 해당 내용을 보내주시는 걸까요?
-
그러면 초기 hackernews 에 등록되어 있는 전체 http 들을 확인하고, 그 다음날 부터 신규 추가되는 내용들을 그 http 들과 비교하여 없는 것들만 추가해서 보내주시는 걸까요?
(기존 등록된 hackernews 의 http 량이 많아서 이 방식이 가능한지, 아니면 다른 방식으로 필터링해서 보내시는지 궁금합니다)
안녕하세요
잘보고 계시다니 너무 다행입니다
답변이 너무 늦었네요 죄송합니다
Q: 매일 hackernews 에 신규로 추가되는 http 에 대해서 전체 추출하여 해당 내용을 보내주시는 걸까요?
A:
다음과 같은 과정으로 뉴스를 수집하고 발송하고 있습니다
- 해커 뉴스에서 등록된 뉴스를 조회할 수 있는 API(https://hacker-news.firebaseio.com/v0/topstories.json) 를 제공하고 있습니다
- 해당 API 를 이용해서 인기있는 50개의 뉴스를 불러오고 데이터베이스에 등록합니다
(데이터는 가져오는 과정에서 데이터베이스에 이미 존재하고 있다면 제외하고 받아옵니다) - 추가된 뉴스의 데이터를 AI 로 요약합니다(URL 은 Jina API 를 이용해서 데이터를 파싱합니다)
- 이렇게 한글로 요약된 뉴스를 매일 아침 7시에 일괄 이메일 발송하고 있습니다
Q: 그러면 초기 hackernews 에 등록되어 있는 전체 http 들을 확인하고, 그 다음날 부터 신규 추가되는 내용들을 그 http 들과 비교하여 없는 것들만 추가해서 보내주시는 걸까요?
(기존 등록된 hackernews 의 http 량이 많아서 이 방식이 가능한지, 아니면 다른 방식으로 필터링해서 보내시는지 궁금합니다)
A:
해커 뉴스에 NewsID 라는 각 뉴스별로 고유한 값이 있습니다
이 값 역시 데이터베이스에 저장해서 중복 저장되는걸 막고 있습니다
원하는 질문에 답이되셨길 바랍니다
감사합니다 🙇♂️
갑자기 구독하시는 분이 너무 늘어나서 이메일 발송 한도를 초과해서
이메일을 받으시지 못하시는 분이 생길 수 있습니다
AWS SES 를 사용하고 있는데 사용 한도 증가를 요청 해놓은 상태입니다
빠르게 적용해서 모두 다 정상적으로 이메일을 받을 수 있도록 하겠습니다
많은 관심 감사해요 👏
n8n의 http 호출로 해커 뉴스를 가져오고 가져온 정보 중 등록 안된 뉴스를 추출합니다 그 후 jina ai 로 링크의 정보를 조회한 후 openai llm 으로 요약하는 방식으로 구현되어 있어요 n8n 노드 정보는 공유해드릴게요 🙇♂️