Show GN: 텍스트로 받아보는 YouTube RSS

평소에 YouTube에서 정보성 콘텐츠를 중점적으로 보는 성향인데 자꾸 다른 영상보다가 시간을 허비하는게 싫어서 Replit으로 제작했습니다.

권장 사용자

• YouTube 개미지옥에 빠지기 싫으신 분
• 영상보다 텍스트로 정보만 빨리 읽고 싶으신 분
• 꼭 봐야할 영상을 골라내고 싶으신 분

[hellosunghyun]

Gemini API 사용하시면, 영상 다운받지 않고 URL만으로 영상을 제공할 수 있는것으로 압니다.
예전에는 가능했는데 지금도 될지는 모르겠어요!
한번 참고해보시면 좋을것같습니다!
https://cloud.google.com/vertex-ai/generative-ai/…
https://ai.google.dev/gemini-api/docs/video-understanding?hl=ko

[windbug99]

결과적으로 실패했습니다 ㅠㅜ
제가 정확히 적용을 못한건지 확실하지 않지만 종일 검색해보니
-Gemini API로 YouTube 영상을 분석하는건 기본적으로 제공하지 않는다.
-본인이 YouTube에 등록한 영상만 가능하다.
라고 합니다.

[windbug99]

오 감사합니다! 제가 검색내공이 부족했네요 ㅠㅜ
테스트 해보고 결과 댓글남기겠습니다.

[hellosunghyun]

gemini 앱이나 사이트에선 아직 지원 안하는데 (gemini 클라이언트에서 영상 삽입 기능도 최근 추가되었습니다)
ai studio에서는 지원된지 꽤 되었습니다!
비개발자신데 프로덕트 완성도가 꽤 좋으시네요!
서비스 잘사용해보겠습니다!

[sangmin7648]

비용이 꽤 나갈거 같은데 어떻게 충당하실 계획인가요? 데이터는 유튜브 데이터라 이걸로 수익화하기는 저작권 때문에 어려울거 같아서요

[windbug99]

비용은 아직까지는 많이 발생하지는 않는데 채널이 많아지면 서버와 API비용을 고려해봐야할 시점이 올거 같습니다. LilysAI 같은 서비스를 보면 방안이 있는것 같은데 좀 더 개선하면서 생각해보려고 합니다!

[bobross0]

매번 정보성 영상 머리 속에 넣느라 머리아팠는데 너무 좋아요

[windbug99]

저와 같은 니즈가 있으신 분들이 많아서 신기합니다 :)

[jongyeol]

오 이거 너무 좋네요. 채널을 제공되는 것 중에 선택하지 않고, 유튜브 채널 URL을 넣어서 직접 추가할 수는 없을까요?

[windbug99]

원래 계획은 사용자가 추가하고 공유하는 것이었는데 배포서버에서는 YouTube bot 차단정책에 100%로 차단되더라구요ㅠㅜ 그래서 현재는 채널을 골라 개발서버에서 추가중입니다.
yt-dlp를 사용중인데 혹시 이 문제를 해결할 방법이 있으면 공유부탁드립니다..LilysAI 같은건 어떻게 하는건지 모르겠네요..

[jongyeol]

1. user agent 적당한거 넣는것
2. 병렬로는 동접 몇개 이상으로 차단되는거면, 그냥 vm 여러개 띄워서 ip를 여러개 쓰는것 (비용이 문제겠죠)
3. 수집해야하는 목록이 아주 많은게 아니라면 어딘가 큐에 넣어놓고 하나씩 (또는 허용되는 동접 N개씩) 큐에서 꺼내서 다운받는 것
4. 수집할때 간격에 적당한 슬립 딜레이 시간 넣고, 딜레이에 약간의 랜덤시간을 추가로 더해서 최대한 봇 아닌것 처럼 보이게 하는 것

...정도 이네요. 사용자가 직접 추가하면 3번이 관련된 부분일 것 같아요.

[windbug99]

답변 감사합니다!
1, 3, 4번은 적용되어 있습니다. 2번은 Replit 개발서버가 아마 가상으로 돌아가는 것 같아서 차단이 안되는거 같고 배포서버는 차단되는거 같습니다. 찾아보니 AWS 같은 곳은 거의 차단된다고 하네요. 딱히 정답이 없는듯ㅠㅜ..

[jongyeol]

아, 혹시 영상을 전체 재생하면서 요약하는건가요? 아니면 영상의 스크립트만 가지고 요약하는건가요? yt-dlp이면 전자여서 앙상 시간만큼은 걸릴텐데, 후자면 금방 끝나서 3번만으로 충분할 것 같아요. 결과물의 퀄리티 차이가 날수는 있겠지만요.

[windbug99]

오디오 파일만 분할로 받아서 스크립트로 추출하고 있습니다.

[jongyeol]

유튜브 UI상에는 자막(스크립트)를 시간별로 볼 수 있는 화면이 있는데, 이것만 파싱하면 크롤링하는 시간을 훨씬 단축할 수 있을 것 같습니다. 여러 크롬 플러그인도 그거 보고 요약해주는 것으로 알고 있어요.

[windbug99]

네 맞습니다. 원래 YouTube Data API로 스크립트를 받아서 사용하는게 좋은데 테스트해보면 거의 다 스크립트가 없다고 리턴하더라구요ㅠㅜ 업로더가 설정을 해야 한다는데

[naearu]

ytdlp에 자막 다운로드 받는 기능이 있습니다. 그 자동생성된 자막으로 다운로드 되어 오타가 있긴 하지만 저는 그걸로 AI에 던져서 요약본을 생성해서 사용하고 있습니다.

[windbug99]

오 몰랐던 정보군요. AI가 제시해준대로 하다보니 이런문제가 있네요. 오디오 추출보다 빨라질거 같네요 테스트해보겠습니다!

[ysm0622]

https://github.com/ysm-dev/cpdown

이것도 비슷한방식으로 만들었어요.
코드 뜯어보세요 :)

[windbug99]

여기도 참고하겠습니다 :)

[jongyeol]

아하. 쉽지 않군요..

[rtyu1120]

이런 게 너무 필요했는데 감사합니다 ㅎㅎㅎ 4시간짜리 비디오를 올리는 채널들이 너무많아요...

[windbug99]

공감합니다! 고생 좀 하고 토큰이 필요하지만 만들고 나니 너무 편하네요.

[geekbini]

유튜브에 있는 기존의 많은 영상들과 지금도 새로이 올라오는 영상들을 카테고리화 해서 보여주는 건가요? 들어가보니 어떤 카테고리는 영상이 몇개 밖에 없어보이는 것도 있어서 왜그런지 문의드려요.

[windbug99]

네 예전 영상은 가져오지 않고 채널을 추가한 시점 부터 새로운 영상만 수집을 하고 있습니다.

[jujumilk3]

따봉!!!!!

[windbug99]

-_-b

[seungwoo]

와 너무 좋은 웹입니다!!! 응원하고 잘 쓰겠습니다!

[windbug99]

응원 감사합니다!!

[sajacaros]

카테고리가 동작 안해요~ 개발/경제 카테고리 있으면 좋을 것 같습니다!!

[windbug99]

피드백 감사합니다. 카테고리 테이블 분리중에 빼먹었네요 ㅠㅜ
수정해서 재배포 했습니다!
카테고리와 채널은 사용자분들의 구독자수 보면서 삭제하거나 추가할 예정입니다.

[huiya]

와 정보 습득은 영상보다 텍스트가 훨씬 낫다고 생각하는 사람인데 서비스 너무 마음에 들어요

[windbug99]

감사합니다, 좋은 채널 많이 수집해보겠습니다 ^^

[laeyoung]

좋네요! 와, 저도 비슷한거 만들고 있었는데 소오름임!

[windbug99]

같은 생각을 하시는 분이 있었군요! 참고가 될지 모르겠지만 제 작업기록 공유드려요
https://eastchair.substack.com/p/replit-mvp-youtube
생각보다 YouTube에서 피드로 만드는 과정 최적화가 어려운데 더 나은 방법이 있으면 공유해주세요!
YouTube의 bot 차단 정책 때문에 힘드네요..ㅠㅜ

[cnaa97]

오 좋네요. RSS xml 구독은 어떻게하나요?

[windbug99]

제가 비개발자인데 에이전트가 잘만들어주네요. RSS xml 버튼을 추가했습니다. 혹시 이상한 부분이 있으면 피드백 주세요!

[windbug99]

아직 RSS 구독은 구현하지 않았습니다. 조만간 구현해보겠습니다.