RSS 피드로 폐쇄형 생태계와 알고리듬 블랙박스 탈출하기

 (johnwalker.nl)
2P by GN⁺ | ★ favorite | 댓글 1개
  • 플랫폼 추천에 의존하지 않고 웹 콘텐츠를 직접 구독하려면 RSS와 Atom 같은 분산형 피드 표준이 유효한 대안이 됨
  • Twitter, Facebook, Reddit 같은 중앙화 플랫폼에 대한 불만은 ActivityPub, Bluesky의 AtProto처럼 사용자 제어권을 되돌리는 프로토콜에 대한 관심으로 이어지고 있음
  • RSS/Atom은 게시자가 콘텐츠를 공개하고 독자가 원하는 클라이언트로 소비하는 구조라, 키워드 필터링이나 우선순위 지정 같은 읽기 방식을 사용자가 정할 수 있음
  • 피드는 웹사이트, Meetup 이벤트, YouTube·PeerTube 채널, 팟캐스트, Reddit·Fediverse 커뮤니티, 뉴스레터, 블로그까지 적용되며 피드가 없는 사이트도 PolitePol로 만들 수 있음
  • 독점 알고리듬을 벗어나면 새 콘텐츠 발견은 더 어려워질 수 있지만, 검색·블로그롤·커뮤니티·디렉터리 피드를 함께 쓰면 더 의도적인 미디어 소비가 가능함

RSS/Atom이 제공하는 대안

  • 많은 온라인 플랫폼은 사용자의 참여를 붙잡기 위해 알고리듬 피드를 중심에 둠
  • 이런 피드는 왜 특정 콘텐츠가 노출되는지 알기 어려운 블랙박스가 되기 쉽고, 사용자가 소비 흐름을 완전히 통제하기 어려움
  • 플랫폼 운영자의 인센티브와 사용자의 필요는 어긋날 수 있음
    • 플랫폼은 정치적 영향을 주거나 사용자가 원하지 않는 것을 팔려 할 수 있음
    • 소유권이 바뀌면 사용자에게 행사하려는 영향도 달라질 수 있음
  • RSS와 Atom은 웹 콘텐츠를 구독하기 위한 분산형 피드 형식임
    • 게시자는 자신의 웹사이트 콘텐츠를 피드로 공개함
    • 사용자는 원하는 클라이언트에서 그 콘텐츠를 읽음
    • 콘텐츠 생산자는 사용자가 콘텐츠를 소비하는 방식을 강제하지 못함
  • 독자는 RSS/Atom을 통해 특정 키워드가 들어간 콘텐츠를 걸러내거나, 어떤 콘텐츠를 더 우선할지 직접 정할 수 있음

피드 리더 선택지

  • RSS나 Atom 피드를 읽으려면 피드 리더가 필요함
  • 선택지는 사용 방식에 따라 나뉨
    • 자체 호스팅 가능한 웹 애플리케이션: Miniflux, FreshRSS
    • 네이티브 클라이언트: macOS·iOS용 NetNewsWire, Android용 Feeder
    • 명령줄 클라이언트: Newsboat
  • 데이터를 소유한다는 관점에서는 직접 리더를 호스팅하는 방식이 적합함
  • 직접 애플리케이션을 설정하거나 호스팅하기 어렵다면 FreshRSS의 호스팅 인스턴스를 사용할 수 있음

피드 찾기와 구독 대상

  • 많은 웹사이트는 HTML에 피드 위치를 가리키는 태그를 포함함
    • 예: <link rel="alternate" type="application/rss+xml" href="/feeds/rss/all.xml" />
  • 페이지 소스 코드에서 이 태그를 찾을 수 있고, 일부 RSS/Atom 클라이언트는 피드를 자동으로 찾아줌
  • RSS Lookup 같은 도구도 피드 탐색에 활용됨

  • Meetup과 이벤트

    • RSS는 지역 Meetup과 이벤트 소식을 따라가는 데 사용할 수 있음
    • Meetup.com은 피드 링크를 표시하지 않지만, 이벤트 페이지 경로에 /rss를 붙이면 RSS 피드를 찾을 수 있음
    • 예: https://www.meetup.com/MEETUP-NAME/events/rss

  • YouTube와 PeerTube

  • 팟캐스트

    • 팟캐스트는 에피소드 배포에 RSS를 사용함
    • 피드 링크는 팟캐스트 웹사이트나 podcastindex.org 같은 디렉터리 사이트에서 찾을 수 있음

  • 소셜 미디어와 Fediverse

    • Bluesky 계정은 RSS로 팔로우할 수 있음
    • Reddit 커뮤니티나 Fediverse 커뮤니티도 구독 가능함
    • Lemmy는 커뮤니티 개요 페이지에서 피드 링크를 제공하며, active나 controversial 같은 정렬 기준도 설정할 수 있음
    • Reddit은 커뮤니티 이름 뒤에 .rss를 붙이면 됨
    • 예: https://www.reddit.com/r/selfhosted.rss

  • 뉴스레터

    • 받은편지함을 어지럽히지 않거나 이메일 주소를 공유하지 않고 뉴스레터를 구독하려면 Kill the Newsletter를 사용할 수 있음
    • 이 도구는 뉴스레터 가입용 이메일 주소를 만들고, 들어오는 이메일을 RSS 피드로 변환함

  • 블로그와 피드 없는 웹사이트

    • 많은 웹사이트는 최신 글을 담은 피드를 제공함
    • 피드가 없는 웹사이트는 PolitePol로 웹사이트를 스크래핑해 피드를 생성할 수 있음
    • 사이트 소유자에게 피드 구현을 요청하는 방법도 있음

새 콘텐츠 발견의 어려움과 보완 방법

  • 독점 알고리듬을 피하고 분산형 대안을 쓰면 콘텐츠 발견이 더 어려워질 수 있음
  • 피드 리더는 사용자에게 유익한 방식으로 피드를 최적화하고 큐레이션하는 기능을 더 담을 여지가 있음
  • 추천과 개인화 알고리듬을 이 영역에 적용할 기회도 남아 있음

  • 검색

    • 원하는 콘텐츠 종류를 알고 있다면 검색은 새 사이트를 찾는 좋은 출발점이 됨
    • Marginalia search는 비상업적 결과에 초점을 맞춤
    • aboutideasnow.com은 3,000개가 넘는 개인 웹사이트의 /about, /ideas, /now 페이지를 크롤링함

  • 큐레이션과 추천

    • 일부 웹사이트는 관심 있는 피드를 모은 블로그롤을 제공함
    • 관심사와 관련된 글을 올리는 커뮤니티를 팔로우할 수 있음
    • Mastodon이나 Bluesky에서 사람들을 팔로우하는 방식도 활용 가능함
    • 새 개인 웹사이트를 찾는 디렉터리:
    • 1mb.club
    • 512kb.club
    • ooh.directory
    • 이 디렉터리들은 최근 추가된 사이트를 담은 피드도 발행함

게시자와 독자에게 생기는 변화

  • RSS는 폐쇄형 생태계와 불투명한 추천 알고리듬에서 벗어나 미디어 소비를 더 의도적으로 제어하는 방법임
  • 콘텐츠를 게시한다면 사람들이 제3자 플랫폼에 의존하지 않고 콘텐츠를 발견할 수 있도록 피드도 함께 발행해야 함
  • 소유하지 않은 플랫폼에서 반복되는 enshittification의 순환을 끊으려면 분산형 시스템을 함께 구축해야 함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 여기에는 Planet들이 빠져 있음
    흥미로운 블로그를 찾는 좋은 방법은 몇몇 Planet을 구독하는 것임. 특정 프로젝트나 주제와 관련된 블로그들을 모아 보여주는 집계 서비스에 가깝다
    https://planet.gnome.org/
    https://planet.kde.org/
    https://planet.mozilla.org/
    https://planet.documentfoundation.org/
    훑어볼 만한 좋은 Planet을 알면 아래에 추가해주면 좋겠음. 다만 기기 간 동기화가 잘 되는 RSS 리더를 아직 못 찾았고, 지금은 Feedly를 쓰지만 너무 똑똑하게 굴려고 함

    • Planet이 피드 크롤링의 실무적 문제를 꽤 많이 해결한다는 점이 과소평가되는 듯함
      2000개 블로그를 직접 따라가려면 정말 번거롭지만, Planet 하나만 구독하면 쉬워짐. 반대로 2000명이 내 블로그와 다른 블로그들을 구독하면 폴링 주기마다 2000번 요청이 생긴다. [1] 같은 사람이 지치는 것도 이상하지 않음
      폴링 주기는 세 종류가 있음: (1) 너무 빠름, (2) 너무 느림, (3) 동시에 둘 다임. 2000명이 내 블로그를 너무 자주 폴링하는 대신 Planet 하나가 폴링하면 시스템의 확장성과 경제성이 크게 좋아짐
      좋은 폴링 방식을 찾기 어려운 점은 RSS가 계속 너드코어로 남아 있는 10~20가지쯤 되는 과소평가된 이유 중 하나임
      [1] https://rachelbythebay.com/w/2024/05/27/feed/
    • 내 프로젝트이긴 하지만, 웹 성능 쪽은 https://feed.perfplanet.com가 있음
      빠진 블로그가 하나든 다섯 개든 있으면 GitHub 이슈를 열어주면 좋겠음
    • planet.kde.org가 언급됐는데, Python 조금과 Hugo 같은 정적 사이트 생성기만 있으면 비슷한 걸 만들기 아주 쉬움
      https://invent.kde.org/websites/planet-kde-org/-/blob/master...
    • 블로그롤과 Planet, 특히 OPML 파일을 공개하는 것들을 수집하는 프로젝트를 하고 있음. 약 100개 Planet 목록이 있음
      https://github.com/robalexdev/rss-blogroll-network/blob/385d...
      이 목록들을 집계하고 보강해서 이 사이트를 만들고 있음: https://alexsci.com/rss-blogroll-network/blogrolls/

  • 5년쯤 전에 만든 개발자 블로그 집계 서비스 diff.blog도 써볼 만함: https://diff.blog
    현재 2000개가 넘는 개발자 블로그를 추적하고 있고, 블로그와 주제도 팔로우할 수 있음

  • RSS를 좋아하지만, 어떻게 더 늘릴 수 있을까? 반쯤 닫힌 정원들이 지배하는 듯함. 좋은 창작자들이 신디케이션을 제공하지 않는 플랫폼에 많이 있음. 소비자로서 어떤 압박을 줄 수 있을까?

    • 모든 Mastodon 계정에는 자동으로 RSS 피드가 있음. 계정 이름 뒤에 .rss만 붙이면 됨
      https://mathstodon.xyz/@ColinTheMathmo.rss
    • 좋은 창작자들에게 신디케이션을 지원하는 플랫폼을 쓰라고 요청하면 됨
    • RSS를 지원하는 플랫폼을 쓰지 않는다면, 그렇게 훌륭한 창작자가 아닐지도 모름

  • RSS가 정말 돌아오고 있는 걸까? 물론 “사라진 적 없었다”고 하겠지만 :) 최근 RSS 관련 글과 댓글이 많음. 몇 주 전에 Mashups를 출시했음
    https://www.mashups.io
    Yahoo Pipes 클론이라 원하는 RSS 피드를 섞고 필터링할 수 있음

  • 이번 주에 RSS 이야기가 정말 많음. 흐름이 생기는 느낌이라 기대됨

    • 비관적으로 들릴 수 있지만, 아닐 가능성이 큼. HN 이용자들은 애초에 RSS를 쓸 가능성이 가장 높은 집단임. 내 비IT 친구들이 올해 RSS를 쓰게 될 정도로 RSS가 부활하리라고는 정말 생각하기 어렵다
    • 이런 문제를 생각하는 사람들 사이에는 알고리즘으로부터 통제권을 되찾고 싶다는 진짜 욕구가 있다고 봄
      그건 현실적임. 다만 HN보다 넓은 대중으로 확장하는 건, 아이디어는 좋지만 가능성이 낮아 보임

  • 웹사이트에 피드가 없을 때는 RSS-Bridge [1]를 써보면 됨. 이미 통합이 있을 수도 있고, 사용자 지정 CSS 선택자로 피드를 만들거나 SEO 사이트맵을 이용해 피드를 생성할 수도 있음
    [1] https://github.com/RSS-Bridge/rss-bridge

  • 읽을 콘텐츠를 찾는 데는 도움이 됨
    하지만 친구들이 뭘 하고 지내는지 알기 쉬웠으면 좋겠음. 처음 듣는 플랫폼에 가입시키고, 영원히 여러 곳에 올리게 하고, 그 플랫폼도 망가지면 또 옮기게 하는 방식 말고
    어려운 문제지만 풀 수 없는 문제는 아닐 것 같고, pg의 “이 큰 문제들을 풀어주세요” 에세이에 들어갈 만함

    • 흥미로운 문제임. 로컬 우선 RSS 리더를 만들고 GitHub로 동기화하는 걸 생각 중임
      내 피드를 바탕으로 개인 피드를 만들고 그것도 GitHub에 게시하는 건 가능해 보임

  • 이건 내 기분 좋은 버튼을 제대로 누름
    아주 새로운 건 아니지만, 어제 NYC Astoria Tech Meetup의 토요일 해킹 세션에서 Subcurrent라는 저장소를 시작했음. 우리 커뮤니티 구성원들의 피드로 만든 피드 집계 페이지를 제공하려는 프로젝트임
    https://github.com/astoria-tech/subcurrent
    Meetup.com이 RSS 피드를 노출하는 줄은 몰랐는데, 우리 그룹이 이벤트를 Meetup.com에 올리니 Subcurrent 인스턴스에 추가할 예정임
    Kill the Newsletter는 처음 들었지만, 보기 전부터 마음에 듦. Substack은 적어도 피드가 있고, 뉴스레터 URL 뒤에 /feed를 붙이면 됨

  • 고급 RSS 리더/브라우저가 웹의 마법을 되살릴 수 있음

    • 내게 그 고급 리더는 Thunderbird임. userchrome.css, 웹 확장, about:config, Firefox 개발자 도구 덕분에 커스터마이징이 엄청나게 좋음
    • 생각하는 고급 리더는 어떤 모습임?

  • 구독하기 전에 사이트의 피드를 찾아 미리 볼 수 있는 편리한 북마클릿임
    https://feedreader.xyz

답변달기