▲

“스몰 웹(small web)”은 생각보다 훨씬 크다

 (kevinboone.me)
2P by GN⁺ 11시간전 | ★ favorite | 댓글 1개
  • 상업적 목적 없이 개인용 웹사이트와 블로그로 구성된 ‘스몰 웹’이 예상보다 활발히 운영되고 있음
  • Gemini 프로토콜처럼 비상업적 커뮤니티 중심의 대안적 웹 환경이 존재하며, 약 6,000개의 ‘캡슐(capsule)’이 운영 중임
  • Kagi 검색엔진의 Small Web Initiative 목록에는 약 32,000개의 사이트가 포함되어 있으며, 이 중 약 9,000개가 월 1회 이상 업데이트됨
  • 하루 평균 1,200건 이상의 신규 콘텐츠가 게시될 정도로 활동량이 많아, 단일 페이지에서 모든 피드를 집계하는 것은 사실상 불가능함
  • 광고와 기업 추적이 지배하는 인터넷 속에서도 비상업적 개인 웹의 생명력과 성장세가 유지되고 있음

스몰 웹의 개념과 배경

  • ‘스몰 웹’은 일반 웹 브라우저와 서버를 사용하지만 광고나 기업 추적이 없는 개인 사이트를 의미함
    • 상업적 플랫폼이 아닌 개인적, 비영리적 목적의 웹 공간을 지칭
  • 여러 단체와 개인이 인터넷의 일부를 비상업적·개인적 사용으로 되찾기 위한 시도를 진행 중임

Gemini 프로토콜과 비교

  • Gemini는 웹과 완전히 다른 프로토콜과 소프트웨어를 사용하는 시스템으로, 상업적 이용이 거의 불가능함
    • 전 세계 약 6,000개의 Gemini 캡슐이 존재하나, 상당수는 비활성 상태
    • 활성 이용자는 약 100명 수준으로, 대부분 IT 전문가 중심의 소규모 커뮤니티임
  • Gemini에서는 피드(Feed) 를 통해 콘텐츠 업데이트를 알리며, 피드 애그리게이터가 이를 모아 시간순으로 공개함
    • 이러한 구조 덕분에 Gemini 전체의 새 콘텐츠를 한눈에 볼 수 있음

스몰 웹 규모 분석

  • Kagi의 Small Web Initiative는 사용자가 추천한 사이트 목록을 유지하며, 포함 기준 중 하나는 업데이트 피드 제공 여부임
    • 대부분 개인 사이트나 블로그이며, 일부는 Blogger 같은 플랫폼에 호스팅됨
  • 작년에는 약 6,000개 사이트가 등록되어 있었으나, 최근에는 32,000개로 증가
    • 단순 수보다 중요한 것은 업데이트 빈도임

데이터 수집과 결과

  • 피드의 타임스탬프를 기준으로 사이트의 활동성을 분석하기 위해 직접 프로그램을 작성함
    • 타임스탬프가 없거나 비정상 피드를 제공하는 사이트는 제외
    • 유효한 피드를 가진 사이트는 약 25,000개, 월 1회 이상 업데이트하는 사이트는 약 9,000개로 축소됨
  • 3월 15일 기준으로 1,251건의 업데이트가 확인되었으며, 이전 날짜와 큰 차이는 없음
    • 이 업데이트들은 단순 수정이 아닌 새로운 콘텐츠 추가를 의미함

결론: 스몰 웹의 활력과 한계

  • 스몰 웹은 너무 크고 활발해 하루치 업데이트를 한 페이지에 모두 표시하는 것은 비현실적임
    • Gemini처럼 전체 피드를 집계하는 애그리게이터 구현은 현재 규모상 불가능
  • 그러나 이는 동시에 스몰 웹이 여전히 살아 있고 성장 중임을 보여주는 긍정적 신호임
  • 스몰 웹의 본질은 사이트 수가 아니라 상업적 영향이 없는 개인 표현의 공간이라는 점에 있음
    • 광고 중심의 인터넷 속에서도 비상업적 개인 웹사이트의 존재 가치가 유지되고 있음
▲
GN⁺ 11시간전  [-]
Hacker News 의견들

  • 내 ~/.zshrc에 작은 셸 함수 pages() 를 만들어둠
    이 함수는 https://indieblog.page/random에서 무작위로 5개의 개인 블로그를 가져와 보여줌
    macOS에서는 $ open $(pages) 명령으로 기본 브라우저에서 자동으로 열 수도 있음
    또 다른 멋진 개인 웹사이트 탐색처로 Kagi Small Web을 추천함

    • 헉, 그중 하나가 내 사이트였음!
      개인 블로그를 꾸준히 업데이트하는 게 제일 어렵다고 느낌
      새 글이 없어도 기존 글이나 섹션은 자주 수정함
      나도 비슷한 글을 썼는데 Life of a Blog – Blogging in 2024 and Beyond임
      그리고 요즘은 Marginalia Search라는 소규모 오픈소스 검색엔진을 자주 사용함. IndieWeb 콘텐츠 찾기에 아주 좋음
    • 이런 식으로 우연히 웹사이트를 발견하는 게 정말 신선한 느낌임
      알고리즘이 추천하는 콘텐츠보다 개인 블로그 글의 품질이 훨씬 높음. 아무래도 SEO를 의식하지 않기 때문인 듯함
    • 이런 큐레이션 서비스들은 RSS나 Atom 피드가 필요함
      내 사이트엔 그런 게 없어서, Small Web에도 너무 작은 존재인 듯함
    • 첫 번째로 나온 사이트는 1년에 한 번만 업데이트됨
      비판은 아니고, 최근에 갱신돼서 운 좋게 리스트에 포함된 것 같음
    • 너무 마음에 들어서 Arch 환경에 바로 적용함
      indy n 명령으로 n개의 페이지를 브라우저에서 바로 열 수 있게 설정함
      공유해줘서 고마움

  • “Small Web”에서 유행하는 재미있는 트렌드 중 하나는 88x31 배지를 친구 사이트나 webring에 연결하는 것임
    내 사이트 하단(varun.ch)에도 몇 개 있고,
    matdoes.dev/buttons나 eightyeightthirty.one 같은 디렉터리도 있음

    • 이건 30년째 이어지는 아름다운 전통임
      어릴 때 내가 좋아하던 사이트에 내 버튼이 올라갔을 때의 기쁨은 아직도 기억남
    • 그런데 왜 apple.com이나 vercel.com에 링크를 거는지 궁금함
    • 이런 링크의 문제는 유지보수 주기임
      예전에 Terry Tao 블로그의 링크들을 다 눌러봤는데, 50개 중 8개만 살아 있었음
    • 이런 배지에는 픽셀 폰트를 써야 제맛임. 8px에서도 읽기 쉬움

  • 사실 RSS가 “웹사이트가 너무 많다”는 문제를 20년 전에 이미 해결했음

  • Kagi Small Web의 접근 방식 중 마음에 안 드는 점은 업데이트가 드문 사이트를 배제한다는 것임
    내가 좋아하는 블로그 중엔 1년에 한 번만 글을 올려도 훌륭한 곳이 많음
    오랫동안 업데이트가 없어도, 새 글이 올라오면 반드시 읽을 가치가 있음

    • 나와 Scott Alexander의 의견이 다른 부분이 바로 이거임
      잦은 업데이트는 품질 저하의 신호라고 생각함
      매주 독립적이고 근거 있는 글을 쓰는 건 어렵고, 오히려 분노나 공포에 반응한 글이 많아짐
      Scott이 정신과 의사이면서 prolific 블로거였던 건 정말 예외적임
    • 참고로 Kagi의 기준은 마지막 포스팅이 2년 이내인 사이트임
    • 나도 동의함. 가끔은 먼지 쌓인 오래된 사이트를 찾고 싶을 때가 있음
      최신성만 우선시하면 검색 품질이 오히려 나빠짐
    • 또 Kagi는 비영어 사이트를 제외함
      다국어 블로그를 운영하는 입장에선 아쉬움

  • 나는 “Small Web”의 일부가 되고 싶지 않음
    그냥 웹 전체의 일부로 남고 싶음
    굳이 별도의 검색엔진이나 webring에 등록하고 싶지 않음. 90년대에 이미 다 해봤음

    • 나도 같은 생각임
      기존 웹이 변화하길 바라지, 소수만 아는 작은 서클에 머물고 싶진 않음

  • 나는 공공 도서관의 존재 이유에 늘 관심이 많음
    마을 커뮤니티 도서관, 주립 도서관, 그리고 British Library까지 이용 가능함
    이런 기관들이 존재하는 이유를 생각해보면, 공공 호스팅도 같은 원리로 가능하지 않을까 싶음

    • “공공 도서관이 왜 존재하냐”는 질문이 진심인지 궁금함

  • Kagi Small Web에는 약 3만 2천 개의 사이트가 등록되어 있음
    영어권 개인 블로그 대부분을 포착했다고 생각함
    하루에 약 10개씩 추가 중인데, 이 작은 웹의 규모가 이 정도라는 게 조금 슬픔

    • 그래도 아직 긴 꼬리(long tail) 가 남아 있을 거라 생각함
      나처럼 SEO를 신경 안 쓰는 블로그도 많음
    • “대부분을 포착했다”는 말은 좀 순진한 생각 같음
      내 블로그도 리스트에 없으니까 :)
    • 어떤 방식으로 사이트를 찾는지 궁금함
      내 사이트는 Google에선 잘 나오는데 Kagi에는 없음
      아직 잠재적으로 훨씬 많은 사이트가 있을 것 같음
    • Kagi Small Web에서 프레임이나 iframe을 쓰는지 궁금함
      상단 바에 직접 링크가 있으면 북마크하기 편할 것 같음
    • “개인 블로그”의 정의가 궁금함
      기술 지식을 주기적으로 공유하는 블로그도 포함되는지, 아니면 일상 중심인지
      내 사이트가 포함됐는지 확인할 방법이 있는지 알고 싶음

  • 이건 단순히 컴퓨팅 문제로 해결할 수도 있을 듯함
    하루에 1,200개 넘는 피드 업데이트가 있어도, 키워드 화이트리스트나 태그 클라우드 UI를 쓰면 한 페이지로 요약 가능함
    <section class="keywords"> 같은 구조로 나누면, 사용자가 CSS나 스크립트로 관심 콘텐츠만 볼 수도 있음

    • 다만 태그 클라우드 구현이 어려움
      웹 피드가 항상 태그를 제공하지 않기 때문임
      나도 비슷한 블로그 필터를 만들어봤는데 (RSS Blogroll Network),
      UI가 만족스럽지 않았고 분류되지 않은 글이 너무 많았음

  • 예전에 Gemini 프로토콜 기반의 첫 “소셜 네트워크”인 Station을 만들었음
    지금도 martinrue.com/station에서 운영 중임

  • 댓글에서 수익화 반대 의견이 많지만, 꼭 나쁜 건 아니라고 생각함
    대형 플랫폼의 착취적 수익 모델이 문제였을 뿐,
    Small Web에서도 지속 가능한 수익화는 가능함
    관련 내용은 IndieWeb Business Models에 잘 정리되어 있음
    창작자가 보상을 받는 건 자연스러운 일임

    • 나도 동의함. “좋은 것 = 비수익화”라는 인식이 오히려 거대 기업 독점을 낳았다고 봄
      윤리적인 창작자들이 돈을 벌 수 있어야, 비윤리적 광고 네트워크만 남지 않음
    • 사람들은 금방 잊지만, 2000년대 후반엔 윤리적인 광고 네트워크도 있었음
      당시엔 많은 기술 블로거들이 그걸 사용했음
답변달기