해커 뉴스 메인 페이지에서 실시간으로 제거된 기사들

 (github.com/vitoplantamura)
1P by GN⁺ | ★ favorite | 댓글 1개
  • HackerNewsRemovals는 Hacker News Front Page에서 사라진 스토리를 기록해, 외부에서 관찰 가능한 메인 페이지 조정의 유형과 규모를 파악하려는 프로젝트임
  • 서비스는 공식 HN API로 매분 Top Stories 90개를 가져오고, 직전 1분의 상위 30개와 비교해 빠진 스토리를 로그에 남김
  • 핵심 가정은 스토리가 1분 만에 상위 30위에서 90위 밖으로 밀려나기는 어렵고, 그런 경우 명시적으로 제거됐을 가능성이 있다는 것임
  • 중복 스토리 여부는 자동 판별하지 못하며, 중복은 제거의 합리적 이유가 될 수 있으므로 목록을 볼 때 항상 확인해야 함
  • 로그는 최대 1분 지연으로 갱신되고, 스토리가 다시 Front Page에 나타나면 목록에서 제거되며, second-chance pool에 있는 스토리는 제외됨

프로젝트 목적과 문제의식

  • HackerNewsRemovals는 Hacker News Front Page 조정이 어떤 규모와 형태로 일어나는지 이해하기 위한 프로젝트임
  • 외부에서 관찰 가능한 Front Page 조정은 크게 두 가지로 나뉜다고 봄
    • 스토리 제목 수정: 순위 상승에 자발적 또는 비자발적으로 영향을 줄 수 있음
    • Front Page에서 직접 제거
  • 제목 변경 추적은 이미 hackernewstitles.netlify.app에서 제공되므로, 이 프로젝트는 제거된 스토리에 초점을 맞춤
  • 원래는 개인용으로 만든 작은 애플리케이션이었지만, 같은 유형의 정보를 제공하는 도구나 웹사이트를 찾지 못해 공개 저장소로 공개함
  • 비슷한 도구나 웹사이트가 있다면 저장소를 아카이브하거나 비공개로 돌릴 수 있다고 밝힘

2024년 2월 업데이트와 주의점

  • 2024년 2월 4일 업데이트에서 이 프로젝트에 대한 Hacker News 토론 링크를 추가함
  • 2024년 2월 3일 토요일에 제거된 스토리 수는 서비스가 기록한 것 중 가장 낮았고, 여기에는 중복 스토리 2개가 포함됨
  • 목록을 볼 때 스토리가 중복인지 항상 확인해야 함
    • 중복은 제거의 합리적 이유가 될 수 있음
    • 서비스는 중복 여부를 자동으로 판별할 방법이 없음

작동 방식

  • 서비스는 공식 HN API를 사용해 매분 Top Stories 90개를 가져옴
  • 직전 1분에 가져온 상위 30개, 즉 Front Page와 현재 데이터를 비교함
  • 직전 Front Page에 있던 스토리가 현재 Top Stories 90개 안에서 빠졌다면 로그에 기록함
  • 이 방식은 스토리가 1분 만에 상위 30위에서 90위 밖으로 자연스럽게 이동할 수 없다는 가정에 기반함
  • 스토리가 다시 Front Page에 나타나면 해당 항목은 로그에서 제거됨
  • second-chance pool에 있는 스토리는 로그에서 제외됨

기록되는 데이터

  • 제목과 URL은 스토리가 처음 상위 30개에 등장했을 때의 값을 사용함
  • 점수, 댓글 수, 순위는 스토리가 Front Page에서 제거된 시점의 값을 사용함
  • 각 스토리 ID는 news.social-protocols.org 페이지로 연결됨
    • 해당 페이지는 시간에 따른 Front Page 순위 그래프를 제공함
  • 목록은 실시간 갱신되며 최대 지연은 1분임

공개 목록의 형태

  • README에는 날짜별로 제거된 스토리 목록이 이어짐
  • 각 항목은 HN ID, 제거 당시 순위, 점수, 댓글 수, 스토리 제목과 원문 링크를 포함할 수 있음
  • 예시로 2026년 6월 22일부터 27일까지의 항목들이 날짜별로 나열되어 있음
  • 일부 항목은 점수나 댓글 수가 표시되지 않고, 순위와 제목만 나타남
  • 목록을 해석할 때 중복 여부를 확인해야 하며, 서비스 자체는 중복 판별을 자동화하지 않음

프로젝트를 만들게 된 계기

  • OnnxStream 관련 스토리 두 건이 Hacker News에 올라간 뒤 Front Page에서 다른 방식으로 영향을 받았던 사례가 계기였음
  • 첫 번째 스토리는 “Stable Diffusion Turbo on a Raspberry Pi Zero 2 generates an image in 29 minutes”에서 “OnnxStream: Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2”로 제목이 바뀌었고, 새 제목이 스토리의 취지를 반영하지 않는다는 사용자 지적이 있었음
  • 두 번째 스토리는 제출 후 1시간도 안 돼 Front Page 3위에 있었지만 이후 Front Page에서 제거됨
  • @dang은 해당 스토리가 명시적으로 flag 표시가 없더라도 사용자들에 의해 플래그됐고, 플래그 원인은 추정만 가능하다고 답함
  • 이 경험을 바탕으로 현상이 얼마나 자주 발생하는지 확인하려고 작은 콘솔 애플리케이션을 만들었고, 이후 같은 현상을 모니터링하는 공개 도구를 찾지 못해 공개함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 삭제된 글 목록을 보니 여기 모더레이션이 꽤 만족스러움
    전부 선정적이거나, 특정 회사 광고에 가깝거나, 낚시성 제목이거나, 주제에서 크게 벗어났거나 그 조합이었고, 개인적으로 삭제되지 말았어야 한다고 느낀 글은 하나도 없었음

    • 대충 훑어봐도 그 기준에 맞지 않는 글이 몇 개 보임. 예를 들면 Open Source Doesn't Require Providing Builds: https://codeengineered.com/blog/2024/open-source-not-builds/
      Sam Altman Says AI Using Too Much Energy Will Require Breakthrough Energy Source: https://futurism.com/sam-altman-energy-breakthrough
      Avoid Async Rust at All Cost: https://blog.hugpoint.tech/avoid_async_rust.html
      마지막 글은 제목을 덜 과장되게 바꿀 수는 있겠지만, 내용 자체는 흥미로운 의견 글이었음. 이게 모더레이터가 직접 하는 일이라기보다는 스팸 필터의 오탐, 신고 몰이, 또는 추천 조작 방지 장치 때문일 가능성이 더 커 보임
    • 최근 첫 페이지 링크가 조용히 패러디 영상으로 바뀌었다가 나중에 다시 조용히 원래대로 돌아간 걸 봤고, 그 변경을 언급한 최상단 댓글도 조용히 삭제됐음
      이 사이트의 모더레이션에 대해 알아야 할 건 그걸로 충분했음. 다행히 누군가 스크린샷을 남겼음: https://merveilles.town/@cancel/111834048502040552
    • https://www.nasa.gov/solar-system/asteroids/nasa-system-pred...
      정말? 공식 .gov 사이트의 NASA 보고서인데? 댓글이 엉망이었을 수는 있지만, HN이 관심 가질 만한 주제 한가운데처럼 보임
    • 이 목록은 전반적으로 품질 낮은 글이 많아 보임. 흥미로운 경제·정치 링크도 몇 개 있지만, 주제 이탈이거나 불붙는 논쟁을 만들 가능성이 높아서 삭제될 수 있다는 건 충분히 이해됨
      온라인 포럼이 장기적으로 건강하려면 좋은 모더레이션이 필요하다는 건 꽤 분명함. HN은 추천/비추천을 제공하는 강한 커뮤니티와, 대체로 가볍게 개입하지만 필요할 때는 거절할 줄 아는 모더레이션 팀 덕분에 잘해왔음
    • 동의함. 분명히 말하면 그래서 이 제출글에 추천을 눌렀음. 여기서 보는 알고리즘과 모더레이션에 대한 지지처럼 보이기 때문임
      글쓴이는 의심에서 출발했겠지만, 결과적으로는 꽤 좋은 투명성 보고서처럼 작동함

  • “글이 1분 만에 상위 30위에서 90위 밖으로 내려갈 수는 없고, 명시적으로 제거됐을 것이다”라는 가정은 틀렸음
    불붙는 논쟁 감지기, 즉 과열 토론 감지기와 사용자 신고가 그런 일을 만들고, 다른 소프트웨어 메커니즘도 있음. 예를 들어 글이 첫 페이지에 18시간 이상 있었으면, 수동으로 예외 처리하지 않는 한 자동으로 가중치가 내려감. 또 사용자 신고는 [flagged] 표시가 나타나기 훨씬 전부터 제출글 순위에 영향을 줌

    • 사용자 신고가 어떤 특정 주제의 글을 더 넓은 HN 커뮤니티에 노출되기도 전에 눌러버리는 수단으로 쓰이지 않게 어떻게 막고 있음?
      누군가 HN 제출글 실시간 피드를 받아보고, 보이기 싫은 글을 신고한 뒤 친구들에게도 같은 행동을 요청한다고 가정해보자. 이런 행동이 특정인이 무엇이 보일 기회를 얻고 못 얻는지에 부당한 영향을 주지 못하도록 막는 보호 장치가 있나?
    • 사용자 신고가 [flagged] 표시가 뜨기 훨씬 전부터 제출글 순위에 영향을 준다면, 어떤 종류의 사용자 신고가 있고 왜 공개되지 않음?
      사람들은 알아야 함. 그림자 차단은 2010년대에나 어울림

  • 사용자가 이런 걸 만드는 건 문제없음. HN이 작동하는 원칙은 설명하고 방어하기에 충분히 쉽기 때문임. 다만 이 정도로 복잡한 건 필연적으로 난잡하니, 정확히 이해하려면 난잡함에 대한 높은 관용이 필요함
    하지만 여기서 언급한 오류 같은 부정확성은 바로잡는 게 중요함: https://news.ycombinator.com/item?id=39231537. Robin89, 텍스트를 고쳐줄 수 있나? 선의의 잘못된 가정이었다는 건 알지만, 아주 틀렸음
    또 페이지의 HN ID가 실제 HN 스레드로 링크되면 여기 질문에 답하기가 더 쉬울 것 같음. 지금은 social-protocols.org로 연결됨. 물론 어디로 링크하든 자유지만, 여기 질문들을 추적하기가 어렵다. 각자 “X, Y, Z 글은 어떻게 됐고 W, V, J는 또 어떠냐”는 목록을 들고 오고, 원칙적으로는 전부 답하고 싶지만 실제로 처리할 수 있는 양에는 물리적 한계가 있음
    앞으로 몇 시간은 대부분 회의라서, 이 스레드에 파묻히지 않는다면 나중에 질문에 답해보겠음

    • 첫 페이지에 점수는 낮고 오래 살아있지만 순위는 높은, 조작된 듯한 부자연스러운 글들이 몇 개 있음
      이런 부자연스러움과 불투명성은 설령 좋은 이유가 있더라도 사용자에게 순위가 임의적이고 불공정하다고 느끼게 함. 각 글마다 순위나 다른 목록에 어떤 조작이 있었는지 표시할 수 없나? 예를 들어 제출 시간 재설정 같은 건 쉽게 표시할 수 있을 것 같음
    • 그게 틀렸다는 걸 Robin89나 우리가 어떻게 검증할 수 있음? 설명한 가중치 하향은 사용자에게 보이지 않음. 원글 작성자도 알 수 없음
      가중치 하향이 일어난다고 말할 수는 있지만, 우리가 묻는 건 어디서 가중치 하향이 일어나는지 보고 싶다는 것임

  • HN 사용자들이 LLM 관련 뉴스에 질렸다는 걸 믿기 어렵다고 했는데, 나는 질렸으니 믿어도 됨
    다만 질렸다는 이유로 신고하지는 않음

    • moot가 꽤 강하게 내린 모더레이션 결정이 있었는데 정확히 뭔지는 기억 안 나지만, “한 사람의 똥글은 다른 사람의 게시판 문화다”라는 식으로 밀어붙였음
      모더레이션을 생각할 때 그 문장을 자주 떠올림. 사람들은 커뮤니티의 모두가 자기와 비슷하다고 가정하는 경향이 있고, 특정 주제가 얼마나 포화됐는지 감을 잡는 건 사실상 모더레이터뿐임. 그래서 $corporation이 $person_i_like를 금지할 때마다 나오는 무조건적 표현의 자유 밈도 별로 좋아하지 않음. 모든 커뮤니티에는 모더레이션이 필요하고, 잘될 때는 아무 일도 안 일어나는 것처럼 보여서 고마움 받기 어려운 일임
    • 많은 사람이 LLM 관련 뉴스에 질린 건 확실함. 모든 주요 지속 주제에서 이런 일이 생기고, LLM은 그 수준을 훨씬 넘어섰음 [1]
      집단 지성은 반복에 매우 빨리 질림 [2]. 핵심은 쭉정이와 알곡을 가르는 것인데, 여기서 알곡은 중요한 새 정보를 가져오는 글 [3]이고 쭉정이는 엄청나게 많은 후속·모방 글 [4]임
      이 문제에 대한 의견은 아주 넓은 스펙트럼에 있다는 점이 중요함. “$TOPIC 글을 하나도 허용하지 않음”과 “$TOPIC 글을 전부 허용함”이라는 양끝이 있는 슬라이더를 상상하면, 거의 모든 사용자가 서로 다른 위치에 둘 것임. 모든 주제에서 그렇고, 특히 가장 큰 주제일수록 더 그렇다
      첫 페이지 공간은 HN에서 가장 희소한 자원이고 [5], 각 독자는 거기서 보고 싶거나 보고 싶지 않은 선호의 ‘서명’을 다르게 가짐. 그래서 모두를 만족시키는 건 불가능할 뿐 아니라, 누구도 완전히 만족시키는 것도 불가능함. 아무도 첫 페이지와 완벽히 맞지 않고, 혹시 빠르게 반박하려는 사람이 있겠지만 당연히 모더레이터들의 선호와도 완벽히 맞지 않음
      [1] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
      [2] https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...
      [3] https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...
      [4] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
      [5] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
    • 가능하다면 생성형 AI 얘기를 더는 안 들어도 되는 때까지 겨울잠 자고 싶음
    • LLM 관련 뉴스에 질렸음. 기술과 발전은 매력적이지만, 새로운 뭔가를 다룬 글 하나당 사회적 영향, 편향, 딥페이크, 표절 같은 같은 논점을 되풀이하는 글이 수십 개씩 있음
      이런 주제도 어느 정도 관심은 있지만, 대부분의 글은 새로 가져오는 게 없고 최근 위반 사례에 대한 반응성 글일 뿐임
    • LLM으로 뭔가를 만들어 돈을 벌고 있는데도, 나조차 그 얘기를 읽는 데 질렸음

  • LLM 관련 뉴스가 더 필요하다면, 답은 LLM News 웹사이트를 만들고 커뮤니티를 키우는 것 같음
    HN을 정말 좋아하지만 레트로 컴퓨팅과 게임 뉴스가 더 필요해서 HN 소스 코드로 내 사이트(https://twostopbits.com/)를 만들었음. 어렵지 않음. 원하는 걸 만들고 직접 모더레이션하면 됨
    35년 넘게 여러 온라인 커뮤니티에 있었는데, 지금까지 가장 잘 모더레이션되고 오래 성공적으로 운영된 커뮤니티는 단연 HN임. 한동안 The Well도 훌륭했음

    • 이걸 전에는 못 봤는데, 내가 더 원하던 게 정확히 이런 것임. 만들어줘서 고마움
      트래픽이 낮은 커뮤니티가 시작할 때 기대했던 콘텐츠 조합을 실제로 제공한다고 느끼는지 궁금함
    • HN 소스 코드에 모더레이션 도구도 들어 있음? 아니면 기본 순위 알고리즘만 있는 뼈대형 모음 사이트임?
    • 레트로 방향성 아주 멋짐. Workers를 쓰고 있는 건가?

  • 놀랍게도 맞음, 우리도 LLM 관련 뉴스에 질렸음

  • 이 글들 대부분은 사용자 신고로 제거되는 것 아닌가?
    수사적 질문이 아님. 이 스레드에 “모더레이터들”에게 감사하는 댓글이 많은데, 첫 페이지를 가꾸는 모더레이션 팀이 있는 줄은 몰랐음. 누가 확인해줄 수 있나?

    • 맞음. 며칠 전 Gary Tan 스레드에서 dang가 남긴 댓글에 따르면 그렇다:
      “우리가 그 글을 신고한 게 아니라 사용자들이 신고했다. 제출글에 관해서는 거의 항상 그렇다. https://news.ycombinator.com/newsfaq.html 참고”
      https://news.ycombinator.com/item?id=39169622
    • https://www.newyorker.com/news/letter-from-silicon-valley/th...
    • 근본적으로 사람들이 여기 모더레이션을 Reddit식 사고방식으로 이해해서 그런 일이 생긴다고 봄. 모더레이션을 특권적이고 제한된 지위처럼 생각하는데, 그건 틀렸음
      공개적으로 글을 쓰는 단일 관리자인 dang가 있고, 그를 돕는 다른 HN 관리자들이 있을 가능성도 있겠지만, 사람들이 “모더레이터”나 “권력에 취한 모더레이터”, “검열”을 불평하는 경우 99.9%는 다른 사용자들이 당신이 한 말을 봤고, 우리가 그냥 여기서 보고 싶지 않았다는 뜻에 가까움
      가끔 사람들이 무엇을 신고할 수 있는지에 어떤 “규칙”이 있다고 생각하는 것도 이상함. 가이드라인은 분명 있지만, 이 권한은 평범한 사용자 누구나 가진 것이므로 사실상 각자가 의미한다고 보는 대로 쓰임. 예를 들어 나는 주제와 글 자체는 완전히 타당하다고 생각해도, HN에서 그 주제가 논의될 때마다 쓸모없는 불붙는 논쟁이 되거나 최저 품질 댓글로 가득 찼던 글은 자주 신고함. 적어도 내게 신고는 글의 “가치”에 대한 판단이 아니라, 단지 HN에서 보고 싶지 않은 것에 관한 것임
    • 그 애플리케이션이 측정하는 건 그게 아님:
      https://news.ycombinator.com/item?id=39231055

  • “Stable Diffusion Turbo on a Raspberry Pi Zero 2 generates an image in 29 minutes”에서 “OnnxStream: Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2”로 제목이 바뀌면서 사실상 글이 죽었다는 경우나, 제출 1시간도 안 돼 첫 페이지 3위였던 글이 그냥 첫 페이지에서 사라졌다는 경우를 두고 보면, 이런 식으로 반복해서 신고되는 글이 있다면 어느 순간엔 단순히 링크 홍보를 위해 커뮤니티에 스팸을 뿌리는 건 아닌지 생각해봐야 함
    사람들이 자기 작업을 홍보하고 싶어 하는 건 이해하지만, 커뮤니티에도 선호가 있음. 커뮤니티는 매일 LLM 글이 첫 페이지에 오르는 데 질릴 수 있음. 커뮤니티는 스팸을 거부할 수 있고, 글을 신고할 수 있음
    HN 사용자들이 LLM 관련 뉴스에 질렸다는 게 왜 그렇게 믿기 어려운지 모르겠음. 나도 질렸지만 신고 권한은 없음. 신고 권한이 있는 HN 사용자들이 LLM 관련 뉴스를 신고하고 싶어 할 수 있다는 건 아주 그럴듯함

  • 사람들이 LLM 관련 뉴스에 질릴 수 있다는 걸 상상도 못 한다면, 내가 팔 NFT가 하나 있음

  • “글이 1분 만에 상위 30위에서 90위 밖으로 내려갈 수는 없고, 명시적으로 제거됐을 것이다”라는 가정이 유효한지 잘 모르겠음
    https://news.social-protocols.org/stats?id=39094387는 꽤 빨리 30위권으로 떨어진 글처럼 보임. 갑자기 인기 있는 다른 콘텐츠가 생겨서일 수도 있음
    2024년 1월 22일 월요일에 나열된 13개 글을 보면, HN에서 실제로 제거된 것처럼 보이는 건 3개뿐임. 나머지 10개는 아직 존재함
    HP 글 https://news.ycombinator.com/item?id=39087776은 https://news.ycombinator.com/item?id=39060793의 중복이라 첫 페이지에서 밀려난 것 같음
    Ford 글 https://news.social-protocols.org/stats?id=39089599은 잘못 감지된 것으로 보임
    솔직히 13개 중 3~4개만 가능한 모더레이션처럼 보이고, 그것도 나빠 보이지 않음. 텍사스의 철조망 이야기가 Hacker News에 어울리나? 나는 텍사스에 있어서 관심은 있지만, HN이 아니라 다른 곳에서 접할 이야기라고 기대함
    전체적으로는 HN이 모더레이션을 잘하고 있다는 생각이 듦

    • 여기서 “명시적”이 무슨 뜻인지 모르겠음
      사용자 신고 때문에 알고리즘으로 순위가 내려가지만 숨겨지지는 않는다면, 그건 명시적인가? “명시적”은 수동 모더레이터 개입을 뜻하는 것 같지만, 그걸 뒷받침하는 건 별로 안 보임
    • 유효한 가정이 아님. 이걸 최상위 댓글로 올리는 게 낫겠음: https://news.ycombinator.com/item?id=39231537
    • 텍사스에 있으면 잘 못 느낄 수도 있지만, 그건 전국적 이슈임. 헌법, 연방 권한, 심지어 남북전쟁까지 얽혀 있음
      정치적인 건 맞지만 지역 이슈는 아님
답변달기