▲

해커뉴스 게시물의 65%가 부정적 감정을 띠며, 이들이 더 높은 성과를 보임

 (philippdubach.com)
1P by GN⁺ 2일전 | ★ favorite | 댓글 2개
  • 해커뉴스의 게시물 감정 분석 연구에서 전체의 약 65%가 부정적 감정으로 분류되었으며, 이 게시물들이 평균적으로 더 높은 점수를 기록
  • 부정적 게시물의 평균 점수는 35.6점, 전체 평균은 28점으로, 약 27%의 성과 프리미엄이 확인됨
  • 분석은 32,000개 게시물과 34만 개 댓글을 대상으로 진행되었으며, 6종의 모델에서 일관된 부정적 편향이 나타남
  • 사용된 모델에는 DistilBERT, BERT Multi, RoBERTa, Llama 3.1 8B, Mistral 3.1 24B, Gemma 3 12B가 포함되며, 최종 대시보드는 효율성을 이유로 DistilBERT 결과를 사용
  • 기술 비판, 산업 불만, API 좌절 등 건설적 비판 중심의 부정성이 주를 이루며, 이는 참여도와 논쟁성의 상관관계를 시사함

해커뉴스 감정 분석 결과

  • 해커뉴스 게시물의 평균 점수는 28점, 부정적 감정을 띤 게시물은 평균 35.6점으로 더 높은 참여도 기록
    • 부정적 게시물의 성과는 전체 평균 대비 27% 높음
  • 연구는 HN(해커뉴스) 주목도 동역학을 다루며, 감쇠 곡선, 선호적 부착, 생존 확률, 초기 참여 예측 등을 포함
    • 관련 프리프린트 논문은 SSRN에 공개되어 있음

데이터 및 모델 구성

  • 분석 대상은 32,000개 게시물과 340,000개 댓글
  • 전체의 약 65%가 부정적 감정으로 분류됨
    • 연구자는 분류기가 부정적으로 편향되었을 가능성을 언급했으나, 6개 모델 모두에서 동일한 경향이 확인됨
  • 사용된 모델은 DistilBERT, BERT Multi, RoBERTa(트랜스포머 기반)와 Llama 3.1 8B, Mistral 3.1 24B, Gemma 3 12B(LLM 기반)
    • 감정 분포는 모델별로 다르지만, 부정적 치우침이 공통적으로 유지됨
    • 최종 대시보드는 Cloudflare 기반 파이프라인에서 효율적으로 작동하는 DistilBERT 결과를 사용

부정적 감정의 정의와 특성

  • “부정적”으로 분류된 내용은 기술 비판, 발표에 대한 회의, 산업 관행 불만, API 관련 좌절감 등
  • 대부분의 부정성은 인신공격이 아닌 실질적 비판으로 구성
    • 기술적 비판은 개인적 공격과는 다른 성격을 가짐
  • 연구자는 부정성이 참여를 유발하는지, 혹은 논쟁적 콘텐츠가 부정적 표현과 주목을 동시에 끄는지에 대해 양쪽 가능성을 모두 인정

향후 공개 계획

  • 연구자는 전체 코드, 데이터셋, HN 아카이버용 대시보드를 곧 공개 예정
▲
shakespeares 2일전  [-]

사람들은 가십과 노이즈에 더 관심을 가지죠. [included 성급한 일반화]

답변달기
▲
GN⁺ 2일전  [-]
Hacker News 의견들

  • OP의 분류기가 결과에 영향을 주는 두 가지 가정을 하고 있다고 생각함

    1. 회의적인 태도를 부정적으로 묶음
    2. 중립 카테고리를 허용하지 않음
      나는 지금 비판적인 댓글을 쓰고 있지만, 그게 꼭 “부정적”인 건 아님. 오히려 OP의 데이터와 결론이 명확하기 때문에 비판이 가능해진 것임. 이런 식의 건설적 비판이야말로 좋은 논의의 증거라고 생각함
    • OP임 :)
      회의적 태도가 부정적으로 분류되는 건 부분적으로 맞음. SST-2 학습 데이터가 비판적 평가를 부정적으로 간주함. 하지만 여기서 “부정적”은 적대적이 아니라 평가적이라는 의미임. HN의 비판 문화가 이런 모델에서는 부정적으로 읽히지만, 기술 담론의 특성상 자연스러운 현상임.
      중립성은 0.5 근처의 연속 점수로 존재함. HN 사용자가 강한 입장을 취하는 경향이 있어 양극단 분포가 나타남. 향후 3분류 모델을 실험해볼 가치가 있음.
      네 댓글은 비판적이지만 고품질 담론임. HN의 부정성은 적대가 아니라 참여를 이끄는 건설적 비판이라고 봄
    • 나도 회의적 태도가 부정적으로 묶인다는 점을 지적하려 했음. HN의 비판적 시선은 오히려 긍정적인 특성인데, 이런 미묘한 감정 구분은 기술적으로 아직 어려움
    • 정당한 비판도 많지만, “reply guy”-식의 쓸데없는 꼬투리 잡기나 특정 회사에 대한 반복적 불만도 존재함. 이런 건 분류하기 어렵고, Reddit에 비하면 HN은 훨씬 낫다고 느낌
    • OP가 사용한 모델이 정확히 이건지는 모르겠지만, 네 댓글을 99.9% 긍정적으로 분류함
      DistilBERT SST-2 모델 링크
    • 맞음, 비판적 사고가 부정적으로 분류되는 게 문제의 핵심임

  • 내가 올린 부정적 게시물이 중립적이거나 긍정적인 것보다 더 반응이 좋았음.
    “Richard Stallman is Dead”라는 제목이 가장 높은 클릭률을 보였고, 또 다른 모델은 댓글/투표 비율이 0.5 이상일 확률을 예측함. 클릭베이트, 성별 논쟁, 자동차 관련 주제가 특히 강세였음.
    평균 점수가 35라는 건 믿기 어려움. 예전엔 평균이 8 정도였는데, 샘플링 기준이 궁금함

    • 샘플은 지난 35일간의 모든 게시물과 댓글을 hn-archiver API로 수집했음.
      0점짜리 게시물이 누락됐을 가능성이 있어 평균이 높게 나왔을 수 있음. 피드백 고맙고, 논문 출판 전 검토해볼 예정임. 네 클래시파이어도 흥미로움
    • “Richard Stallman is Dead” 예시는 너무 웃김. 예전 신문 헤드라인 “Generalissimo Francisco Franco Is Still Dead”가 떠오름. 물론 RMS는 아직 살아 있음
    • 개인적인 질문인데, 너는 과학 논문을 엄청 자주 올리더라. 하루에 30개 넘게 올린 걸 봤는데, 그걸 다 읽을 수는 없을 텐데 동기와 자료 선별 과정이 궁금함

  • 댓글에서도 비슷한 현상을 봄. 짧고 냉소적인 댓글이 긴 분석글보다 훨씬 반응이 좋음.
    정성 들인 긴 댓글은 무시되고, 즉흥적으로 쓴 짧은 댓글이 “폭발”하는 경우가 많아 실망스러움

    • 내 카르마는 104,872임. HN Leaders와 Best Comments 페이지가 흥미로움.
      HN은 농담을 싫어함, 단 설명이 함께 있을 때만 예외임
    • 긴 글이 항상 좋은 건 아님. 간결함의 미학이 있음. 2,000자보다 20자로 임팩트를 주는 게 더 어렵고 가치 있음
    • 나도 두 계정을 쓰는데, 감정적이거나 즉흥적인 댓글 계정이 메인보다 4배 높은 카르마 효율을 보임. 다만 평균은 낮고 분산이 큼
    • “좋은 콘텐츠가 보상받지 못한다”는 건, 어쩌면 우리가 생각만큼 좋은 콘텐츠를 만들지 못해서일 수도 있음.
      블로그를 운영해보면 이런 참여의 기준을 더 잘 느낄 수 있을 것 같음
    • 나도 이걸 보고 내 업보트 습관을 바꾸려 함. HN에서 조용한 업보트가 동의의 표현인지 궁금함

  • “부정적”이란 게 기술 비판, 산업 불만, API 좌절 등을 포함한다면, HN의 대부분 논의가 그 범주에 들어감.
    OpenAI 홍보글에 “좋아요”만 달면 의미가 없고, 비판적 분석이야말로 가치 있는 참여임.
    댓글 없는 인기글은 오히려 사이트가 잘 작동하고 있다는 증거라고 생각함

    • 데이터만 제시하고 해석은 독자에게 맡긴 점이 좋다고 봄
    • “부정성”을 비판적 vs 독성적으로 구분해야 한다는 데 동의함. 두 개념을 섞는 건 실수임

  • 우리는 스스로 부정적 반응을 선호하도록 필터링함. 긍정적 콘텐츠는 완결적이라 반응을 유도하지 않지만, 부정적 콘텐츠는 상호작용을 유발함

    • 사이트 구조상 단순한 긍정 댓글은 업보트 버튼으로 대체됨
    • “좋아요”만 다는 댓글은 무의미하다고 여겨져서, 결과적으로 중립적이거나 비판적 댓글이 많아짐
    • 인간은 진화적으로 부정적 자극에 민감함. 위험을 무시한 개체는 살아남지 못했기 때문임.
      그래서 부정적 뉴스에 더 끌리고, 긍정적 소식은 그냥 스크롤함. 이게 주의 경제의 핵심임
    • 나는 파괴적인 비판보다 정보를 추가하는 댓글에서 더 많이 배움. 그런 글이 더 새롭고 전문적임
    • (농담조로) “맞아! … 아, 잠깐만”

  • 기술적 비판은 개인 공격과 다름. HN의 부정성은 대부분 건설적 비판임.
    냉소가 지나치면 “불평에 대한 불평”이 꼭 등장함.
    나는 칭찬보다 “이빨에 뭐 꼈다”는 말을 듣는 게 낫다고 생각함

    • 논문이 이 구분을 더 명확히 다뤄야 함. 모델은 “이 API 설계가 잘못됐다”와 “이 회사는 형편없다”를 구분하지 못함.
      HN의 모더레이션이 적대적 콘텐츠를 빨리 제거하기 때문에 남는 건 대부분 생산적 비판임.
      흥미로운 점은, 이런 “부정성”이 27% 더 높은 참여율과 연관된다는 것임. 즉, 기술 커뮤니티는 홍보보다 비판을 가치 있게 여김
      논문에 “부정적 감정”이란 SST-2 모델 기준의 평가적 비판이지, 독성 발언이 아님을 명시할 예정임
    • 냉소는 진실을 말하는 철학이 아님. 사실을 말하는 건 비판이 아님

  • 예전에 Reddit API 접근이 가능할 때, rif 리더 앱으로 부정적 감정의 서브레딧을 차단하는 실험을 했음.
    수백 개를 차단하니 남은 건 동물, 취미 관련 긍정적 콘텐츠뿐이었음. Reddit이 얼마나 부정성 중심인지 깨달았고, 동시에 그게 빠지면 꽤 지루해짐
    차단 목록 링크

    • Reddit의 냉소적 분위기는 전염병 같음. 불행한 사람들이 모여 서로의 절망을 강화함. 대부분 젊고 경험이 적은 층임
    • 논쟁적 콘텐츠가 더 많이 논의되는 건 인간 본성임. 친구의 연애 문제는 길게 듣지만, 잘 지내면 할 말이 없음
    • 나도 정치나 자극적 콘텐츠는 피하고, 취미나 창작 관련 게시물만 봄. Reddit은 정말 혼합된 공간임
    • 45:65 정도의 긍정/부정 비율이 가장 흥미로운 균형이라고 생각함. 50:50이면 콘텐츠가 평범해짐. HN은 그 점에서 소셜미디어보다 낫음
    • 아직도 rif를 씀. Revanced로 API 키를 교체해 사용 중임. Reddit의 AI 미끼형 게시물이 늘어나서 관련 서브레딧을 차단함.
      이런 게시물은 마치 봇이 봇과 대화하는 느낌임. Reddit이 광고 노출을 늘리기 위해 이런 구조를 방치한다고 의심함

  • 인터넷에서 불평하거나 누군가를 교정하는 행위만큼 강력한 조합은 없음.
    ESL(English as a Second Language) 사용자로서 처음 배운 인터넷 용어가 “flamewar”였음

    • ESL이 뭐냐고 묻는 사람도 있었음

  • 논문에 따르면 HN의 관심 불평등이 매우 심함. Gini 계수 0.89로, Twitter보다 높음
    이는 HN의 노출 구조 때문일 가능성이 큼. 새 글은 /newest에서 시작해 초기 소수의 주목을 받지 못하면 사실상 사라짐.
    Reddit처럼 기본 노출이 있는 구조와 달리, HN은 초반 게이트를 통과해야만 메인에 오름

    • 이 구조 덕분에 초기 반응이 성공 예측 지표로 작동함

  • 엔지니어는 문제를 해결하는 직업이라, 자연스럽게 비판적 사고를 하게 됨.
    산업 전시회에서 엔지니어들은 팔짱을 끼고 냉정하게 접근했지만, 메이커 커뮤니티는 긍정적 에너지로 가득했음.
    결국 “유리잔이 반 비었다 vs 반 찼다”의 차이임

답변달기