구글 순위에서 급상승한 'Hacker News'

 (jonathanpagel.com)
1P by GN⁺ | ★ favorite | 댓글 1개

해커뉴스의 구글 순위 급상승

  • 해커뉴스가 구글 검색 결과에서 자주 방문하는 포럼임에도 불구하고 이전에는 구글에서 찾을 수 없었음.
  • 구글의 '숨겨진 보석 업데이트'로 인해 유용한 개인적 통찰과 경험을 우선시하는 순위 체계가 변경되었으며, 특히 포럼에 주목함.
  • Reddit과 Quora가 이 업데이트로 인해 많은 트래픽을 얻었다고 알려짐.

해커뉴스의 가시성 변화

  • 영국에서 해커뉴스의 가시성이 162% 상승하고, 미국에서는 75% 증가함을 sistrix와 semrush 같은 도구로 확인함.
  • 해커뉴스가 영어 콘텐츠만 있기 때문에 영국과 미국의 순위를 조사함.

해커뉴스가 높은 순위를 차지하는 내용

  • "GTA가 어디에서 만들어졌는가"에 대한 댓글이 최상위 결과로 나타남.
  • "모나코를 이탈리아어로"라는 질문에 대해 desdiv의 댓글이 1위를 차지함.
  • GRAHAM PANTHER의 기사가 "내 인생을 망쳤다"와 같은 여러 키워드에 대해 잘 순위를 차지하고 있음.
  • 해커뉴스는 브랜드 관련 키워드에서도 잘 나타나며, 예를 들어 YouTube TV의 비용에 대한 모든 질문에서 Google은 thunderbong의 게시물을 선호함.
  • "libgen mirror"와 "4chan"과 같은 특정 키워드에 대해서도 해커뉴스 게시물이 높은 순위를 차지함.

해커뉴스의 비기술 관련 순위

  • 해커뉴스가 기술 관련이 아닌 다양한 주제에 대해 순위에 오르고 있음에 놀람.

해커뉴스의 트래픽과 키워드 순위

  • 영어가 주 언어가 아닌 국가에서 해커뉴스의 성장이 미국보다 훨씬 빠름을 트래픽과 키워드 순위를 통해 확인함.

주목받는 것의 단점

  • 구글 보석 업데이트로 인해 많은 사이트가 스팸의 급증을 경험함.
  • SEO 전문가들이 이제 Reddit 계정, 댓글, 투표를 구매하여 자신들의 사이트를 홍보할 수 있음.
  • 업데이트를 통해 다시 나타난 Google 그룹은 대부분 무료 스핀에 관한 기사를 다루고 있으며, LinkedIn을 비롯한 다른 소셜 플랫폼도 SEO 스패머들의 공격을 받고 있음.
  • 새로운 가시성이 해커뉴스에 너무 큰 영향을 미치지 않기를 바람.

GN⁺의 의견

  • 해커뉴스의 구글 순위 상승은 사용자들에게 유용한 정보를 제공하는 포럼과 커뮤니티의 중요성을 강조함.
  • 구글의 순위 변경은 정보의 질을 높이고 사용자 경험을 향상시키려는 노력의 일환으로 볼 수 있음.
  • 이러한 변화는 SEO 전략에도 영향을 미치며, 콘텐츠의 진정성과 가치를 중시하는 방향으로 SEO가 진화할 필요성을 시사함.

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • Google이 이제 LLM 생성 게시물을 걸러내는 검증 전략으로, 강한 중재 정책을 가진 사이트를 더 신뢰하기 시작한 걸 수도 있지 않을까 싶음
    어쩌면 2022년 11월이 웹 전체에 새로운 종류의 Eternal September가 된 셈일지도 모름

    • 더 나아가 Google에 다른 선택지가 있느냐고 묻고 싶음
      꽤 효과적인 LLM 생성 콘텐츠 탐지기를 만들 수 없다면, 아직 우리가 ‘안다’는 말의 의미에 동의하고 있을 때 인터넷에서 인간이 만든 것으로 알려진 콘텐츠를 캐내야 하는 난감한 문제에 맞닥뜨린 셈임
      https://en.wikipedia.org/wiki/Low-background_steel와 흥미로운 유사성이 있음
    • Reddit의 API 변경 이후 이탈도 영향이 있을 듯함
      좋은 오픈소스나 서드파티 클라이언트에 대한 사람들의 선호를 과소평가하면 안 됨
    • Eternal AI September를 이렇게 정의하고 싶음: 2022년 11월 이전부터 존재했고 같은 종류의 콘텐츠를 계속 올리던 웹사이트는 안전하다고 간주되고, 그 외는 LLM 생성 콘텐츠를 막기 위해 검증 대상이 됨
    • 마찬가지로 HN은 이미 대규모 언어 모델 학습의 중요한 데이터 소스임
      예를 들어 RefinedWeb 논문은 제외된 단 12개 웹사이트 중 하나로 HN을 열거함. 이해한 바로는 HN이 최종 데이터셋에 검증 없이 들어갔기 때문에 제외된 듯하고, RefinedWeb은 Falcon 모델에 사용됐음
      https://arxiv.org/pdf/2306.01116.pdf
    • 온라인에서 보는 텍스트 생성 콘텐츠 상당수가 LLM 생성일 거라고 봄. HN이 여기서 얼마나 예외일지도 확신하기 어렵다
      아마 대부분보다는 낫겠지만, 2024년에는 사람이 쓴 것처럼 보이는 글을 LLM으로 만들어 게시하는 게 너무 쉬움. 2022년 11월 이전 인터넷 대부분은 AI 생성이 아니었고, Seychelles Anon이나 SubredditSimGPT2 같은 일회성 예외 정도만 있었음

  • Brave를 내려받은 뒤 검색창에 “news”를 쳤더니 자동으로 여기로 와서 HN을 쓰기 시작했음
    기사 다양성과 담론의 질에 바로 매료돼서 예상보다 훨씬 오래 머물렀지만, Reddit이나 Xitter처럼 HN도 언젠가는 인기 소셜 미디어의 운명을 겪을 것 같고 그리 오래 걸리지 않을 수도 있음
    핵심은 사회적 통제이고, 독점하지 못하면 이길 수 없음. Dang이 가능한 한 오래 버텨주길 바랄 뿐이며, HN은 인터넷의 Masada가 될 듯함. 물론 4chan도 남아 있긴 하고, 4chan은 다른 모든 소셜 미디어가 죽은 뒤에도 오래 남아 있을 것 같음

    • 새로 왔다면 모를 수 있지만, HN이 Reddit처럼 변하고 있다는 밈은 최소 17년은 됐고, 예전부터 Hacker News Guidelines의 마지막 항목이었음: https://news.ycombinator.com/newsguidelines.html
    • 엔시티피케이션을 막는 단순한 방법은 처음부터 너무 유명해지지 않게 하는 것이고, 그 방법 중 하나는 웹사이트 성능을 조절해 분당 요청 수를 일정량만 처리하게 제한하는 것임
    • dang이 은퇴한 뒤 Hacker News 중재 운영은 어떻게 할 계획인지 아는 사람 있나?

  • 이제 봇들이 HN을 점령해서 자기들이 순위를 올리고 싶은 걸 올리고, 사이트 가치를 망가뜨린다는 이론인가? 방어책은 뭘까?

    • 그게 좀 걱정됨. 솔직히 HN에 스팸이 이렇게 적은 게 놀라워서, 좋은 스팸 방지 시스템이 이미 있을지도 모름
      외부 링크를 모두 nofollow로 설정해서 Google이 무시하게 만들면, 검색 최적화 관점에서 덜 매력적이 될 것 같음
    • 감염된 팔다리를 잘라내듯이 Google 접근을 완전히 막으면 됨
      또는 HN을 활성 분기와 보관 분기로 나누고, 후자는 추천 수 기준을 넘은 글만 Google에 공개하는 방식도 가능함
    • 지난 몇 주 동안 예전보다 암호화폐 사기 게시물을 더 많이 봤음
      금방 dead 처리되긴 하지만, 과거보다 더 빠른 속도로 들어오는 건지 뭔지는 잘 모르겠음
    • HN은 언제든 robots.txt를 바꿔 Google의 크롤링을 막을 수 있음
      카피레프트 성향의 친구들 중에도 Google/Bing 색인을 막으려고 자기 블로그와 사이트에 그렇게 하는 사람이 많음
    • 방어책은 Google 크롤러를 색인 제외시키고 굶기거나 차단하는 것 아닌가? Google 순위 조작은 거기에 없으면 시간 낭비임

  • Kagi에서는 내가 원해서 HN의 검색 순위를 올리고 다른 사이트를 내릴 수 있었지, Google 검색팀 직원이 HN에 대한 슬라이드 덱을 만들어서가 아니었음
    https://help.kagi.com/kagi/features/website-info-personalize...
    매달 쓰는 10달러 중 가장 만족도가 높음

    • 이 댓글 때문에 결국 Kagi를 써봤는데, 와우. 검색엔진에서 내가 얼마나 많은 걸 놓치고 있었는지 몰랐음
      검색에서 웹사이트를 고정하고 차단할 수 있다니, 이제 보면 당연해 보이지만 정말 대단함

  • 여기서 걱정되는 건 Google이 임의의 댓글을 스니펫의 출처로 쓰려는 태도이기도 함
    평균적인 HN 댓글 작성자가 다른 인터넷 사용자보다 댓글과 진실성에 더 공을 들인다는 건 이해하지만, 그래도 문제임
    내 경우 이탈리아어로 Monaco를 검색하면 최상단 “결과”는 Collins Dictionary가 붙은 Google 번역 위젯이고, 상위 3개 링크는 Wikipedia와 Quora였음. HN은 그보다 4~5개 링크 아래에 있음
    그리고 스패머들이 dang을 압도하지 않기를 바람

  • 검색할 때 보통 HN에서 먼저 찾고, 그다음 Google을 통해 Reddit을 찾고, 마지막으로 오래되고 슬픈 Google을 쓰게 됨
    Google이 등장했을 때는 모두가 간절히 기다리던 해답이었고, 우리가 원하던 거의 전부였으며, 심지어 “evil”도 아니었음
    지금은 Google 사람들이 회사에 무슨 일이 생기든 상관없이 연간 보너스 자격을 맞추는 데만 신경 쓰는 느낌임
    앞으로 1~3년 안에 예전 Google처럼 검색 시장을 빼앗는 다른 회사가 나올 거라고 봄. 그래도 Google은 걱정하지 않아도 됨. 그 회사도 “그냥 검색 회사”일 테니까

    • 정말 그렇게 보나? 그 회사가 지금 존재한다고 생각함?

  • Google에게: 우리가 검색어에 site:reddit.com이나 site:news.ycombinator.com을 붙였던 건 SEO 장난꾼들에게 조작되지 않은 의견에 닿기 위해서였음. 이제 대안이 뭐지?

    • 스패머들은 수년간 Reddit을 강하게 노려왔지만, site:reddit.com은 아직도 유용함
      Google이 왜 Reddit을 사지 않았는지 모르겠음. 중재 문제가 있긴 하겠지만, AMZN은 Twitch로 그걸 해냈음
    • age:1year 같은 게 필요함. 기술 관련 검색을 할 때 거의 매번 2014년 StackOverflow 글은 원하지 않음
      상품이나 살 수 있는 뭔가를 검색할 때 바뀐 방식은 말도 꺼내기 싫음. 쇼핑몰 페이지로 가려면 클릭을 4번쯤 해야 하고, 새 탭으로 여는 방식도 하나도 안 먹힘
    • Google의 Hidden Gem 업데이트는 사용자에게 더 유용한 콘텐츠를 가져오는 긍정적 “기회”처럼 포장되고 있지만, 실제로는 알고리즘이 완전히 조작당해 검색 품질이 미친 듯이 악화된 데 대한 방어 기동이라고 봄
      이제 단순한 질의도 눈에 보이는 검색엔진 스팸 산더미를 일상적으로 반환함
      여기에 Google이 어떤 검색어에서는 첫 검색결과 페이지 거의 전체를 후원 콘텐츠로 채우는 상황까지 겹쳐, 유용성이 한 자릿수 배수로 떨어졌음. 이 수치는 내가 꼼꼼하게 계산했음
      그리고 이런 품질 저하는 ChatGPT가 등장한 바로 그 시기에 일어났음. 개인적으로도 점점 더 자주 Google을 완전히 건너뛰고 ChatGPT를 쓰고 있음. 얼마나 많은 사람이 같은지, Big G 쪽에 절박함의 냄새가 나는지도 궁금함
    • 최고급 제품을 찾을 때 Reddit 대신 규모가 작은 편인 YouTuber들을 보기 시작했음
      예를 들어 이 채널은 훌륭함: https://www.youtube.com/channel/UC2rzsm1Qi6N1X-wuOg_p0Ng

  • @dang Google의 관심이 늘어나면 마케터들이 HN의 영향력과 검색 순위를 이용해 영향력 작전을 벌이면서 HN 품질에 하방 압력이 생길 거라고 봄
    robots.txt로 사이트를 색인 제외하는 가능성을 검토해볼 의향이 있는지 궁금함

    • HN은 오래전부터 품질 하락 압력을 받아왔고, 그걸 어떻게 버틸지가 처음부터 핵심 아이디어였음
      HN은 실험입니다. 원칙적으로 커뮤니티 사이트가 인기를 얻으면 품질은 떨어집니다. 우리의 가설은 이것이 필연이 아니라는 것입니다. 의식적으로 하락에 저항하면, 그런 일이 일어나지 않게 할 수 있습니다. - https://news.ycombinator.com/newswelcome.html
      pg가 15년도 더 전에 쓴 글임. 나는 고작 10년 동안 우리가 인터넷 엔트로피의 화살을 막아내려 한다고 말해왔음: https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que... – 영원히 가능하진 않겠지만, 충분한 에너지를 쓰면 한동안은 가능함
      지금까지의 경험상 방법은 헌신적인 커뮤니티, 소프트웨어가 할 수 있는 일을 해주는 소프트웨어, 그리고 시스템을 실패 모드에서 밀어내는 중재의 조합임
      바깥세상으로부터 숨는 건 대체로 답이 아님. pg가 가끔 Erlang Day 같은 트릭을 쓰긴 했지만, 그걸 주 전략으로 삼는 건 절대 밖에 나가지 않아서 감염을 피하려는 것과 비슷함. 가능하다면 튼튼한 면역 체계를 갖는 편이 훨씬 나음. 저항 가능한 병원체를 피하려고만 하면 면역 체계가 약해지고, HN을 새 사용자에게 숨기는 길은 노쇠로 이어짐. 내 생각엔 후자가 더 큰 위협이고, 기존 사용자들이 너무 쉽게 과소평가함
      스팸과 콘텐츠 마케팅 같은 친척들은 규모가 몇 자릿수 커지면 HN을 죽일 수도 있지만, 내 관점에서는 HN에서 가장 어려운 문제가 아님. 그런 것들을 플래그하고, 밖으로 빠져나오면 신고하며, 품질에 민감한 헌신적인 커뮤니티가 있기 때문임. 그런 커뮤니티가 없었다면 HN은 오래전에 죽었을 것임
      훨씬 더 어려운 문제는 저품질 댓글임. 악의적인 사용자를 말하는 게 아니라, 그건 커뮤니티가 잘 플래그하고 신고함. 문제는 원래 괜찮은 사용자들이 의도하지도 깨닫지도 못한 채 쓰는 시시하거나 못된 댓글임. 그런 댓글과 추천 시스템 사이에는 불길한 동역학이 있어서, 더 나쁜 댓글이 더 좋은 댓글보다 더 많이 추천받는 일이 꽤 자주 생기고, 결국 스레드가 잡초로 막힘. 이게 가장 큰 비트이고 내가 더 많이 걱정하는 부분임. Cassandra E Oakley와 그 거래 시스템이나 최신 스타트업 투표 조직 같은 게 아님. 그런 것들이 언젠가 가장 큰 비트가 된다면 우리는 끝장일 수도 있지만, 조정할 만큼 미리 알아차릴 수 있을 것임
      추신: @dang은 작동하지 않음. 이건 우연히 봤을 뿐임. 사실 우연은 아니고 스레드 맨 위에 올라왔기 때문임
    • 여기서는 멘션이 작동하지 않으니 hn [at] ycombinator.com으로 이메일을 보내야 함
      그런데 이걸 할 거라면 모든 AI 봇과 검색엔진도 IP 주소 수준에서 차단해야 함
    • 이 논거는 제대로 펼쳐볼 만함. 동시에 좋은 기여자가 더 많이 들어올 수 있다는 논거도 있어야 함
      실제로 이 글처럼 가시성을 막고 방해하려는 사고방식이 없는 사람이 더 많아지면, 전체 정서로는 순긍정이 될 수 있음
    • 개인적으로도, 그리고 “커뮤니티의 목소리로서의 당신”으로도 완전히 당신 것만은 아닌 것 주위에 벽을 세우려는 것 같음
      링크된 블로그 글은 사실 “HN이 멋있어졌다”가 아니라, Google이 광고 주도 쓰레기에 빠져 있고 품질을 견딜 만하게 유지하려면 수동으로 고른 외부 구조에 의존해야 한다는 내용을 설명함
    • Google의 관심이 늘면 갑자기 추적기가 나타나고 쌓이면서 코드 품질에 엔시티피케이션 압력이 생기고, 결국 웹이 큰 출판사에 팔렸다가 나중에는 AI 학습 회사에 팔릴 거라고 봄
      감시 자본주의 시대에 HN을 보는 건 안도감을 줌
      수정: HN은 Google Tag Manager와 Analytics, Amplitude, branch.io를 사용함

  • HN이 검색결과에 안 나오는 게 늘 이상하다고 생각했음
    여기 콘텐츠는 신호 대 잡음비가 매우 높고 Google의 검색 최적화 항목을 다 충족하는 것처럼 보였음. 그래서 안 보이는 건 의도적인 줄 알았고, dang이 일부러 색인 제외하고 봇을 막는다고 가정했음
    이제 보이기 시작하니 예전으로 돌아갔으면 싶음. 내가 HN을 많이 읽는 유일한 이유는 높은 신뢰를 주기 때문임. 대부분의 댓글 작성자를 모르더라도 콘텐츠를 쉽게 판단하고, 출처를 찾고, 놀라운 도구를 발견하고, 창업자에게서 직접 읽을 수 있음
    정말로, 정말로 첫 페이지가 이제 광고인지 걱정하고 싶지 않음

    • 첫 페이지는 항상 광고였음. 이 웹사이트의 전체 목적이 거의 그거잖아
      도메인 이름만 봐도 그렇고

  • HN이 현재 모습을 넘어 커지면 어떻게 될까? 지금도 첫 페이지는 꽤 빠르게 흘러가고, 글이 금방 묻힘
    가끔 흥미로운 게시물과 댓글을 보고 나중에 시간이 있을 때 돌아오고 싶다고 생각하지만, 그때쯤이면 첫 페이지에서 몇 페이지 뒤로 밀려나 있음

    • 흥미롭게도 하루 제출 수는 2011년 이후 크게 늘지 않았음
      HN의 다른 모든 것은 대체로 선형으로 늘지만, 제출 수는 그렇지 않음
답변달기