HN 커뮤니티에서 누가 무엇을 알고 있는지 찾기 위한 Hacker News 매핑

40 million embeddings to find who knows what on Hacker News

프로젝트 배경

• 이전 게시물에서 Hacker News의 4천만 개의 게시물과 댓글을 임베딩하여 커뮤니티의 의미 지도를 만들었음
• 커뮤니티가 프로젝트를 지지하며 제안한 내용을 통해 전 세계에서 실제 관계로 빠르게 축소되는 것을 발견했음
• Robert(로버트)와의 대화를 통해 2008년에 사회적 의미 알고리듬을 구축한 그의 작업을 논의했음
• 16년이 지난 지금도 Hacker News와 같은 소셜 네트워크가 주제별로 신뢰할 수 있는 목소리를 계산하고 표시하지 않는다는 점에 놀랐음

주요 질문

• 왜 특정 주제에 대해 가장 잘 아는 사람들을 발견하고 탐색하는 것이 어려운가?
• 그들의 지식의 범위와 유사한 생각을 가진 사람들과의 관계는 어떻게 되는가?

새로운 앱 기능

• 새로운 앱을 통해 Hacker News의 의미 지도를 탐색하고 상호작용할 수 있음 (hn2.wilsonl.in)

발견한 흥미로운 점들

• 사용자 의미 조직화: 커뮤니티의 의미를 사용자로부터 시작하여 유사한 사용자와 함께 HN 기여도를 의미적으로 보여줌
  • 예: robg의 새로운 프로필 확인
• 의미 검색: 누가 무엇을 아는지에 따라 HN의 의미를 검색할 수 있음
  • 예시 쿼리: 스타트업, Go vs Rust 프로그래밍, 신경과학과 수면, 이메일 마케팅
• 커뮤니티 지도 작성: 누가 무엇을 알고 있는지와 관련된 의미를 기반으로 커뮤니티를 지도화할 수 있음
  • 지식이 균일하지 않기 때문에 커뮤니티의 지형을 통해 사람들과 그들이 아는 것을 강조할 수 있음

기술의 잠재력

• 의미를 조직하고, 검색하고, 커뮤니티를 지도화하는 세 가지 기능을 합치면 단어 뒤에 있는 사람들을 보여줄 수 있음
• 세계의 정보를 조직하는 대신, 세계의 사람들을 조직할 수 있음
• 다양한 사회적 지식 도전 과제에 대해 생각하게 만듦
• 프로젝트에 더 많은 진전을 이루면서 함께 탐색하고 싶은 사람들은 대기자 명단에 가입할 것을 권장함

GN⁺의 정리

• 이 프로젝트는 Hacker News 커뮤니티의 의미 지도를 통해 특정 주제에 대한 전문가를 찾고 탐색하는 방법을 제시함
• 사용자 기여도를 의미적으로 분석하여 유사한 사용자와의 관계를 시각화함
• 검색 기능을 통해 특정 주제에 대한 지식을 가진 사람들을 쉽게 찾을 수 있음
• 커뮤니티의 지형을 통해 사람들과 그들이 아는 것을 강조함
• 이 프로젝트는 사람들을 연결하고 지식을 공유하는 새로운 방법을 제공함

[GN⁺]

Hacker News 의견들

• 개인적으로 HN이 개별 사용자보다 콘텐츠와 토론에 집중하는 점이 좋음. 전문가를 팔로우하고 싶다면 Mastodon 같은 소셜 네트워크에서 직접 목록을 만들거나 RSS 피드를 억지로 엮을 것 같음
  이 도구는 지식 있는 전문가보다 활발한 댓글 작성자를 더 잘 골라내는 듯하고, 일회용 계정 문제도 있음. 그래도 멋진 프로젝트임

  • 개인적으로는 사용자 이름을 안 읽음. 댓글에 집중하기 가장 쉬운 방법이고, 아바타나 서명 같은 것이 없는 점도 큰 도움이 됨
    HN에서 누구와 논쟁했는지 전혀 기억하지 못하지만, 분명 몇 번은 있었을 것임
  • 같은 느낌임. 여기에는 아바타 등이 없어서 내용 중심이 되는 점이 좋음
    동시에 원글의 프로젝트도 훌륭하다고 봄
  • 가장 흥미로운 건 빈 공간일 것임. 부재의 경향은 알아차리기 가장 어렵기 때문임. Hacker News가 정량화 가능한 방식으로 놓치고 있는 사각지대는 무엇일까?
  • 팔로우할 전문가 목록을 직접 큐레이션하는 데는 꽤 노력이 듦. 그걸 도와주는 도구가 있으면 좋겠음
    이상적으로는 신뢰할 전문가 목록 없이 콘텐츠만 보면 되겠지만, 예전에는 검색 엔진에 “사용하기 가장 좋은 데이터베이스가 무엇인가”를 치면 유용한 결과가 나오던 시절도 있었음. 이제는 아님. HN은 다른 곳보다 아직 나을 수 있지만, 결국 비슷한 문제를 겪고 있음
  • 비슷한 관심사를 가진 사람들과 더 깊게 연결될 수 있도록 소셜 계층을 한 단계 끌어올릴 수 있다고 봄
    이렇게 하면 단순히 기여만 계산하는 것이 아니라, 그 기여가 다른 사람들과 어떻게 연결되는지도 계산할 수 있음

• https://hn2.wilsonl.in/user/simonw 페이지의 지도 아래쪽에 “Risk of COVID from pianos”가 들어가 있음. 이게 어디서 나온 건지 정말 알고 싶음

  • 이 댓글의 요약처럼 보임: https://news.ycombinator.com/item?id=30105274
    지도의 해당 위치/텍스트 위에 빨간 커서를 확대해서 이동하면, 지도 아래에 원본 댓글이 나타남
  • 혹시 COVID로 인해 피아노가 생길 위험도 있을까?
    팬데믹이 시작됐을 때 사람들이 집에서 하는 취미를 찾으면서 기타와 홈짐 장비 판매가 늘었던 것처럼
  • 내 결과는 꽤 정확해 보임. RDP 가속, 3D 프린터 펌웨어, 터치스크린 Graffiti 제스처, SBC의 메인라인 Linux가 나오는데 전부 내 취미임
    실제 업무인 클라우드 아키텍처, 네트워킹, 그리고 너무 붐비는 분야인 AI에는 거의 댓글을 달지 않음. 이상하게도 Apple 관련 내용은 거의 없는데, 내 블로그를 생각하면 굉장히 아이러니함. 그래서 이 도구는 사람들이 여기서 무엇을 논의하는지는 보여주지만, 반드시 무엇을 아는지는 보여주지 않음
  • 포인트를 더 상호작용 가능하게 만들면 도움이 될지 궁금함

• https://hn2.wilsonl.in/user/c0l0 — 보아하니 나는 변기 뚜껑 설계 최적화 분야의 선도 전문가인 듯함. 무엇이든 물어보셈

  • 여기 이중 물내림 버튼 설계 권위자가 있으니, 일단 물러서야 할 듯
  • 무엇으로 내가 구체적으로 무엇으로 알려졌는지 판단하는 건가?
    내 페이지에는 엄청나게 많은 항목이 있음: https://hn2.wilsonl.in/user/AndrewKemendo
  • 내 결과는 완전히 말도 안 되는 난장판임. 생각해보면 말이 되긴 함. 나도 그렇거든
    https://hn2.wilsonl.in/user/SketchySeaBeast
  • 그건 아무것도 아님. 나는 벽난로 효율 비교 분석으로 세계적으로 유명함
    임베딩을 만들 때 IDF를 써서 희귀한 단어 묶음에 지나치게 큰 가중치를 준 건 아닐까 궁금함

• 최근 관련 글:
  Show HN: 재미로 4천만 개 HN 게시물과 댓글을 매핑·분석해 HN 탐색하기 - https://news.ycombinator.com/item?id=40307519 - 2024년 5월, 댓글 159개

  • HN이 16년의 시간과 전 세계의 거리를 넘어 Wilson과 나를 이어줬다는 점이 놀라움
    HN 같은 커뮤니티가 있기에 인터넷에서 신뢰의 미래에 기대를 걸고 있음

• 프로필 텍스트에서 내 이메일을 뽑아내서 mailto: 링크로 만든 듯한데, 오늘날 LLM 기준으로 충분히 가려져 있지 않았던 건 인정함
  그래도 수집을 더 쉽게 만들어준 셈이니, 저노력 스패머들을 대신해 감사하다고 해야 하나 싶음

  • mailto: 링크를 긁는 저노력 스팸 봇이 아직도 실제로 있는지, 아니면 우리가 이메일 난독화를 카고 컬트처럼 계속하는 건지 궁금함
    그 시절 이후 스팸은 정말 많이 바뀌었는데, 이 전략이 아직도 쓰일까?
  • 기본적인 LLM도 2000년대식 이메일 숨기기 시도는 풀 수 있을 것 같음
    예를 들어 내 친구가 인기 많은 블로그의 연락처 페이지에 “firstname [cute arobase sign] domain.com”이라고 적어둔 식의 난독화 말임
  • 보통 이런 것에 크게 신경 쓰지 않지만, 이건 괜찮지 않음. 내 것도 똑같이 처리했음
    이 기능에서 옵트아웃할 방법이 있나?
  • 내 경우에는 base64 디코딩에 실패했음

• 몇 년 전 여기 올라왔던, 꽤 논란이 됐던 도구가 기억남. 문체 분석과 계량문체학으로 “비슷한 사용자”를 찾아서, 사용자명을 입력하면 아마도 같은 사람의 부계정을 찾아주는 도구였음
  소름 끼칠 정도로 정확했다는데, 적어도 부계정을 가진 친구에게 그렇게 들었음. 이 도구도 그런 용도로 전용될 수 있을까? 각 사용자 아바타에 렌더링된 “지도”를 벡터로 인코딩한 뒤 다른 사용자와 비교할 수 있을 것 같음.
  수정: 잠깐, 이미 그렇게 하는 것 같다는 걸 방금 깨달음. “Explore More Users”가 유사도 순인지 바로 드러나지는 않지만 말임

  • 부계정을 그런 식으로 찾기는 덜 잘될 가능성이 큼. 사람들은 보통 주 계정과 연결하고 싶지 않은 토론에 참여하려고 부계정을 쓰기 때문임
    고용주, 정치, 그 밖의 주제 등 부계정이 참여하는 주제는 달라질 가능성이 높음. 반면 문체는 먹히는 이유가, 노력해도 자기 문체를 근본적으로 바꿀 수 있는 사람이 많지 않기 때문임
  • 아마 이거였던 것 같음: https://news.ycombinator.com/item?id=33755016
  • 몇 년 전에 이런 일을 하는 시스템을 만들었음: https://x.com/austingwalters/status/1041894765439201281
    아이러니하게도 그 당시에도, 그 이후로도 거의 임베딩만 써왔는데 이 시스템은 임베딩을 쓰지 않음. 임베딩의 주된 문제는 시간이 지나며 잘 변하지 않는다는 것임. 조정은 가능하지만 다른 방법만큼 쉽지 않음. 언어에는 업계별 약어가 가득하고, 모델은 바뀌는 표현과 약어에 적응하는 데 대체로 약함. 결국 몇 가지를 더 엮어서 회사로 만들었음: https://ipcopilot.ai
    지금은 데모용으로 Hacker News에서 아이디어를 찾고 있음: https://m.youtube.com/watch?v=B5ymgh-ZDiI&pp=ygUKSXAgY29waWx...
  • 사용자를 어느 정도 요약하는 방식은 흥미로울 것 같음
    예를 들어 user123은 꽤 웃기고, 조리 있게 말하며, TypeScript와 웹 개발에 관심이 있고, 성실성과 외향성 점수가 높다는 식임
  • 흥미롭지만 나도 좀 소름 끼치게 느껴짐. 그런 점을 줄이려면 어떻게 더 잘할 수 있을지 알고 싶음

• 내 사용자명은 『Zen and the Art of Motorcycle Maintenance』에 나오는 화자의 또 다른 자아에서 따왔음. 분석의 칼에 관한 구절과 관련 있음
  “Phædrus was a master with this knife, and used it with dexterity and a sense of power. With a single stroke of analytic thought he split the whole world into parts of his own choosing, split the parts and split the fragments of the parts, finer and finer and finer until he had reduced it to what he wanted it to be. Even the special use of the terms "classic" and "romantic" are examples of his knifemanship.”
  이름이 운명을 만든 건지, 아니면 내가 나를 알아서 그 이름을 고른 건지, 혹은 내가 이 단어들을 너무 많이 쓰는 건지는 몰라도 내 키워드에는 “part, system, level, language, article, object” 등이 들어 있음

• 내 사용자명으로 실제로 파고들어 보기가 조금 어려웠고, 지도 전체에 점을 많이 뿌리는 것 말고는 크게 보여주는 게 없어 보임
  전체 클러스터가 무엇인지 이해하려고 하는데 대부분이 그냥 android/apple/google인 것 같음: https://hn2.wilsonl.in/user/mmastrac

  • 그러면 내가 Apple, Google, Tesla에 전문성이 있다는 건 그다지 독특하지 않은 건가?

• 흥미로움. 내 가장 많은 추천을 받은 댓글이 법률 관련 질문에 대한 것이라는 걸 알아차린 적이 있음. HN 이용자 대부분보다 그쪽 전문성이 상대적으로 더 있기 때문임. 예전에 변호사였음
  이 도구 기준으로는 law/legal/lawyer 상위 댓글 작성자에 들지 않지만, 상위 이름 중 몇몇은 확실히 알아보고 법률 스레드에서 본 기억도 남. 꽤 멋진 도구임

  • HN API에 댓글 점수도 포함되나?

• HN의 가장 좋은 점은 댓글이 꽤 일시적으로 느껴진다는 것임. 내 동의 없이 분석돼서 공개 전시되는 건 마음에 들지 않음
  그 페이지에 나에 대해 특별히 흥미로운 것이 있는 건 아니지만 기분이 이상함. 모든 것을 분석할 필요는 없고, 어디서나 경쟁할 필요도 없음. 내가 말하려는 건 콘텐츠에 집중하고, 누가 말했는지가 중심이 아닌 점이 좋다는 것임. 이걸 보고 내 소개에서 Twitter 핸들을 지웠음. 앱에서 그것도 갱신해주면 고맙겠음

  • “댓글이 꽤 일시적으로 느껴진다”는 말에 대해, 내가 보는 페이지에 HN 댓글이 있으면 불이 켜지는 Google Chrome 확장을 쓰고 있음
    블로그 글을 자연스럽게 발견했는데 그 표시가 켜지면, 몇 년 전에 올라온 글이어도 댓글을 자주 읽음. 유용한 통찰이나 맥락을 얻는 경우가 많음
  • 이걸 읽는 모두에게 참고로, 댓글은 일시적인 것과 정반대임. 아주 짧은 초기 시간 이후에는 삭제하거나 수정할 수 없음
    그래서 여기서 한 말은 무엇이든 영원히 당신과 연결될 수 있고, 실제로 그럴 수도 있음. 직접적으로든, 이 도구가 보여주듯 흐릿한 방식으로든 가능함
  • 그 느낌을 앎. 나도 그렇게 느꼈음
    하지만 어떤 댓글에서든 두 번 클릭하면 이런 질의에 닿는다는 걸 알게 됨: https://news.ycombinator.com/threads?id=RamblingCTO
  • 여기 댓글은 한 번도 일시적이었던 적이 없음
    Hacker News 자체가 수년 동안 무료에 가까운 실시간 API와 여러 대형 데이터셋을 제공해왔고, 그 목적은 누구나 여기 댓글을 쉽게 분석할 수 있게 하는 것임: https://github.com/HackerNews/API
    인터넷에 쓴 어떤 댓글도 일시적이었던 적은 없음. 20년도 더 전에 일시적인 척조차 멈췄음