Hacker News 데이터로 살펴보는 18년간 기술 트렌드 변화

 (hackernewstrends.com)
4P by baeba | ★ favorite | 댓글 3개
  • Hacker Trends는 Hacker News에 축적된 약 4,500만 건의 게시글과 댓글을 분석하여 특정 기술, 제품, 기업, 인물의 언급량 변화를 시계열로 보여주는 서비스이다.
  • 여러 검색어를 한 그래프에 표시하여 기술 간 경쟁, 시장의 세대교체, 사건에 따른 관심도 급등을 비교할 수 있다.
  • 기술 트렌드는 대체로 신제품 출시, 기업 인수, 라이선스 변경, 보안 사고, 산업 환경 변화와 같은 특정 사건을 중심으로 급격히 상승한다.
  • 장기간의 데이터를 보면 개발 도구와 플랫폼이 한 번에 교체되기보다, 기존 기술의 관심이 감소하고 새로운 기술이 이를 이어받는 형태로 변화한다.
  • 다만 Hacker News의 언급량은 개발자 커뮤니티의 관심도를 나타낼 뿐, 실제 시장점유율이나 기술적 우수성을 직접 증명하지는 않는다.

서론

개발자 담론의 변화를 데이터로 추적한다

  • Hacker Trends는 18년간 Hacker News에서 특정 단어가 얼마나 자주 언급되었는지를 월별 히스토그램으로 제공한다.
  • 사용자는 여러 검색어를 동시에 입력하여 기술과 기업의 관심도 변화를 비교할 수 있다.
  • 특정 월이나 기간을 선택하면 해당 시점의 실제 게시글과 댓글을 확인할 수 있다.
  • 데이터 검색과 집계에는 Upstash Redis Search가 활용되며, 약 4,500만 건의 데이터를 대상으로 한다.
  • 단순한 검색량 그래프에 그치지 않고, 관심도가 상승한 원인이 된 게시글과 사건을 함께 확인할 수 있도록 구성되어 있다.

본론

기술은 세대교체 방식으로 변화한다

  • 개발 도구와 플랫폼의 변화는 기존 기술이 즉시 사라지는 형태보다 새로운 기술이 점차 관심을 가져가는 방식으로 나타난다.

  • 대표적인 사례는 다음과 같다.

    • CoffeeScript의 관심이 감소한 뒤 TypeScript가 JavaScript 확장 언어의 주류로 부상했다.
    • Jenkins 중심의 CI 환경은 2021년 이후 GitHub Actions 중심으로 이동했다.
    • Webpack 중심의 빌드 환경은 2022년 이후 Vite로 관심이 이동했다.
    • Vim 중심의 편집기 생태계에서는 2021년 이후 Neovim이 빠르게 성장했다.
    • MySQL 중심의 데이터베이스 논의는 2017∼2020년을 전후로 PostgreSQL 중심으로 전환되었다.

  • 이러한 변화는 단순한 유행보다 개발 편의성, 성능, 생태계 지원, 배포 방식의 변화가 누적된 결과로 볼 수 있다.

AI 기술은 연속적인 출시 충격으로 성장했다

  • 생성형 AI 분야는 새로운 모델과 서비스가 발표될 때마다 언급량이 단계적으로 상승하는 특징을 보인다.

  • 주요 관심 대상에는 ChatGPT, GPT-4, Claude, Gemini, Llama, Mistral, DeepSeek 등이 포함된다.

  • AI 코딩 도구는 Cursor, Claude Code, Codex 순으로 관심이 이동하는 양상을 보인다.

    • Cursor는 2024년 후반에 높은 관심을 받았다.
    • Claude Code는 2025년 중반에 빠르게 부상했다.
    • Codex는 2026년 초부터 관심이 증가했다.

  • 오픈 모델 분야에서는 Llama가 2023년 시장을 확대했고, 이후 Mistral과 Qwen이 경쟁 구도를 형성했다.

  • AI 분야의 관심도는 성능 향상뿐 아니라 모델 공개, 오픈소스 정책, 기업 간 경쟁, 인수합병과 같은 사건의 영향을 크게 받는다.

인프라 기술은 역할별로 주도권이 이동했다

  • 클라우드와 개발 인프라에서는 동일한 기능을 제공하는 기술 사이에서 주도권이 지속적으로 이동했다.

  • 주요 사례는 다음과 같다.

    • Docker가 2014∼2015년 컨테이너 기술을 대중화한 뒤 Kubernetes가 오케스트레이션의 중심으로 부상했다.
    • Heroku가 초기 간편 배포 시장을 주도했고, 이후 Netlify와 Vercel이 각각 JAMstack과 Next.js 생태계를 기반으로 성장했다.
    • Apache 중심의 웹 서버 환경은 nginx로 이동했으며, 이후 자동 HTTPS를 제공하는 Caddy가 주목받았다.
    • Chef와 Puppet 중심의 서버 설정 관리 시장은 에이전트가 필요 없는 Ansible로 이동했다.
    • 관측성 분야에서는 Prometheus, Grafana, Datadog이 각각 데이터 수집, 시각화, 통합 SaaS 역할을 중심으로 관심을 확대했다.

  • 기술 선택의 기준이 단일 제품의 기능에서 배포 자동화, 관리 편의성, 통합성, 클라우드 적합성으로 확대되었음을 보여준다.

특정 사건이 관심도를 단기간에 증폭시킨다

  • Hacker News의 기술 언급량은 장기적인 성장뿐 아니라 특정 사건으로 인한 일시적인 급등을 보여준다.

  • 대표적인 사건은 다음과 같다.

    • 2023년 Unity의 런타임 요금 정책 발표 당시 Unity뿐 아니라 Unreal과 Godot의 언급량도 동시에 증가했다.
    • Heroku가 2022년 무료 요금제를 종료하면서 관련 논의가 다시 급증했다.
    • Mastodon은 2022년 트위터 인수 이후 사용자 이탈 과정에서 관심이 증가했다.
    • Bluesky는 2024∼2025년 새로운 소셜 플랫폼 대안으로 부상했다.
    • Zoom과 Microsoft Teams는 2020년 코로나19 확산과 원격근무 전환으로 언급량이 급증했다.

  • 경쟁 기술의 관심도 증가는 자체 혁신뿐 아니라 기존 사업자의 정책 실패나 시장 충격에서 발생할 수 있다.

보안 사고는 명확한 시점의 급등으로 나타난다

  • 보안 분야는 장기적인 관심 변화보다 대규모 취약점이나 사고가 발생한 시점에 언급량이 집중되는 특징이 있다.
  • 주요 분석 대상에는 Heartbleed, Log4j, XZ Utils, Spectre, SolarWinds, WannaCry, CrowdStrike 등이 포함된다.
  • 이러한 사건은 취약점 공개, 공급망 공격, 서비스 중단처럼 피해 시점이 분명하기 때문에 그래프에서도 뚜렷한 급등으로 나타난다.
  • 보안 관련 데이터를 이용하면 특정 사건이 개발자와 기업의 기술 선택에 미친 영향을 비교할 수 있다.

라이선스 정책이 오픈소스 생태계를 재편한다

  • 오픈소스 프로젝트의 라이선스 변경은 개발자 커뮤니티의 강한 반응과 새로운 포크 프로젝트의 출현으로 이어진다.

  • 대표적인 사례는 다음과 같다.

    • MongoDB의 SSPL 전환
    • Elastic의 라이선스 변경
    • HashiCorp의 Terraform 라이선스 변경과 OpenTofu의 부상
    • Redis의 라이선스 변경과 Valkey의 등장

  • 라이선스 변경은 법률적 조건의 수정에 그치지 않고, 클라우드 사업자와 개발자 커뮤니티의 신뢰 및 프로젝트 지속성에 영향을 준다.

  • 기술의 관심도는 기능과 성능뿐 아니라 운영 주체의 정책과 거버넌스에 의해서도 결정된다.

산업 환경과 사회적 논쟁도 기술 담론을 변화시킨다

  • Hacker Trends는 프로그래밍 언어와 제품뿐 아니라 산업 환경과 개발 문화의 변화를 함께 다룬다.
  • 산업 관련 주제로는 해고, 경기침체, AI 버블, 재택근무 복귀, 번아웃, 노동조합, 주 4일제 등이 포함된다.
  • 개발 문화 관련 주제로는 기술 부채, 코드 리뷰, 애자일, 스크럼, 마이크로서비스, 서버리스, 모노레포 등이 포함된다.
  • 이러한 주제는 기술 트렌드가 기술 자체의 발전뿐 아니라 고용 환경, 조직 운영 방식, 규제, 사회적 논쟁과 연결되어 있음을 보여준다.

검색 결과의 해석에는 한계가 있다

  • Hacker News의 사용자는 일반 대중보다 개발자, 창업자, 기술 종사자의 비중이 높은 편이므로 결과가 전체 사회의 관심도를 대표하지는 않는다.
  • 특정 단어의 언급량 증가는 긍정적 평가뿐 아니라 비판, 장애, 보안 사고, 정책 논란 때문에 발생할 수도 있다.
  • 동일한 이름을 가진 기술이나 일반 명사가 검색 결과에 포함될 가능성도 있다.
  • 검색량만으로 실제 사용자 수, 매출, 시장점유율, 기술적 성능을 판단하기는 어렵다.
  • 따라서 Hacker Trends는 시장 분석의 최종 근거보다 기술 커뮤니티의 관심 변화와 주요 사건을 탐색하는 보조 자료로 활용하는 것이 적절하다.

결론

기술 변화의 흐름과 원인을 함께 탐색할 수 있다

  • Hacker Trends는 Hacker News의 장기 데이터를 기반으로 기술과 기업에 대한 관심도의 상승과 하락을 시각적으로 비교하는 서비스이다.
  • 분석 결과에서는 편집기, 프로그래밍 언어, 클라우드 플랫폼, 데이터베이스, AI 모델 등 다양한 분야에서 반복적인 세대교체가 확인된다.
  • 관심도 급등은 주로 제품 출시, 기업 인수, 라이선스 변경, 보안 사고, 정책 실패, 사회적 환경 변화와 연결된다.
  • 실제 게시글과 댓글을 함께 제공하기 때문에 단순한 언급량뿐 아니라 당시 개발자들이 기술을 어떻게 평가했는지도 추적할 수 있다.
  • 다만 Hacker News 내부의 관심도를 보여주는 데이터이므로 시장점유율, 사용자 통계, 매출 자료와 결합하여 해석해야 한다.

함께 보면 좋은 글 β

laeyoung   [-]

이렇게 보니 올 2월에 Show HN 게시물이 엄청 많긴 했네요. 다들 연말에 만들고 2월에 몰아서 올렸나.

답변달기
xguru   [-]

그때가 아마 Opus 4.6 이 나오고, 클로드 코드로 만든 것들이 퍼지면서 첫 결과물이 쏟아진 시점인거 같아요.

Show GN도 점점 늘어나는 추세이긴 합니다. 한국도 AI 도움 받아서 만든 것들이 점점 늘어나는듯

답변달기
GN⁺   [-]
Hacker News 의견들

  • Hacker News 데이터를 담은 공개 ClickHouse 데이터베이스를 운영 중이라, https://play.clickhouse.com/play?user=play#U0VMRUNUICogRlJPT...에서 바로 조회할 수 있음
    비슷한 서비스를 SQL 쿼리 하나와 HTML 페이지만으로 만들 수 있고, 어디서든 쿼리 가능한 공개 데이터 레이크도 열어둠: https://github.com/ClickHouse/ClickHouse/issues/29693#issuec...
    실시간으로도 갱신됨

    • HN 약관상 내 HN 데이터는 HN에만 라이선스한 것이므로, 이 데이터셋에서 내 데이터 삭제를 부탁함

  • Google Trends는 검색량을 보는 것이고, 이건 게시된 텍스트를 보는 것이라 다름
    Google Trends가 웹페이지의 단어 출현 횟수를 세거나, Google Ngrams가 책 대신 웹페이지를 세는 쪽에 더 가까움
    사람들은 버거 배달을 원할 때마다 “burger”를 검색하지만, 뉴스 가치가 낮은 것에 대해서는 글을 많이 쓰지 않으므로 두 데이터셋은 같은 방식으로 쓰기 어렵다
    제품 자체가 멋지지 않다는 뜻은 아니고, 사용할 때 이 차이를 염두에 두면 됨

    • 제목과 시각화가 익숙해서 같은 지표처럼 받아들이기 쉬운데, 실제로는 같은 데이터 유형이 아니어서 그 렌즈로 읽으면 잘못된 결론을 내리게 됨
      예시를 내려보다가 왜 어색한지 뒤늦게 깨달았고, 이건 HN 사람들이 실제로 찾는 것이 아니라 현재 무엇에 대해 쓰고 있는지를 보여주는 데이터임
    • 두 데이터셋을 같은 방식으로 쓸 수 없다는 데는 강하게 동의하지 않음
      이 도구는 글과 댓글을 모두 집계하므로, “사람들이 무엇을 더 알고 싶어 하고 토론하고 싶어 하는가”라는 관점에서는 HN 글·댓글이 검색과 꽤 비슷함
      인기 있는 글은 댓글이 많아 관련 용어가 더 올라가고, 뜨지 못한 주제는 관련 댓글이 적어 낮게 잡힘
      실제로 blockchain과 OpenAI를 비교해보면, 2010년대 후반까지 blockchain이 튀다가 ChatGPT 출시 이후 OpenAI가 앞서는 예측 가능한 결과가 나오고, Google Trends 그래프도 꽤 비슷함
    • Hacker News Trends라는 이름은 괜찮지만, 게시물 제목은 조금 오해의 소지가 있어 보임
    • 오히려 Google Ngram Viewer에 더 가까울 수도 있음: https://books.google.com/ngrams/about
    • Algolia가 HN에서 사람들이 실제로 무엇을 검색하는지 데이터셋을 갖고 있다면 그게 딱 맞을 듯함

  • Hug of death가 온 듯함
    /api/hn -> 504 An error occurred with your deployment FUNCTION_INVOCATION_TIMEOUT cle1::c8vgv-1782399959042-aeba3cae05ff

    • 이 프로젝트가 “Highly Available, Infinitely Scalable”을 내세우는 Upstash 광고라면, 가장 피하고 싶을 상황이 바로 hug of death일 듯함
    • /api/hn -> 502 {"error":"Your database has been temporarily rate-limited, please contact support@upstash.com for further details."}
    • 예전에는 이런 걸 그냥 slashdotting이라고 불렀음
    • 다음 오류가 나옴
      /api/hn -> 502 {"error":"Search entry should have an initialized schema, command was: [\"SEARCH.AGGREGATE\",\"hn\",\"{\\\"$or\\\":[{\\\"title\\\":{\\\"$eq\\\":\\\"anthropic\\\",\\\"$boost\\\":5}},{\\\"text\\\":{\\\"$eq\\\":\\\"anthropic\\\"}}]}\",\"{\\\"by_month\\\":{\\\"$dateHistogram\\\":{\\\"field\\\":\\\"time\\\",\\\"fixedInterval\\\":\\\"30d\\\"}},\\\"top_authors\\\":{\\\"$terms\\\":{\\\"field\\\":\\\"by\\\",\\\"size\\\":6}},\\\"by_type\\\":{\\\"$terms\\\":{\\\"field\\\":\\\"type\\\",\\\"size\\\":4}}}\"]"}
    • 몇 번 조회한 뒤에 /api/hn -> 504 An error occurred with your deployment FUNCTION_INVOCATION_TIMEOUT cle1::48fnt-1782412720840-4855b2b75b5a가 나옴

  • /api/hn -> 502 {"error":"Your database has been temporarily rate-limited, please contact support@upstash.com for further details."}가 나옴

  • 멋짐. 여기에는 버그가 있어 보임: https://hackernewstrends.com/?q=vim&q=emacs&q=zed
    어떤 이유로 결과가 2018-10에서 끊기는데, “Popular Comparisons” 미리보기에는 그 이후도 표시됨

    • 수정됨

  • 작업 중인 사이드 프로젝트가 떠오름
    https://gitlab/here_forawhile/torum
    HN과 동기화되는 HN 클론으로, HN에 직접 있지 않아도 HN에 올라온 내용을 바탕으로 더 작은 비공개 커뮤니티에서 토론할 수 있게 해줌
    데이터베이스를 색인하고 검색도 지원해서, 내 관심을 끄는 글을 찾는 데 꽤 유용함

  • 전체량으로 정규화해서, 단순한 사이트 성장 대신 어떤 항목의 변화 자체를 볼 수 있으면 유용하겠음
    지금은 일반적인 단어 하나를 같이 그래프로 그려야 하는데, 잘못 고르면 해석이 더 헷갈릴 수 있음

    • 동의함. 그렇게 하면 훨씬 더 통찰력 있어질 듯함
      그렇지 않으면 사이트가 성장하는 기간의 대부분 검색 결과가 사실상 https://xkcd.com/1138/의 변형처럼 보일 것임
    • 반대로 HN이 시간에 따라 얼마나 성장했는지도 보고 싶음

  • 과학·프런티어 기술 분야에서 lk-99가 크게 튄 것이 재미있음
    멋진 개념이고, 특정 단어를 언급한 각 댓글에 대해 긍정·부정 감성을 계산해주면 좋겠음
    예를 들어 cloudflare (positive)와 cloudflare (negative)의 추이를 나눠 볼 수 있게 하고, 전자는 감성 신뢰도가 0.6보다 큰 댓글만, 후자는 감성 점수가 0.4보다 작은 댓글만 세는 식으로 가능함

  • 재미있는 프로젝트이고 구현도 잘됨. 상대적 규모 보정 옵션이 있으면 좋겠음
    예를 들어 “iPhone” 검색 결과가 2025년쯤 내려가는데, 실제 관심이 줄어든 건지 아니면 그해 Hacker News 댓글 수가 줄어든 건지 알기 어려움
    “the”나 “is” 같은 일반 단어를 검색해보면 후자일 가능성이 커 보임

  • 영숫자가 아닌 문자에는 주의해야 할 듯함
    예를 들어 C# 은 그래프에서는 실제로 C와 매칭되는 것 같은데, 예시 기사 제목에서는 C#만 강조 표시됨

답변달기