▲
GN⁺ 4달전 | parent | ★ favorite | on: 해커뉴스 다운(news.ycombinator.com)
Hacker News 의견들

  • 며칠 전 anti-crawler 보호 설정을 완화했더니 서버가 과부하된 것 같음
    원래는 정상 사용자들이 차단되는 걸 막으려던 조치였는데, 너무 완화했던 듯함
    새벽 5시 24분에 PagerDuty 알림을 받고 HN을 확인했을 땐 괜찮아 보여서 문제 해결로 표시했지만, 사실 그때는 그냥 자고 있었음
    오후쯤 더 알아낼 수 있을 것 같음

    • 웃김, Dang이 잠결에도 HN을 관리한다는 게 이제 공식 확인된 셈임
    • 너무 걱정하지 말길 바람. 결국 기사 읽고 댓글 다는 사이트일 뿐임
      잠은 충분히 자야 함. 몇 시간 다운돼도 괜찮음. 늘 고마움
    • 처음 HN이 안 열렸을 때 전 세계적 장애라도 난 줄 알았음
      downforeveryoneorjustme.com/hacker-news에서 확인했는데 짧은 시간에 52건 보고가 있었음
      혹시 누가 그렇게 많이 크롤링했는지 궁금함. DDoS인지, 아니면 AI 회사의 데이터 수집인지
      HN에는 API도 있고 데이터셋도 있는데 굳이 크롤링하는 이유가 흥미로움
    • 미국 기준 수면 시간대에는 알림을 잠시 끄는 운영 정책도 괜찮을 듯함
      HN이 중요하긴 하지만, 새벽에 깨서 대응할 정도의 위험은 크지 않음
      수면 부족의 비용이 꽤 크다는 걸 경험으로 배웠음
    • 사과할 필요 없음. 우리 모두 미루던 일을 잠시 멈출 기회였음

  • HN이 다운되자 무한 루프에 빠졌음
    “HN이 다운됐네 → HN에서 다운 소식 확인해야지 → HN이 다운됐네”의 반복이었음

    • 나도 그랬음. “조금 있으면 복구되겠지” 하며 계속 새로고침하다가 몇 시간 지나버렸음
      이제 루프가 깨져서 다행임
    • 무의식적으로 브라우저를 다시 열고 HN 첫 페이지를 두세 번 확인하는 습관이 있음
    • 웃김, 나는 다운되지 않아도 HN 루프에 빠짐
    • 아침에 일어나서 ‘혹시 지옥에 깬 건가’ 싶었음
    • 너무 큰 사고라도 난 줄 알고 Linux Discord 서버에 물어봤음. “HN이 다운됐는데 큰 장애인가요?” 하고

  • 오늘 새로 알게 된 건, 내 손이 자동으로 Hacker News를 여는 반사 신경을 가졌다는 것임

    • 여기 댓글 읽으면서 배우는 게 제일 많음. 그래서 이 중독이 생긴 듯함
    • 나만 그런 게 아니라 다행임. 브라우저 주소창에 ‘n’만 쳐도 자동완성으로 HN이 뜸
    • 나는 LeechBlock을 써서 새 HN 창을 열 때 5초 지연 타이머를 걸어둠
      포커스를 잃으면 타이머가 실패해서 진짜 속도 조절에 도움됨
      LeechBlock 링크
    • 그 단계를 넘어서 앱 4개를 만들었고, 이제 ARR이 5억 달러에 근접함
    • no procrast mode를 켜서 한 시간에 10분만 HN을 보게 설정했는데 꽤 효과 있었음

  • 아침 루틴에 HN이 없으니 뭔가 허전했음

    • 이게 AWS나 Cloudflare 장애보다 하루에 더 큰 영향을 줬음

  • HNStatus 트위터 계정이 아직 유효한지 궁금했음
    로그인 안 하면 비연대기적 피드만 보여서 쓸모가 거의 없음
    더 나은 상태 확인 방법이 있는지 물어봄

    • 우리가 다운된 걸 알고 몇 분 이상 걸릴 때만 거기에 올림
      이번엔 몰랐음. 관련 내용은 이 댓글에 있음
    • xcancel.com/HNStatus는 고정 트윗 이후엔 순차 정렬만 유지함
      x.com 링크를 xcancel.com으로 바꾸면 훨씬 깔끔함
    • 모바일 앱에서 “Following” 탭의 정렬을 “most recent”로 바꾸면 다시 시간순 피드로 돌아감
      웹에서도 그 설정이 유지됨
    • hn.hund.io도 상태 페이지인데, 이번엔 감지하지 못했음
      글 색이 회색이라 텍스트를 잘 안 읽게 되는 문제도 있음

  • “연말 전에 에러 버짓(error budget) 을 써야 한다”는 농담이 재밌었음

    • 연말에 ‘안 쓰면 사라지는’ 예산 때문에, 예전에 거절됐던 요청들을 급히 처리하던 게 생각남
      결국 반년 동안 제대로 못 쓴 셈임

  • 약 3시간 정도 다운됐던 것 같음
    incident 링크,
    downforeveryoneorjustme.com/hacker-news 참고
    이상하게도 statuspal에는 아무 기록이 없었음
    statuspal 링크

    • 흥미롭게도 로그인하지 않은 상태에서는 사이트가 계속 열렸음

  • 다운됐을 때 “이제 생산적인 하루를 보내겠구나”라는 생각이 들었음

    • 다음엔 비공개 브라우징 모드로 열면 됨
      대부분의 HN 장애는 로그인된 요청에만 영향을 줌
      쿠키를 지워도 되지만, 복구 후 다시 로그인해야 함
    • ㅋㅋㅋㅋ

  • 웹은 안 열렸지만 내 HN CLI 도구는 읽기 전용으로 접속 가능했음
    hnterminal 링크

  • 여러 장애 감지 서비스들이 이번엔 제대로 작동하지 않았음
    신뢰도 대시보드가 필요하다고 느낌

    • 캐싱 때문에 속았던 것 같음. 로그아웃 상태 페이지는 캐시가 강하게 걸려 있어서 정상 응답처럼 보였음
    • 그럼 이제 장애 감지기의 장애 감지기도 필요하겠네
    • 결국 downdetectorsdowndetector.com 같은 게 필요한 셈임