2013년에 존재했던 웹페이지 중 38%가 10년 후 접근 불가

• 웹이 영구 기록처럼 보이지만, Pew Research Center 표본에서는 2013~2023년 사이 한때 존재했던 웹페이지의 25% 가 2023년 10월 기준 사라졌고 2013년 페이지는 38% 가 접근 불가였음
• 이번 집계의 접근 불가는 내용 변경이나 접근성 문제가 아니라, 페이지나 호스트 서버가 사라졌음을 명확히 나타내는 9개 오류 코드로 제한됨
• 2023년 봄 정부·뉴스·Wikipedia 링크를 점검하자 뉴스 웹페이지 23%, 정부 웹페이지 21%, English Wikipedia 페이지 54% 가 최소 1개 이상의 깨진 링크를 포함함
• 당시 Twitter였던 X의 공개 트윗 약 500만 개를 3개월 추적한 결과 18% 가 더 이상 공개적으로 보이지 않았고, 그중 60%는 계정 비공개·정지·삭제 때문이었음
• 웹페이지, 공공기관 자료, 뉴스 링크, Wikipedia 참고문헌, 소셜 게시물 전반에서 콘텐츠가 사라지며, 오래된 자료일수록 디지털 부패가 더 뚜렷해짐

---

10년 사이 사라진 웹페이지

• 인터넷은 책, 이미지, 뉴스 기사 같은 현대 생활의 자료 저장소로 쓰이지만, 일부 콘텐츠는 시간이 지나며 보이지 않게 됨
• Pew Research Center는 2013~2023년 사이 존재했던 웹페이지 표본을 대상으로 2023년 10월 기준 접근 가능 여부를 확인함
• 전체 표본에서 한때 존재했던 웹페이지의 25% 가 더 이상 접근 불가였음
  • 16% 는 루트 도메인은 작동하지만 개별 페이지가 접근 불가였음
  • 9% 는 루트 도메인 전체가 더 이상 작동하지 않아 접근할 수 없었음
• 오래된 웹페이지일수록 사라진 비율이 높았음
  • 2013년 스냅샷의 웹페이지는 38% 가 2023년에 접근 불가였음
  • 2023년 스냅샷의 웹페이지는 8% 가 접근 불가였음
  • 2021년 스냅샷의 웹페이지도 약 5분의 1이 2년 뒤 접근 불가였음

접근 불가를 판정한 기준

• 이 분석에서 접근 불가는 페이지가 더 이상 존재하지 않는 경우로 제한됨
  • 호스트 서버 또는 페이지가 사라져 보통 404 Not Found 같은 서버 오류가 나타나는 경우가 해당함
• 다음 경우는 이번 연구 범위 밖임
  • 페이지 주소는 존재하지만 내용이 원래와 크게 달라진 경우
  • 페이지는 존재하지만 시각장애인 등 일부 사용자가 읽기 어렵거나 불가능한 경우
• 웹페이지 상태 판정에는 모호함이 남아 있음
  • 오류 상태 코드는 수십 가지이며, 일부는 영구 소멸인지 일시 장애인지 명확하지 않음
  • 많은 사이트는 보안 이유로 자동화된 데이터 수집을 막음
• 따라서 가장 보수적인 기준을 적용해, 페이지 또는 호스트 서버가 더 이상 존재하지 않거나 비기능 상태임을 명확히 나타내는 9개 오류 코드만 접근 불가로 집계함
• 전체 오류 코드 목록은 methodology에 포함됨

Common Crawl 기반 웹페이지 표본

• 분석은 인터넷 아카이브 서비스 Common Crawl에서 2013~2023년 각 연도별 웹페이지를 무작위로 수집해 진행됨
• 전체 표본은 약 100만 개 미만의 웹페이지였고, 연도별로 약 9만 개씩 포함됨
• 2023년 10월 기준, 2013~2023년 표본 전체의 25% 가 접근 불가였음
• 접근 불가 페이지는 두 유형으로 나뉨
  • 개별 페이지는 사라졌지만 루트 도메인은 작동하는 경우: 16%
  • 루트 도메인 전체가 더 이상 작동하지 않는 경우: 9%
• 시간이 오래 지난 스냅샷일수록 접근 불가 비율이 높았고, 2013년 웹페이지는 38% 가 더 이상 존재하지 않았음

정부 웹사이트의 깨진 링크

• 정부 웹사이트 분석은 Common Crawl의 2023년 3~4월 스냅샷에서 약 50만 개 페이지를 표본으로 삼음
• 표본에는 연방, 주, 지방 등 여러 수준의 정부 웹사이트가 포함됨
• 정부 웹페이지 전체에서 발견된 링크는 4,200만 개였음
  • 86% 는 같은 웹사이트 내 다른 페이지로 연결되는 내부 링크였음
  • 정부 웹페이지 약 4분의 3은 최소 1개 이상의 링크를 포함함
  • 중앙값 기준 페이지당 링크 수는 50개였음
  • 상위 10% 페이지는 190개, 상위 1% 페이지는 740개 링크를 포함했음
• 링크의 형태도 함께 확인됨
  • 대다수는 https://로 시작하는 보안 HTTP 페이지로 연결됨
  • 6% 는 PDF 같은 정적 파일로 연결됨
  • 16% 는 원래 가리키던 URL이 아닌 다른 URL로 리디렉션됨
• 링크를 따라가 확인한 결과, 정부 웹사이트 링크의 6% 는 더 이상 접근 불가였음
• 조사한 정부 웹페이지 전체의 21% 는 최소 1개 이상의 깨진 링크를 포함함
  • 내부 링크와 외부 링크의 비기능 비율은 비슷했음
  • 모든 정부 수준에서 최소 14% 의 페이지에 깨진 링크가 있었음
  • 시 정부 페이지가 깨진 링크 비율이 가장 높았음

뉴스 웹사이트의 깨진 링크

• 뉴스 웹사이트 분석은 comScore가 “News/Information”으로 분류한 2,063개 웹사이트에서 약 50만 개 페이지를 표본으로 삼음
• 페이지는 Common Crawl의 2023년 3~4월 스냅샷에서 수집됨
• 뉴스 사이트 표본에는 외부 웹사이트로 연결되는 링크가 1,400만 개 이상 포함됨
  • 내부 링크는 수집하거나 기능 여부를 확인하지 않았음
  • 뉴스 페이지의 94% 는 최소 1개 이상의 외부 링크를 포함함
  • 중앙값 기준 페이지당 링크 수는 20개였음
  • 링크 수 상위 10% 페이지는 56개 링크를 포함했음
• 뉴스 사이트 링크의 대다수는 https://로 시작하는 보안 HTTP 페이지로 연결됨
  • 약 12% 는 PDF 같은 정적 파일로 연결됨
  • 32% 는 원래 URL이 아닌 다른 URL로 리디렉션됨
  • 정부 사이트 외부 링크의 리디렉션 비율은 39% 였음
• 뉴스 사이트 링크를 추적한 결과, 전체 링크의 5% 가 접근 불가였음
• 표본 뉴스 페이지의 23% 는 최소 1개 이상의 깨진 링크를 포함함
  • 트래픽 상위 20% 뉴스 사이트의 페이지 중 25% 가 최소 1개 깨진 링크를 포함함
  • 트래픽 하위 20% 뉴스 사이트의 페이지 중 26% 가 최소 1개 깨진 링크를 포함함
  • 트래픽 규모에 따른 깨진 링크 비율 차이는 거의 없었음

Wikipedia 참고문헌 링크

• 분석은 English Wikipedia 페이지 5만 개를 무작위로 수집해 “References” 섹션의 링크를 점검함
• 표본 페이지의 82% 는 Wikipedia 외부 웹페이지로 연결되는 참고문헌 링크를 최소 1개 포함함
• 전체 표본에는 참고문헌 링크가 100만 개 조금 넘게 포함됨
• 일반적인 페이지의 참고문헌 링크 수는 4개였음
• Wikipedia 참고문헌 링크 전체의 11% 가 더 이상 접근 불가였음
• 참고문헌 링크가 있는 원본 페이지 중 약 2% 는 모든 링크가 깨졌거나 접근 불가였음
• 또 다른 53% 의 페이지는 최소 1개 이상의 깨진 링크를 포함함

X/Twitter 게시물의 사라짐

• 소셜미디어 분석은 당시 Twitter였던 X에서 2023년 3월 8일~4월 27일 사이 공개 트윗 약 500만 개를 실시간 수집해 진행됨
• 수집에는 Twitter Streaming API가 사용됐고, 30분마다 공개 트윗 3,000개를 수집함
• 추적은 2023년 6월 15일까지 이어졌으며, 각 트윗이 사이트에서 계속 접근 가능한지 매일 확인함
• 관찰 종료 시점에 최초 수집 트윗의 18% 가 더 이상 공개적으로 보이지 않았음
  • 60% 는 원 게시 계정이 비공개 전환, 정지, 삭제된 경우였음
  • 40% 는 계정은 남아 있지만 개별 트윗이 삭제된 경우였음

더 자주 사라진 트윗의 특징

• 특정 언어로 작성된 트윗은 사라질 가능성이 높았음
  • 터키어 트윗은 거의 절반이 추적 종료 시점에 더 이상 접근 불가였음
  • 아랍어 트윗도 이보다 약간 낮은 비율로 사라짐
  • 요약 기준으로 터키어 또는 아랍어 트윗의 40% 이상이 3개월 안에 보이지 않게 됨
• 기본 프로필 설정을 사용하는 계정의 트윗도 더 자주 사라짐
  • 기본 프로필 이미지를 쓰는 계정의 트윗은 절반 이상이 더 이상 접근 불가였음
  • 기본 자기소개 필드를 쓰는 계정의 트윗은 3분의 1 이상이 더 이상 접근 불가였음
  • 이런 계정의 트윗은 개별 트윗 삭제보다 계정 삭제 또는 비공개 전환 때문에 사라지는 경향이 있었음
• 미인증 계정의 트윗도 삭제 또는 제거될 가능성이 더 높았음
• 사라진 트윗은 대체로 더 새롭고, 팔로워가 비교적 적고, 활동량이 적당한 계정에서 게시됨
  • 보이지 않게 된 트윗을 올린 계정은 남아 있는 트윗을 올린 계정보다 평균적으로 약 8개월 더 새 계정이었음
• 리트윗, 인용 트윗, 원본 트윗은 전체 평균과 큰 차이가 없었음
• 답글은 상대적으로 덜 제거됐고, 추적 종료 시점 접근 불가 비율은 12% 였음

트윗이 사라지는 속도와 재등장

• 제거되는 트윗 대부분은 게시 직후 비교적 빠르게 사라짐
• 생존 분석 기준 트윗 제거 시점은 다음과 같았음
  • 게시 후 1시간 안에 1% 제거됨
  • 하루 안에 3% 제거됨
  • 일주일 안에 10% 제거됨
  • 한 달 안에 15% 제거됨
• 최종적으로 제거된 트윗의 절반은 게시 후 6일 안에 접근 불가가 됨
• 최종적으로 제거된 트윗의 90% 는 게시 후 46일 안에 접근 불가가 됨
• 트윗이 항상 영구적으로 사라지는 것은 아님
  • 수집된 트윗의 6% 는 사라졌다가 나중에 다시 접근 가능해짐
  • 계정이 비공개였다가 공개로 돌아오거나, 정지됐다가 복구되는 경우가 원인일 수 있음
  • 다시 나타난 트윗의 90% 는 추적 종료 시점에도 Twitter에서 접근 가능했음

[GN⁺]

Hacker News 의견들

• 웹페이지의 38%가 사라졌다는 것보다 더 큰 문제는 많은 단체·그룹·사업체가 이제 거의 Facebook 페이지만 쓰고, Facebook 밖에는 웹 존재감이 없다는 점임
  결국 그들과 상호작용하려면 Facebook 계정이 필수가 됨

  • 포럼도 똑같이 됐음
    이제 전부 subreddit, Facebook 그룹, Discord 채팅으로 옮겨갔고, 가치 있는 정보가 그런 그룹 안에 숨겨져 있어서 정말 아쉬움
  • Facebook은 멀리 흩어진 가족들과 연락하려고만 씀
    하루에 한 번 무슨 일이 있는지 보는 정도인데, 계정이 있다면 이 링크가 그 일을 훨씬 쉽게 해줌: https://www.facebook.com/?filter=friends
  • 규모가 좀 있는 사업체 중에 Facebook만 쓰는 곳이 실제로 있나 싶음
    내 주변 지역 업체들은 Google Maps에 정보가 꽤 많고, 웹사이트가 있어도 대개 오래됐지만 직접 전화하면 궁금한 건 해결됨
  • 예전 웹의 38%는 다양하고, 숨은 의도가 적고, 좋은 의미의 아마추어들이 만든 공간이었음
    지금은 훨씬 커졌지만 훨씬 더 동질적인 웹에서 그런 비율이 아마 0.00001%쯤일 것 같고, 웹 1.0 사이트가 오늘날의 폐쇄형 “그룹 페이지”보다 낫다고 봄
  • 디지털 메뉴를 Facebook에만 올려둔 식당에 간 적이 있음
    Facebook을 안 쓴다고 했더니 나를 이상한 사람처럼 쳐다봤음

• 그래도 괜찮은 웹사이트들은 오래된 콘텐츠를 보존하려는 노력을 조금은 함
  예를 들어 9/11 공격 당시 CNN과 BBC 보도 페이지가 남아 있음: http://news.bbc.co.uk/hi/english/static/in_depth/americas/20...
  http://edition.cnn.com/SPECIALS/2001/trade.center/index.html
  많은 링크가 제대로 동작하리라 기대하긴 어렵지만, 예전 웹이 어떤 모습이었는지 보는 것만으로도 흥미로움

  • 오래된 BBC 선거 보도의 상호작용 요소 일부는 지금도 거의 동작함
    20년 뒤 오늘날의 많은 사이트가 그렇게 남아 있을 거라고 상상하기는 어렵고, 기술적으로 불가능해서라기보다 워드프로세서 발명 뒤 글쓰기 품질이 나빠진 것과 비슷해 보임
    지금은 모든 것이 관리되고 구조화되어, 쉽게 설명할 수 없는 방식으로 좋은 것을 만들 수 있게 해주던 자유와 거품이 사라진 느낌임

• 오래된 콘텐츠뿐 아니라 여러 콘텐츠를 보존하는 노력을 지원하려면 Internet Archive(archive.org)에 몇 파운드라도 기부하면 좋음
  그리고 가치 있다고 느끼는 것은 언젠가 사라질 경우를 대비해 가능한 한 로컬 복사본을 만들어두는 게 좋음
  20년 넘게 설치를 거치며 옮겨온 내 북마크 파일의 기술 페이지 상당수는 이제 원래 페이지가 사라지기 직전의 마지막 완전 백업으로 연결됨
  Internet Archive는 모두에게 엄청난 혜택임

  • 북마크를 너무 과하게 쓰고 있다는 걸 깨달았음
    이제 나중에 참고하고 싶은 통찰 있는 글, 기술 정보, 유머 같은 정보가 있으면 웹페이지를 PDF 등으로 저장함
    북마크는 최신 버전만 접근할 가치가 있는 것에나 적합함. 은행 사이트, 쇼핑 사이트, 회사 원격 데스크톱 시스템 같은 것들임
  • Internet Archive가 두 개의 독립체로 나뉘면 좋겠음
    하나는 단순히 웹사이트를 보존하고, 다른 하나는 전자책이나 비디오게임의 공격적인 지식재산권 시험 같은 나머지 일을 맡는 식임
    그래야 “다른 쪽”이 소송으로 무너져도 웹사이트 보존은 남을 수 있음. 전자는 인류에 중요한 서비스라 기부도 하지만, 미래가 걱정됨

• 2019년부터 뉴스 웹사이트를 운영하고 있음
  매시간 크롤러가 죽은 링크를 찾고, 하루에 한 개 정도를 archive.org 링크로 바꿈
  가장 웃긴 건 선거 다음 날 후보자 웹사이트들이 전부 빈 페이지가 되는 경우고, 가장 슬픈 건 매주 새벽 3시부터 5시까지 내려가는 정부 웹사이트들임

  • 흥미로운데, 그 크롤러는 매시간 모든 링크를 확인하나, 아니면 묶음 단위로 나눠서 돌리나?

• 오히려 더 높지 않아서 놀랐음
  2013년은 초기 인터넷의 취미 사이트 시대가 한참 지난 뒤였고, 새 사이트 대부분이 사업 목적이던 시기였음
  사업체의 수명을 생각하면 11년 뒤에는 훨씬 더 많은 사이트가 사라졌을 거라고 예상했음
  아마 Angelfire, Geocities 같은 커뮤니티 구축 공간이 많이 죽은 게 큰 비중을 차지했을 수도 있음
  특히 웹사이트가 얼마나 오래 지속되는지 그래프로 보면 흥미로울 것 같음. 초기 콘텐츠는 꽤 많이 남아 있고, 2008~2018년쯤이 사이트 소멸의 정점일 것 같음

  • 초기 콘텐츠 상당수는 이미 오래전에 죽은 플랫폼 위에 있었음
    예를 들면 Geocities, 졸업 후 삭제되는 대학 제공 FTP 폴더, Earthlink·Juno·Comcast 같은 ISP 제공 FTP 폴더들이고, 대부분 삭제됐을 가능성이 큼

• 모든 것이 영원히 남지는 않았으면 함
  얼마 전 90년대에 만든 내 첫 .com을 우연히 찾았는데, Angelfire에 호스팅됐고 archive.org가 성실하게 다시 보존해둔 상태였으며 결과는 상상하는 그대로였음
  초등학교 4학년 때 친구와 만든 웹페이지라 당시 기준으로는 괜찮았지만, 지금 기준으로는 맥락을 이해하더라도 괜찮지 않은 내용들이 있었음
  끔찍한 건 아니었지만, 90년대 초등학생답게 천진하게 몰랐던 데서 나온 취향 나쁜 내용이었고, 아마 양심에서 완전히 지워지지 않을 테니 그냥 감당하면서 아무도 안 보길 바랄 수밖에 없음

  • 나도 비슷한 자료가 있음
    위안이 된다면, 우리 모두 그냥 어린이거나 청소년이었고 세상을 배우는 중이었음
    우리 뒤 세대는 인터넷이 더 접근 가능하고 때로는 더 영구적인 공간이 된 뒤에 자랐으니 더 안쓰럽게 느껴짐
  • 그 고통 이해함
    다행히 archive도 가끔은 자료를 내려줌

• 인터넷의 모든 것은 본질적으로 일시적임
  거기에 맞서기보다 받아들이는 편이 낫고, 뭔가를 보관하고 싶다면 오프라인 복사본을 만들면 됨
  PDF/A, 특히 -1과 -2 버전은 보존을 위해 명시적으로 설계된 형식이고 정적 콘텐츠에는 잘 맞음
  다만 미러링이 웹 스택, 즉 HTTP/HTML에 더 쉽게 내장되어 있지 않은 건 아쉬움. 로컬 복사본을 대체 경로로 포함한 링크를 간단히 만들 수 있었다면 링크 부패는 훨씬 덜 걱정됐을 것임
  Wikipedia가 archive.org를 거쳐 모든 것을 링크하는 방식은 개인적으로 약간 임시방편처럼 보임

• 솔직히 그 정도로 낮다는 게 놀라움
  요즘 웹 대부분은 검색엔진 최적화 쓰레기처럼 보임

  • 가끔 뭔가 실험해보고 작은 웹사이트를 올려놨다가, 잊고 지내다가 더는 관련 없다고 판단되면 내려버리기도 함
    그 자체가 나쁜 건 아님
    그래도 가치 있는 콘텐츠를 위해 우리의 집단 기억을 지켜주는 웹 아카이브 같은 것이 있다는 건 훌륭함
    특히 사건이 벌어질 당시 쓰인 정확한 기록이, 나중에 바뀔 수 없는 어딘가에 보존되길 바람. 요즘은 역사를 다시 쓰는 일이 인기인 듯해서, 당시의 원본 기록을 보존하면 거기에 맞설 수 있음
    설령 그 기록이 완전히 정확하지 않았더라도, 당시 행위자들이 무엇을 진실이라고 믿었는지 이해하는 데 도움이 됨
  • 어떤 것들은 여전히 존재하지만 Google에 더 이상 노출되지 않을 뿐임

• 이것은 우리가 collectively 더 잘 피했어야 할 인터넷의 심각한 실패라고 봄
  대부분의 경우 콘텐츠 자체는 어딘가에 여전히 있고, 단지 링크만 깨졌을 가능성이 큼
  도서관에서 쓰는 DOI 시스템 같은 2계층 시스템이 이런 경우에 도움이 될 수 있음: https://nuim.libguides.com/referencing/DigitalObjectIdentifi...
  다만 URL의 유용성과 편리함을 유지하려면 자동으로 처리돼야 할 텐데, 그게 어떻게 가능할지는 잘 모르겠음

• 이건 버그가 아니라 기능임
  잊지도 용서하지도 않는 세상에서 산다면 끔찍할 것임
  가치 있는 콘텐츠를 보존하려면 어느 정도 노력이 필요하다는 점도 좋음. 그래야 그 가치가 더 인정받음

  • “잊지도 용서하지도 않는 세상”은 별개의 문제이고, 주로 프라이버시에 관한 문제라고 볼 수 있음
    “가치 있는 콘텐츠는 보존 노력이 필요해야 더 가치가 인정된다”는 논리는 거의 모든 것이 비싸야 한다는 주장처럼 보임
    값싼 저장장치는 우리가 파일의 가치를 인정하지 않게 하니 나쁘고, 비싼 의료는 장기의 가치를 실감하게 하니 좋다는 식임
    어려운 부분은 미래에 어떤 콘텐츠가 가치 있다고 여겨질지 내다보는 것임. 지금까지 어떤 인간 문명도 그걸 제대로 알아내지 못했고, 대체로 왕들이 얼마나 위대했는지를 보존하는 데 집중했음
  • Apple이 NeXT를 인수한 날, 인터넷 어딘가에서 아주 웃긴 글을 읽었음
    “Macintosh의 아이들아, Unix 앞에 무릎 꿇어라…”로 시작했고, 글 전체가 성경 같은 문체를 유지하면서 Mac이 NeXT에 정복된 이유를 설명했음
    정말 훌륭한 글이라 가끔 인터넷에서 다시 찾아보려 하지만, 무엇이 사라졌는지는 모르면 알기 어렵다
  • 지난 5천 년 동안 우리가 어디에서 살아왔다고 생각하나?
    Ur의 쓰레기 더미에서 발굴된 쐐기문자 점토판이 있고, 덕분에 Sumer에 대해 아는 적은 지식이나마 남아 있음
    문자의 발명은 망각을 불가능하게 만들었고, Jack Goody, James Carey, David Olson, Barry Powell 같은 인류학자와 Walter Ong 같은 저자들이 이를 깊이 연구했음
    우리는 실제로 대부분 과거에 갇힌 끔찍한 세계에 살고 있고, 문화적 복잡성은 양파 껍질처럼 층층이 쌓임
    누구나 과거로 돌아가 그것을 그리워할 수 있지만, 저장된 지식을 통해 접하는 과거는 직접 경험하지 않은 사람들에게 서로 다른 의미가 됨
    인쇄술 이후 우리는 계속된 정보 인플레이션 속에 살아왔음. 중세 학자들은 인쇄술 때문에 아무나 책을 읽고 쓸 수 있다고 불평했고, 스콜라 학자들은 속어의 부상에 충격을 받았으며, Michelangelo는 Flemish 화가들의 공허한 예술을 불평했음
    여기서 중요한 건 부패가 일어나는 속도임. 글에서는 2013년에 존재하던 사이트의 38%가 사라졌다고 하는데, 겨우 10년임
    그중 얼마나 잡음이고 얼마나 유용한 정보이거나 적어도 흥미로운 콘텐츠였는지 우리는 모름. 이미 사라졌기 때문임
    대형 웹 스크래퍼들이 얼마나 저장했는지, Google이나 Twitter가 얼마나 보관하는지도 알 수 없음
    가치 있는 콘텐츠를 어떻게 정의할 것인가? 단지 반쯤 벗은 여배우 사진이라도 조회수 100만인 트윗인가, 조회수 300의 중대한 발견 트윗인가?
    인터넷이 신문·책·잡지·TV·라디오 편집자라는 문지기를 무너뜨렸을 때 우리는 한없이 기뻐했지만, 그 결과 잡음, 음모론, 밈, TikTok 등에 휩쓸렸음
    문제는 우리에게 쏟아지는 막대한 정보량을 거의 감당하지 못하고, 사람도 너무 많고 취향도 너무 달라 무엇이 가치 있고 아닌지 합의하기 어렵다는 점임
    당신이 말한 “기능”은 설계상 그럴 수 있지만, 유용하거나 도덕적으로 옳다는 뜻은 아님