Google Cache 완전히 중단

• Google이 검색 결과의 캐시 링크에 이어 직접 접근까지 막으면서, 오래된 Google Cache 기능이 사실상 종료됨
• webcache.googleusercontent.com/search?q=cache:... 직접 링크는 최근 12시간 안팎 사이에 작동을 멈췄고, cache: 검색 연산자도 더 이상 사용할 수 없음
• 올해 초 캐시 링크 제거, 2024년 9월 Wayback Machine 링크 추가를 거쳐 Google 검색의 저장 사본 확인 방식이 바뀜
• 여러 사용자는 cache: 요청이 캐시 페이지 대신 검색 결과로 리디렉션되거나, 여러 사이트에서 캐시 사본이 나오지 않는다고 확인함
• 과거 페이지 확인은 Wayback Machine에 더 의존하게 됐고, 사이트 소유자는 Search Console과 Rich Results Test 같은 도구로 Google이 본 페이지를 확인해야 함

---

Google Cache 종료 흐름

• Google이 Google Cache 기능을 완전히 비활성화함
• 올해 초에는 검색 결과 스니펫에서 캐시 링크를 제거함
• 몇 주 전에는 Google 검색 결과에 Wayback Machine 링크를 추가함
• 이후 Google Cache를 직접 여는 링크까지 작동하지 않게 됨
  • 예시 직접 링크는 webcache.googleusercontent.com/search?q=cache%3Aseroundtable.com 형태였음
  • 이 직접 링크는 최근 12시간 안팎 사이에 작동을 멈춤

cache: 연산자도 더 이상 동작하지 않음

• 여러 사용자가 소셜에서 수동 캐시 확인이 불가능해졌다고 공유함
• 일부 요청은 캐시 페이지가 아니라 cache:가 붙은 검색 결과로 리디렉션됨
• 인도에서는 10~20개 이상의 웹사이트를 시도해도 색인된 페이지의 캐시 사본이 나오지 않았다는 사례가 있었음
• Google은 글 게시 이후 cache: 검색 연산자가 더 이상 작동하지 않는다고 공식 확인함
  • Google 문서에는 “The cache: search operator no longer works in Google Search”라고 게시됨
  • 검색 연산자 문서에서도 관련 내용이 제거됨

Google이 밝힌 폐기 이유

• Google Search Liaison의 Danny Sullivan은 이전에 Google Cache 제거를 예고함
• 이 기능은 웹페이지 로딩을 신뢰하기 어려웠던 시기에 사람들이 페이지에 접근하도록 돕던 오래된 기능이었음
• 현재는 웹 접근 안정성이 크게 개선됐기 때문에 폐기 대상이 됨
• Sullivan은 About This Result에 Internet Archive 링크를 추가하길 원한다고 했지만, 당시 확정된 약속은 아니었음
• cache:도 가까운 미래에 사라질 것이라고 했고, 실제 중단까지 약 9개월이 걸림

남아 있는 확인 방법

• Wayback Machine: 과거 웹페이지 버전을 확인하는 대안
• Google Search Console의 URL Inspection: Search Console 계정이 있는 사용자가 자신의 페이지에 대해 Google 크롤러가 본 내용을 확인할 수 있음
• Google의 Rich Results Test: Google이 제공하는 다른 페이지 확인 도구로 활용 가능함

noarchive와 문서 변경

• Danny Sullivan은 cache:가 사라져도 noarchive는 계속 존중한다고 밝힘
• noarchive는 Google 외의 다른 서비스도 사용하기 때문에 그대로 유지됨
• Google은 cache: 연산자 중단을 공식 확인한 뒤 검색 연산자 문서에서도 관련 항목을 제거함

[GN⁺]

Hacker News 의견들

• Google이 Wayback Machine으로 가는 직접 링크를 추가했다면 Internet Archive에 상당한 기부도 하고 있기를 바람
  자기 주력 제품의 기능처럼 쓰면서 트래픽을 많이 보낼 테니, 사실상 그쪽 인프라를 활용하는 셈임
  수정: 자세한 내용은 많지 않지만 협업 중인 듯함 https://blog.archive.org/2024/09/11/new-feature-alert-access...

  • WebArchive 링크는 "About the source" 페이지 안쪽 깊숙이 숨겨져 있어서, Google 사용자 대부분은 존재 자체도 모를 가능성이 큼
    Archive.is, Wayback Machine 등 주요 웹 보관 서비스를 한곳에 묶어주는 Web Archives라는 훌륭한 브라우저 확장도 있음 https://github.com/dessant/web-archives
  • 그 계약이 자금 지원을 조건으로 하지 않았다면 정말 어리석은 일일 것임
    명시되지 않은 이유는 일종의 비밀유지계약 때문이라고 봄. IA도 지금 여러 혼란에 휘말려 있고, Google은 그 일부로 보이고 싶지 않을 테니까
  • Google이 Internet Archive의 주요 자금원이 되지 않기를 바람
    Wayback Machine과 Internet Archive가 편향되지 않았다고 믿고 싶기 때문임
    Google은 마음에 들지 않는 검색 결과를 숨기고, 회사가 지지하는 결과를 올리는 식으로 검색 결과에 영향을 주는 걸 좋아함. Wayback Machine은 지금까지 매우 신뢰할 만했으니 계속 그렇게 남았으면 함
  • IA에 더 필요한 건 돈보다 독립적인 백업 아카이브임
    IA의 자금이 미국 저작권 로비 산업 전체를 압도하지 않는 한, 충분한 예고 없이 사라져서 데이터를 다른 곳에 저장할 시간도 없을 가능성은 늘 있음
    IA가 무엇을 보관할 수 있느냐도 문제임. 기계학습 골드러시 때문에 점점 더 많은 사이트 운영자가 자기 콘텐츠에서 돈 냄새를 맡고 크롤링 허용 대상을 제한하고 있음. Google은 거의 누구도 Google 크롤링을 막을 수 없다는 특별한 위치에 있고, 그래서 IA와 별개로 Google 캐시가 특히 가치 있었음

• 사라져서 매우 아쉬움. 늘 일종의 최후의 수단이었음
  Internet Archive는 훌륭하지만, 주로 사람들이 사이트 저장을 직접 요청하는 데 의존함
  그래서 이미 비트 부패가 진행돼 더 이상 로드되지 않는 좀 더 obscure한 사이트에서는 IA에 아무것도 없을 때도 Google 캐시로 뭔가를 건질 수 있었음

  • IA의 미래가 걱정됨. 도서 대여 정책에서 무모한 행보를 보인 탓에 재정적으로 피를 말릴 공격을 받을 여지를 열어버렸음
    거기에 사이트에 공개적으로 올라와 있는 저작권 침해 자료도 공격받기 딱 좋음
    Nintendo가 거기에 있는 거대한 ROM 덤프를 알게 되는 순간을 기다리고 있음. 좋게 끝나지 않을 것임. 어떤 ‘도덕적 우위’도 변호사들을 막아주지는 못함

• Google Cache는 웹사이트에서 어떤 용어나 키워드를 찾을 수 없을 때도 캐시에는 남아 있는 경우가 있어서 유용했음
  사이트가 내려갔거나 해당 항목이 사라진 경우에도 “아직 Google Cache에는 있어!”라고 할 수 있었는데, 이제는 그 말을 못 함
  요즘 Google을 점점 덜 쓰게 됨. 광고 없이 몇 초 안에 답을 주는 LLM에 그냥 물어볼 수 있는데 굳이 쓸 이유가 뭔가 싶음. 참고자료와 링크를 요청하면 그것도 줌. LLM이 SEO 콘텐츠 농장 링크를 준 적은 없었던 것 같은데, Google 검색에서는 한 페이지 전체가 그런 것처럼 보임. Google Search는 죽기 직전 Yahoo 같고, 어쩌면 그보다 더 나쁘며 Bing으로 대체되기 전 상태처럼 느껴짐

  • 이런 일은 아직도 계속 발생함
    키워드를 검색하고, Google 결과를 보고, Google 미리보기 안에 그 키워드가 있는 걸 확인한 뒤 링크를 클릭하면 실제 페이지에는 키워드가 없음
    숨겨진 SEO 스팸도 아니고, 말 그대로 삭제된 내용임. 캐시가 실시간 결과와 맞지 않는데 대응할 방법이 없음
  • LLM에 광고가 없다는 건 지금은 그렇다는 얘기임
  • Google 색인에는 가끔 페이월이나 쿠키월 뒤의 콘텐츠도 들어 있음
    체코의 주요 사이트 두 곳이 쿠키월을 도입하기 시작했는데, GDPR 위반임에도 현지 개인정보 감독기관이 움직이지 않고 있어서 아마 그 웹사이트들에게 돈을 받은 것처럼 보임

• 캐시는 사이트를 보는 용도뿐 아니라 PDF와 Word 문서의 텍스트 버전을 보는 데도 많이 썼음. RIP

  • 나도 같음. 이 댓글을 보고서야 예전 프로젝트 몇 개가 이제 더 이상 동작하지 않게 된다는 걸 깨달음

• Google은 아직 이 데이터를 전부 갖고 있을 것 같음
  다만 다른 사람이 쓰게 해주지 않을 뿐임
  이게 Google이 자기 모델 학습에는 쓰면서 다른 쪽은 접근하지 못하게 만드는 경쟁 우위가 될 수 있을까?
  Google은 페이지가 다시 쓰였다는 걸 알아차리기 더 어렵게 만들고 싶은 걸까? 기자들이 이 기능으로 가치 있는 정보를 너무 자주 찾아냈던 걸까?

  • Internet Archive가 그런 용도의 상당 부분을 Google에서 가져간 느낌임
    별개로, Google은 Internet Archive에 꽤 큰 기부를 진지하게 고려해야 함
  • 아마도 그럴 수 있음. “캐시된” 콘텐츠는 URL X에 내용 Y가 저장된 데이터베이스 레코드에서 제공했을 가능성이 높고, 사실상 색인한 용어의 미러 사본을 저장한 셈임
    그 미러를 저장하지 않고 검색 색인만 유지하면 저장공간, 입출력, 압축 해제에 드는 CPU를 꽤 아낄 수 있고, 사용자가 더 이상 요청하지 않으니 전체적으로 인프라 비용을 크게 줄일 수 있음
    모델 학습에 Google만 쓸 수 있는 이점이 될 수도 있지만, 예전에도 일반 Google 사용자가 Google의 캐시 데이터를 대량 다운로드할 수 있었는지는 모르겠음. Google 웹페이지나 API에서 차단당하지 않고 그런 일이 가능했을까?
  • Google은 색인 전에 페이지를 꽤 많이 렌더링하는 것으로 이해하고 있음
    그래서 JavaScript로 로드되는 콘텐츠를 색인할 수 있고, 스팸머가 Google과 사용자에게 다른 콘텐츠를 보여주는 일부 방식을 막을 수 있음
    어쩌면 Google이 페이지를 저장하는 주된 방식이 더 이상 캐시 페이지로 쉽게 제공할 수 있는 형태와 맞지 않게 됐을 수 있음. 각 페이지의 레거시 사본을 없애 저장 비용을 줄이는 방법일지도 모름
  • YouTube도 그렇듯 이런 서비스들의 사용자에게 드러나는 기능 범위가 점점 줄어들고, 얻을 수 있는 것도 점점 적어짐
    사용자에게 불리한 방향으로 최적화가 너무 많이 진행되고 있음. 그러는 동안 검색은 여전히 90년대 개념에 뿌리를 두고 있고, 돈 버는 장치로만 기능함

• 아직도 존재했다는 사실이 오히려 놀라움
  Google 결과에서 실제로 열어볼 수 있는 캐시 버전을 본 지 몇 년은 된 것 같음

• Google 검색을 써야 할 이유가 하나 더 줄었음
  돈 찍어내는 기계를 전방위로 망가뜨리는 꽤 탄탄한 노력임

  • Google 검색을 쓰지 않을 이유가 하나 더 늘었음. 마지막으로 쓴 게 언제인지 기억도 안 나고, 아마 12년쯤 전인 듯함

• 제품 지원 정보를 찾을 때 정말 유용했음. 회사들은 자기 웹사이트의 페이지를 자주 내리거나 옮기기 때문임
  Google이 검색 결과로 연결했던 시점의 페이지 버전을 보는 일을 늘 해왔음

• 예전에 무엇이 있었는지 모르게 되면, 슬프게도 역사가 지워짐
  “과거는 바뀔 수 있었다. 과거는 결코 바뀐 적이 없었다. 오세아니아는 동아시아와 전쟁 중이었다. 오세아니아는 언제나 동아시아와 전쟁 중이었다.”
  ― George Orwell, 1984

• 추억이 떠오름. 초기에 WordPress를 새 서버로 옮기던 중 DB 백업이 손상됐던 적이 있음
  Google 캐시 덕분에 블로그 글들을 복구할 수 있었음. 정말 정신없던 시절이었음