# Google이 Bear Blog 전체를 검색 색인에서 제거했지만 이유를 알 수 없음 > Clean Markdown view of GeekNews topic #25039. Use the original source for factual precision when an external source URL is present. ## Metadata - GeekNews HTML: [https://news.hada.io/topic?id=25039](https://news.hada.io/topic?id=25039) - GeekNews Markdown: [https://news.hada.io/topic/25039.md](https://news.hada.io/topic/25039.md) - Type: GN+ - Author: [neo](https://news.hada.io/@neo) - Published: 2025-12-13T09:38:38+09:00 - Updated: 2025-12-13T09:38:38+09:00 - Original source: [journal.james-zhan.com](https://journal.james-zhan.com/google-de-indexed-my-entire-bear-blog-and-i-dont-know-why/) - Points: 1 - Comments: 1 ## Topic Body - 개인 블로그 **blog.james-zhan.com**이 개설 한 달 만에 **Google 검색 색인에서 완전히 제외**됨 - Google Search Console(GSC)에서 RSS 피드 URL을 잘못 검증한 직후, **모든 게시물이 “Crawled – currently not indexed” 상태**로 표시됨 - 도메인 설정, 콘텐츠 품질, 내부 링크 구조 등 **여러 원인 후보를 점검했으나 문제 없음**으로 확인 - Bear Blog 창립자 Herman의 도움으로 **DNS, HTML/CSS, 플랫폼 문제도 배제**되었으며, 다른 검색엔진에서는 정상적으로 색인됨 - 결국 블로그를 새 서브도메인으로 이전하고 **Google의 자연 색인에 맡기기로 결정**, 원인은 여전히 불명확함 --- ### 초기 상황 - 블로그는 10월 4일 개설되어 첫 장문의 **시사 칼럼형 글**을 게시 - Google Search Console(GSC)에 사이트맵을 제출하고 색인 요청을 하자 다음날 바로 검색 결과에 노출됨 - 이후 새 글을 올릴 때마다 색인 요청을 반복했고 정상적으로 반영됨 ### 문제 발생 - 10월 14일, GSC에서 한 URL이 색인되지 않았다는 메시지를 보고 **“Validate” 버튼을 클릭** - 해당 URL은 RSS 피드(`feed/?type=rss`)로, 실제 페이지가 아니었음 - 10월 20일, GSC에서 “일부 수정 실패” 이메일을 받은 뒤 **모든 게시물이 색인 해제**됨 - 상태 메시지는 “Page is not indexed: Crawled – currently not indexed” - 사이트맵 재제출과 개별 URL 색인 요청도 효과 없음 ### 원인 추적 - 색인 검증을 시작한 날과 **전체 게시물 비색인화가 발생한 날이 동일** - RSS 피드 검증 시도가 문제를 일으켰는지 불분명 - 이후 새로 게시한 글도 모두 같은 오류 상태로 남음 - 11월 3일에는 마지막으로 남아 있던 한 게시물마저 색인 해제됨 ### 원인 후보 점검 - **도메인 문제**: GoDaddy에서 사용 중인 `james-zhan.com`은 다른 서브도메인에서 정상 색인됨 → 원인 아님 - **콘텐츠 품질**: 다른 Bear Blog 사례와 비교 시, 콘텐츠 양이나 품질 문제 없음 → 원인 아님 - **내부 링크 부족**: Bear Blog 기본 구조가 동일하며 다른 블로그는 정상 색인 → 원인 아님 - **기타 요인**: Bear Blog 창립자 Herman이 확인한 결과 - DNS, HTML/CSS, 플랫폼 설정 모두 정상 - 사용자 지정 CSS 코드도 색인에 영향 없음 ### 다른 검색엔진 및 조치 - DuckDuckGo, Bing, Brave 등에서는 **정상적으로 블로그가 색인**됨 - 기술적 결함이 아닌 Google 측 문제로 추정 - 블로그를 **새 서브도메인(journal.james-zhan.com)** 으로 이전하고 - GoDaddy에서 Porkbun으로 도메인 이전 - URL 포워딩을 설정해 기존 링크가 새 블로그로 자동 연결되도록 구성 - 새 블로그는 GSC에 사이트맵을 제출하지 않고 **자연 색인에 맡김** - 원인은 여전히 밝혀지지 않았으며, 작성자는 **Google 색인 시스템의 불투명성**에 의문을 제기함 ## Comments ### Comment 47665 - Author: neo - Created: 2025-12-13T09:38:38+09:00 - Points: 1 ###### [Hacker News 의견들](https://news.ycombinator.com/item?id=46239752) - 올해 내 블로그 트래픽이 급감했음. 원인을 추적해보니 두 가지가 있었음 1) **AI Overview** 때문임. 노출과 순위는 그대로인데 클릭률이 급락했음. 사용자가 요약만 읽고 클릭하지 않음 2) **스팸 노출 문제**였음. 검색 페이지에서 사용자 쿼리가 h1로 표시되어 구글이 그걸 스팸 콘텐츠로 인식했음. AI Overview는 내가 제어할 수 없지만, 검색 페이지에는 `noindex`를 추가했더니 일주일 만에 트래픽이 회복됨 자세한 내용은 [내 블로그 글](https://idiallo.com/blog/how-i-became-a-spammer)에 정리했음 - 두 번째 문제는 **Negative SEO 공격** 같음. `/search` 페이지가 캐시되어 크롤러에 노출된 듯함. 검색 페이지는 캐시하지 말고, [X-Robots-Tag로 noindex](https://developers.google.com/search/docs/crawling-indexing/block-indexing)를 적용하는 게 좋음 - 9월쯤 **Google의 클릭·노출 집계 방식 변경**이 있었음. 이전 데이터와 비교가 불가능하다고 함. 앞으로는 자체 **분석 도구**로 트래픽을 추적해야 할 것 같음 - Google이 이 상황을 오래전부터 계획한 게 아닌가 싶음. 1) SEO 사이트를 늘려 유용한 콘텐츠를 아래로 밀고 2) 광고를 상단에 배치해 더 밀어내고 3) **AI 요약**을 도입해 사용자가 클릭할 이유를 없앰 이제 사람들은 요약과 광고만 보고 떠남 - 궁금한 점이 있음. 누군가 내 블로그에서 “crypto”를 검색했을 때, 어떻게 그 결과 페이지가 구글에 인덱싱되는 걸까? 혹시 다른 사이트에서 그 검색 URL로 링크를 걸어 크롤링된 걸까? - AI Overview는 사라지지 않을 것 같음. 일반 사용자들은 요약만 읽음. 구글이 요약 문장에 **출처 링크**를 걸어주면 클릭률이 조금은 회복될 것 같음 - 이 사례가 사실 여부와 상관없이, **Google의 불투명한 제재 구조**가 문제임 사이트가 제재를 받았을 때 이유를 알 수도, 이의 제기를 할 수도 없음. 구글은 사실상 **게이트키퍼(Gatekeeper)** 역할을 하고 있음. 공공재처럼 작동하는 만큼, 이에 걸맞은 **지원 체계와 책임**이 필요함. 규제가 만능은 아니지만, 이런 유틸리티급 기업에는 최소한의 **접근 보장 의무**가 있어야 함 - 이건 게이트키퍼 문제라기보다 **독점 문제**에 가까움. 구글은 인덱서와 검색 도구를 모두 소유하고 있음 - 구글이 윤리적 책임을 느낀다면, 광고 입찰 경쟁을 완화해 **정상 사이트가 첫 페이지에 노출**되도록 해야 함. 지금은 광고비를 내야만 검색에서 보이는 구조임 - 6개월 전 Ahrefs의 권고로 URL 경로의 **유니코드 문자**를 제거하고 리디렉션을 걸었음. 그 결과 인덱싱된 페이지가 수천 개에서 100개로 급감했음 [스크린샷](https://x.com/donatj/status/1937600287826460852) 참고. 6개월이 지나도 회복되지 않음. 개인 프로젝트라 괜찮지만, 비즈니스였다면 분노했을 것임 [업데이트된 스크린샷](https://x.com/donatj/status/1999451442739019895) - 아마 구글이 **AI에 리소스를 집중**하면서 캐시 무효화 이후 새로 크롤링된 페이지의 랭킹이 달라진 듯함 - 구글은 이미 필요한 콘텐츠를 다 수집했음. 이제 웹사이트는 **AI 학습용 경쟁자**가 되어버림 - 교훈은 간단함 — **잘 작동하면 건드리지 말 것** - 나도 같은 경험을 했음. 수천 개 페이지가 비인덱싱되어 결국 **광고 기반 콘텐츠 비즈니스**를 접었음 - 구글 지도에는 **불법 광고**가 많음. 허가 없는 숙박업소나 주류 판매점이 버젓이 등록되어 있음. 일정 기간 운영하면 ‘기존 사용권’으로 인정받기도 함. 심지어 법정에서 **Google Maps 스크린샷**이 증거로 제출되는 걸 봤음 - 나도 이런 피해를 당했음. 구글 지도에서 근처 자물쇠 수리점을 찾았는데, 실제로는 **사기 업체**였음. 자물쇠를 망가뜨리고 600달러를 요구함. 신고하니 구글이 빠르게 삭제했지만, 이런 건 등록 시점에서 **실명 확인**이 필요하다고 생각함 - 이건 예전 지도 제작자들이 넣던 **함정 거리(Trap Street)** 이야기를 떠올리게 함. 문제는 현실이 지도를 따라 바뀌기도 한다는 점임 - 이런 광고가 다른 광고와 다르게 취급되는지 궁금함. 행정 절차에서는 “문제 제기가 없으면 괜찮다”는 식으로 넘어가는 경우가 많음 - 이건 일종의 **법적 시토제네시스(legal citogenesis)** 같음 — 잘못된 정보가 공식 문서로 굳어지는 현상임 - 요즘 **Google 검색 품질이 급락**했음. 내 사이트가 중복 콘텐츠로 잘못 인식되어 **비인덱싱**되고 있음. Bing에서는 문제없는데, 구글만 이런 오류를 냄 - 나도 비슷하게 느꼈음. Hugging Face의 인기 모델이 검색에 안 나오고, Reddit 페이지는 엉뚱한 언어로 번역된 버전만 노출됨. 아마 **중복 제거 로직**이 오작동하는 듯함 - 혹시 **SNI 요청**이 잘못 라우팅되고 있는지 확인해야 함. 다른 도메인에서 리버스 프록시를 걸면 구글이 중복으로 인덱싱함. **Canonical 태그**와 절대경로 링크를 쓰는 게 좋음 - Amazon, Google 모두 **가짜 상품과 스팸 결과**로 가득함 - Bing은 내 모든 사이트에서 잘 작동하지만, Google은 전부 실패함 - 요즘 Google 검색은 거의 **쓸모없음**. 핵심 역량을 이렇게 방치한 게 놀라움 - 나도 같은 문제를 겪었음. **Hugo Bear 테마**를 쓰는데, 최근 Bing에서 완전히 비인덱싱됨. 17년 동안 문제없던 블로그였음 - 아마 **RSS 검증 실패**가 스팸 플래그를 유발했을 가능성이 있음. 스팸이 너무 많아져서 **오탐지**가 늘어난 듯함 - RSS 오류 하나로 전체 사이트가 비인덱싱된다면 심각한 문제임. 이런 방식은 오히려 **정상 콘텐츠 비율을 낮추는 역효과**를 냄 - 솔직히 “Google de-indexed my Bear Blog”라는 제목을 보고 **곰 블로그** 얘긴 줄 알고 클릭했음 - 진짜 곰 관련 블로그를 찾으면 **뜻밖의 결과**를 볼 수도 있음 - 나도 제목의 “Bear”가 왜 들어갔는지 아직 모르겠음 - 조용한 여우(quietfox)로서, 자기 자신을 지키는 게 중요함 ^^ - 이건 [이전 HN 스레드](https://news.ycombinator.com/item?id=46203343)와 비슷함. 구글이 **누가 살아남을지 결정하는 구조**라는 점에서 같음 - 관련 사례로 [이 글](https://gehrcke.de/2023/09/google-changes-recently-i-see-more-of-discovered-currently-not-indexed/)도 있음. RSS 오류가 단순히 **무관심의 방아쇠**가 되었을 수도 있음 - 예전에 TripAdvisor가 영국 로컬 리뷰 시장의 60%를 차지했는데, Google Maps가 그렇게 빨리 따라잡았을까? Instagram이나 TikTok의 영향도 무시 못 하는데, 구글에만 너무 많은 **권한을 부여한 해석** 같음 - Google 검색은 **대형 사이트를 우대**하고 신생 사이트를 불리하게 만듦. 결국 **닭이 먼저냐 달걀이 먼저냐** 문제로 이어짐. 작은 사이트는 노출이 안 돼 성장할 수 없고, 큰 사이트는 아무 문제 없이 계속 상위에 노출됨