# 2025-06-12 GCP 장애 보고서

> Clean Markdown view of GeekNews topic #21447. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=21447](https://news.hada.io/topic?id=21447)
- GeekNews Markdown: [https://news.hada.io/topic/21447.md](https://news.hada.io/topic/21447.md)
- Type: news
- Author: [roxie](https://news.hada.io/@roxie)
- Published: 2025-06-15T03:00:39+09:00
- Updated: 2025-06-15T03:00:39+09:00
- Original source: [status.cloud.google.com](https://status.cloud.google.com/incidents/ow5i3PPK96RduMcb1SsW)
- Points: 7
- Comments: 5

## Summary

Google Cloud는 **Service Control** 모듈에 신규 정책 검사 기능을 5월 29일 배포한 후, 6월 12일 추가 정책 적용 시 null pointer로 인한 **크래시 루프**가 발생하였습니다. 즉각적인 **red-button** 긴급 정지로 대응하였으나, 미국 리전(us-central-1)에서는 **randomized exponential backoff**가 없어 연쇄적인 트래픽 집중 현상이 나타났습니다. 이번 사건은 핵심 인프라의 변화가 전체 **내부 서비스 안정성**에 미치는 전략적 위험을 보여줍니다.

## Topic Body

- Service Control: Google 및 Google Cloud API 가 사용하는 핵심 모듈 중 하나  
  - 2025-05-29 Service Control 에 새 기능 배포. 새로운 정책을 검사하는 기능이었음  
  - 2025-06-12 새로운 정책이 추가되면서 문제 시작:  
    - null pointer 로 인한 크래시 루프* 발생  
    - feature flag 가 없었음. 하지만 긴급 정지를 위한 red-button 실행  
    - us-central-1 같이 커다란 리전에서는, 이 액션으로 인해 의존하고 있는 내부 서비스에 herd effect* 발생. 왜냐면 randomized exponential backoff** 전략이 구현되어있지 않았기 때문  
  
* 한번에 트래픽이 많이 몰렸다는 얘기입니다.  
** 트래픽 과부하를 방지하는 기법입니다.

## Comments



### Comment 40197

- Author: kunggom
- Created: 2025-06-16T18:19:58+09:00
- Points: 1

GN+에도 동일한 보고서를 다루는 글이 올라왔네요.  
  
- https://news.hada.io/topic?id=21473

### Comment 40180

- Author: kunggom
- Created: 2025-06-16T11:25:49+09:00
- Points: 2

구글 같은 큰 업체도 의외로 재시도 처리 때 Jitter를 추가하는 기본적인 조치조차 적용하지 않은 코드가 여기저기에 숨어 있나 봅니다.  
아마 기존에는 이런 문제가 안 터졌으니 그대로 뒀을 텐데, 역시 잘 작동하는 코드를 건드리지 않는 건 거대 기업도 마찬가지인가 봐요.

### Comment 40146

- Author: roxie
- Created: 2025-06-15T22:53:26+09:00
- Points: 1

지금보니 서식이 조금 깨졌네요. 마지막 두 줄은 각각 크래시 루프와 randomized exponential backoff 에 대한 주석입니다.

### Comment 40142

- Author: regentag
- Created: 2025-06-15T22:40:44+09:00
- Points: 1

며칠전에 있었던 [인터넷 다운](https://news.hada.io/topic?id=21415) 글의 장애와 관련된것일까요?

### Comment 40143

- Author: roxie
- Created: 2025-06-15T22:51:48+09:00
- Points: 1
- Parent comment: 40142
- Depth: 1

네 맞습니다 해당 장애 얘기입니다