2021/1/8 구글 미트 장애 보고서

https://status.cloud.google.com/incident/zall/21001

장애요약:
2021/1/7 12:17 ~ 2021/1/8 08:58까지 25만명의 구글 미트 사용자가 20.7 시간동안 랜딩 페이지에 접근하지 못했습니다. 장애 기간동안 캘린더등을 통한 직접 접근은 가능했습니다.

장애원인:
2021/1/7 12:00에 새로운 구글 미트 랜딩 페이지 변경이 점진적으로 적용
롤아웃은 12:00에 시작하였고 16:00 부터 확대하기 시작
옛날 페이지와 새 페이지를 동시에 지원하기 위해 서로를 다시 가리키도록 페이지 리다이렉션 로직을 구현
실수로 일부 사용자에게 새 페이지 리다이렉션 로직이 이전 방문 페이지로 다시 리다이렉션 되어 리다이렉션 루프가 생성
사용자는 구글 미트 랜딩페이지에 접근할 수 없었으며 502 에러 발생

대응:
21/1/8 04:49에 이슈를 보고 받고 코드 변경을 05:03에 완료하였고 8:58에 장애 완료

- 프론트엔드 서버 모니터링과 얼럿을 보다 빠르게 개발자에게 갈 수 있게 만든다.
- 트러블슈팅을 위한 문서를 개선한다.
- 레거시 코드를 개선한다.
- 새로운 코드 런치에 대한 내부 커뮤니케이션을 업데이트하여 인식을 개선하고 더 빠른 해결을 유도한다.