# 알림의 개수를 95.7% 절감하여 알림 피로를 개선한 이야기

> Clean Markdown view of GeekNews topic #27160. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=27160](https://news.hada.io/topic?id=27160)
- GeekNews Markdown: [https://news.hada.io/topic/27160.md](https://news.hada.io/topic/27160.md)
- Type: news
- Author: [computerphilosopher](https://news.hada.io/@computerphilosopher)
- Published: 2026-03-03T13:10:23+09:00
- Updated: 2026-03-03T13:10:23+09:00
- Original source: [velog.io](https://velog.io/@skynet/%EC%95%8C%EB%A6%BC-%EA%B0%9C%EC%88%98%EB%A5%BC-95.7-%EC%A0%88%EA%B0%90%ED%95%98%EC%97%AC-%EC%95%8C%EB%A6%BC-%ED%94%BC%EB%A1%9C%EB%A5%BC-%EA%B0%9C%EC%84%A0%ED%95%9C-%EC%9D%B4%EC%95%BC%EA%B8%B0)
- Points: 11
- Comments: 3

## Summary

**알림 노이즈를 95.7% 줄이며 온콜 피로를 해소했습니다.** 크리티컬·경고 알림을 분리했지만 폭증한 경고 메시지가 오히려 시스템 가시성을 흐리자, 팀은 슬랙 이모지 반응률을 **‘알림 유효성 지표’**로 삼아 불필요한 알림을 정리했습니다. 그 결과, 의미 없는 경고를 걷어내며 실제 장애 신호만 남겼고, 심야 전화 알림이 70% 이상 줄어 안정적인 온콜 환경을 회복했습니다.

## Topic Body

문제 배경: 크리티컬과 경고(Warning) 알림 채널을 분리하고 크리티컬 알림 시 전화 수신을 도입했으나, 월 1만 건이 넘는 경고 알림 폭증으로 인해 알림 무시 및 온콜(On-call) 피로도 증가 현상 발생.  
  
핵심 인사이트: 과도한 알림은 메신저 헬스 체커로 전락하여 시스템 가시성을 저해함. 알림 절감을 위한 핵심 지표로 슬랙 이모지(👀, ✅)를 활용한 '알림 반응률' 측정 제안.  
  
해결 과정:  
  
최초 설정 의도와 현재 환경이 맞지 않는 알림(예: EBS 볼륨 증량 임계치 불일치) 조정 및 삭제.  
  
이전 작업자의 의도를 알 수 없는 무의미한 알림은 과감히 제거.  
  
추가 성과: 알림 노이즈를 걷어낸 후, 특정 서버의 높은 iowait 원인이 실제 워크로드 대비 과도하게 설정된 ZFS recordsize 때문임을 발견하고 정상화함.  
  
결과: 경고성 알림 95.7% 감소(월 10,553개 → 453개). 심야/휴일 크리티컬 전화 수신 70% 이상 감소. 온콜 수면 부족 해결 및 실질적인 시스템 가용성·가시성 향상.

## Comments



### Comment 52305

- Author: darjeeling
- Created: 2026-03-03T23:24:35+09:00
- Points: 1

로그, 메트릭, 알람은 주기적으로 조정을 하는 프랙티스가 필요하죠.

### Comment 52270

- Author: roxie
- Created: 2026-03-03T15:06:54+09:00
- Points: 1

어디서 본 닉네임이다 싶더라니 예전 cron 출력으로 재밌는 글을 써주셨던 분이네요. 이번 글도 잘 읽었습니다 :D

### Comment 52288

- Author: computerphilosopher
- Created: 2026-03-03T18:11:50+09:00
- Points: 1
- Parent comment: 52270
- Depth: 1

재밌게 읽어주셨다니 감사합니다