GN⁺: 숫자가 상식을 대체하지 않는 좋은 측정 문화
(blog.promaton.com)- 기술 회사에서 KPI (Key Performance Indicator) 정신병의 유병률에 대한 논의
- 데이터 수집에 대한 회사들의 집착은 가용성 편향, 최근성 편향, 과신 편향, 그리고 닻박기 편향과 같은 인간의 편향성을 극복하는 방법으로 간주
- 그러나 KPI는 종종 터널 비전에 시달리며, 측정 가능한 것만 측정하고 상황의 모든 측면을 반드시 측정하지 않음. 이로 인해 조직에서 역행적인 동기 부여가 발생할 수 있음
- 저자는 KPI를 인간의 직관과 결합하여 사용해야 최적의 의사결정이 이루어질 수 있으며, 직관과 데이터 사이의 균형을 찾아야 한다고 제안
- KPI가 측정하는 것이 아니라 KPI가 나타내는 것을 이해하는 것의 중요성 강조. 예를 들어, Time To Last Byte (TTLB)는 서버 응답 시간을 측정하지만, 궁극적인 목표는 사용자 경험을 최적화하는 것
- KPI 최적화는 개념화, 시행착오 학습, 그리고 재정의를 필요로 하는 과정. 단순히 값을 선택하고 사람들에게 그것을 최적화하라고 말하는 것이 아니라, KPI와 제품의 장기적인 유용성 사이의 상관관계를 이해하는 것
- 저자는 KPI를 직관과 결합하여 사용하고, KPI를 정의하는 것만이 아니라 실제 목표를 염두에 두며, KPI의 신뢰성을 지속적으로 반영하고 필요한 경우 수정하는 것을 권장
- KPI 정신병에 시달리지 않는 회사에서 일하라는 초대와 함께 기사가 마무리되며, Promaton에서의 공석 링크 제공
Hacker News 의견
- 기사는 숫자가 상식을 대체하지 않는 사업에서 좋은 측정 문화의 중요성을 논의한다.
- 한 댓글러는 대부분의 속도 측정을 폐기하고 간단한 해결책을 선호하는 경험을 공유했다: 매주 금요일마다 각 팀이 그 주에 제공한 내용을 상세히 설명하는 이메일을 전사에 보낸다. 이 접근법은 KPI 대시보드의 양이 아닌 관리진과 이해당사자에게 안도감을 제공했다.
- 다른 댓글러는 그들의 회사가 분기당 3개의 OKR(목표)을 설정하고, 각각을 3개의 KPI로 측정한다고 언급했다. 그러나 회사의 철학은 매 분기마다 목표의 100%를 달성한다면 충분히 야심적이지 않다는 것이었다. 이로 인해 일부 목표가 포기되고 일부 KPI가 보너스 자격을 얻기 위해 조정되었다.
- 한 댓글러는 전문 관리자, 특히 미국 MBA 유형들이 자신을 가장 중요한 것으로 보는 경향이 있어, 이것이 사업의 몰락으로 이어질 수 있다고 지적했다. 그들은 관리자 대 근로자 비율이 회사가 쇠퇴에 얼마나 가까운지를 나타낼 수 있다고 제안했다.
- 다른 댓글러는 인센티브를 전체 목표와 일치시키는 것의 중요성을 강조했다. 그들은 사업체들이 종종 인센티브 이외의 모든 것에 투자하며, 이로 인해 바람직하지 않은 결과를 초래할 수 있다고 제안했다.
- Goodhart의 법칙이 언급되었다: “측정치가 목표가 되면, 그것은 더 이상 좋은 측정치가 아니다.”
- 한 댓글러는 KPI 사용을 시간 낭비로 비판하며, 숫자를 조작하는 것이 얼마나 쉬운지와 바람직하지 않은 행동을 어떻게 장려하는지 설명했다.
- 다른 댓글러는 회사들이 KPI를 모든 것의 일부로 사용하기를 원했다. 그들은 데이터 중심의 접근법이 종종 단기적인 결과에 대한 건강하지 않은 집중을 초래한다고 지적했다.
- 한 댓글러는 McNamara의 오류를 지나치게 많은 측정에 의존할 수 있는 예로 언급했다. 그들은 또한 W. Edwards Deming의 말을 인용했다: "측정할 수 없다면 관리할 수 없다고 생각하는 것은 잘못된 것이다 – 비용이 많이 드는 신화."
- 한 댓글러는 관리진이나 제품 소유자로부터의 지침 없이 KPI를 설정하라는 요구에 대한 자신의 불만을 표현했다. 그들은 이것이 종종 너무 기술/공학 중심적인 KPI를 초래하고, 아무도 이를 해결하도록 독려받지 않기 때문에 이 문제가 해결되지 않는다고 지적했다.