직원 성과는 정말 가우시안 분포를 따를까?

• Fortune 500식 성과관리는 직원 성과가 종 모양으로 퍼진다는 가우시안 전제에 기대지만, 성과가 Pareto 분포에 가깝다면 강제분포 평가의 근거가 흔들림
• 임금이 직원의 기대 가치와 연결된다는 한계생산성 임금이론과 미국 임금 분포의 Pareto적 성격을 결합해, 같은 급여 밴드 안의 성과도 비대칭적으로 분포할 수 있다고 전개함
• Pareto 관점에서는 매년 잘라내야 할 하위 10% 가 자연스럽게 생기지 않으며, 급여 밴드 중간값 기대치보다 낮게 수행하는 직원이 약 65% 로 나타남
• 낮은 성과자는 고정 비율의 퇴출 대상이라기보다 채용 오류 같은 예외로 다뤄야 하며, 같은 급여 밴드에서 낮은 성과자는 높은 성과자보다 3배 흔함
• 성과관리 시스템은 해고·대체 채용 비용, 목표 달성 여부, 평가 편향, 매니저 영향, 시간에 따른 성과 변동까지 함께 봐야 하며, 강제분포식 연례 해고에는 통계적 근거가 부족함

---

가우시안 전제가 흔들리는 이유

• 많은 대기업은 매년 직원 성과를 평가해 보너스, 승급, 향후 고용 여부를 결정함
• 전형적인 성과관리 방식은 직원을 vitality curve에 배치하는 절차를 포함함
  • General Electric의 1980년대 초 방식은 10-70-20 구분으로 자주 인용됨
  • 상위 20%는 금전 보상을 받고, 하위 10%는 퇴출 대상이 되는 구조임
• 이 방식의 암묵적 전제는 직원 성과가 가우시안 종 곡선을 따른다는 것임
• 가우시안 전제를 떠올리게 하는 요소도 있음
  • IQ, Big Five 성격 특성 중 성실성, 키는 가우시안 분포를 따르며 직장 성과와 관련된 예측력을 가질 수 있음
  • 여러 가우시안 변수의 합이나 합성도 가우시안이 될 수 있음
• 하지만 기업 급여를 받는 직원들이 전체 성과 곡선의 하위 끝까지 포함한다고 보기 어렵고, 큰 양의 임팩트를 내는 직원 수만큼 같은 규모의 음의 임팩트를 내는 직원이 존재한다는 대칭성도 경험과 맞지 않음

Pareto 분포로 보는 직원 성과

• 직원 임팩트를 달러 가치로 보면 한계생산성 임금이론과 임금 분포를 연결할 수 있음
• 한계생산성 임금이론은 회사가 직원에게 지급하려는 금액이 그 직원에게 기대하는 가치와 본질적으로 연결된다는 생각임
• 임금 분포는 미시경제학에서 Pareto 분포로 다뤄지는 경우가 있으며, 멱법칙 분포의 성격을 가짐
• 같은 급여 밴드 안에서 미국의 고용주들이 지급하는 임금이 집합적으로 Pareto 분포를 이룬다면, 직원 성과도 같은 형태로 분포할 수 있다는 전개임
• 기업 채용 공고에 표시되는 급여 최소·최대 범위는 급여 밴드 크기를 추정하는 단서가 됨

강제분포 평가가 낳는 실무적 함의

• Pareto 백분위 관점에서는 가우시안 관점처럼 극단적으로 낮은 하위 10% 가 자연스럽게 분리되지 않음
  • 하위 10%는 다음 10%와 크게 다르지 않음
  • “최하위” 직원을 제거하기 위한 명확한 절단점이 보이지 않음
  • 급여 밴드 중간값 기대치와 연결된 기준선보다 낮게 수행하는 직원은 약 65% 임
• 낮은 성과자는 대기업에 존재하지만, 이들은 분포의 필연적 하위 비율이라기보다 채용 오류로 봐야 함
  • 채용 오류에는 대응해야 하지만 특정 비율로 정해져 있다고 보기 어려움
  • 채용을 잘하는 매니저에게도 강제로 직원을 줄이게 하는 방식은 문제가 될 수 있음
• 추가 금전 보상을 받을 비율도 Pareto 그래프에서 명확히 나오지 않음
  • 급여 중간값 기대치보다 높은 성과를 내는 상위 35% 가 출발점이 될 수 있음
  • GE의 원래 공식보다 더 세분화된 “good - better - best” 보너스 구분은 합리적으로 보임
• 승진 후보자는 일반 분포 안의 자연스러운 구간이라기보다 이상치로 볼 수 있음
  • 이들은 현재 급여 밴드 상단에서도 저평가되어 있을 수 있음
  • 승진은 이런 작은 시장 비효율을 해소하는 방식으로 다뤄짐

해고와 대체 채용의 한계

• 같은 급여 밴드에서 낮은 성과자는 높은 성과자보다 3배 흔함
• 하위 10%를 해고하면 훨씬 나은 사람을 뽑을 수 있다는 가우시안식 기대는 부정확함
• 가장 가능성 높은 대체 인력은 해고된 직원보다 현저히 나은 사람이 아닐 수 있음
• 매년 제거해야 할 내재적 하위 10%는 존재하지 않음
• 매니저가 팀을 더 낫게 만들 수 있다고 판단할 때 채용 오류를 식별하게 하되, 잘못된 통계 전제에 따라 목표 비율을 정하면 안 됨

성과관리 시스템 설계에서 빠진 요소들

• 모니터링

  • 많은 비용이 드는 통계 기반 의사결정 시스템은 목표를 달성하는지, 시간이 지나도 계속 작동하는지 모니터링해야 함
  • 확인해야 할 질문은 다음과 같음
    • 회사가 사람을 부정확하게 분류하고 있는가
    • 매니저가 가치 있는 팀원을 보호하려고 희생양을 채용하고 있는가
    • 해고되는 사람과 유지되는 사람 사이에 실제 성과 차이가 있는가

• 의사결정 이론식 비용 분석

  • 성과관리 절차 자체에 많은 시간과 노력이 들어감
  • 회사의 10%를 해고하면 퇴직금 같은 비용이 발생함
  • 대체 채용도 비용이 크며, 채용 절차 전체 비용은 대략 연봉 1년치로 볼 수 있음
  • 새로 뽑힌 직원은 통계적으로 회사에 3~5년 있을 수 있음
  • 성과 증가분이 전체 절차 비용보다 큰지, 덜 강도 높은 성과관리 시스템이 더 나은지 따져야 함

• 시간축 관점

  • 성과관리는 보통 1년 단위 스냅샷임
  • 어떤 직원이 3년 동안 뛰어난 성과를 냈다가 한 해 부진했다면, 곧바로 퇴출할지 장기 적합성을 볼지 판단이 필요함

• 측정 대상의 불확실성

  • 성과 평가가 실제 성과를 측정하는지 확인해야 함
  • 성공률이 낮은 직원이 가장 어려운 과제를 맡았기 때문이라면, 평가는 성과가 아니라 프로젝트 배정 방식을 측정하는 셈임
  • 외향적인 직원이 같은 성과에도 더 좋은 평가를 받는다면, 평가는 성과가 아니라 성격 특성과 매니저 편향을 측정할 수 있음
  • 직원 성과의 큰 요인은 능력이나 노력보다 매니저가 성공할 수 있는 조건을 만들어줬는지일 수 있음
  • 새로 온 매니저는 첫 성과관리 과정에서 부하 직원에게 유리한 성과 슬롯을 확보하는 데 덜 최적일 수 있음
  • 이 경우 평가는 직원 성과뿐 아니라 매니저의 설득력과 조직 내 정치적 자본도 함께 반영함

결론: 하위 10% 해고보다 검증과 비용 계산이 먼저

• 2024년 많은 대기업에서 쓰이는 성과관리는 업데이트가 필요한 낡은 기술에 가까움
• 가우시안 전제를 버리고 Pareto 분포를 가정하면, 매년 하위 10%를 해고할 통계적 근거가 없음
• 기업은 채용 실수를 이상치로 다루고, 매년 인력 10%를 해고할 가치가 있는지 따져야 함
• 성과관리 비용이 큰 만큼 목표 달성 여부를 측정하는 모니터링과 비용 분석이 필요함
• 현대 성과관리 시스템이 생겨난 1980년대 초 GE의 조건에는 큰 실수가 없으면 한 회사에 평생 고용된다는 전제가 있었음
• 40년 뒤 직원들은 자주 이직하므로, 낮은 성과자에게 모욕적으로 작은 보너스를 주는 것만으로도 충분한 “채찍”이 될 수 있으며 모두에게 더 건강할 수 있음

Pareto 가설을 뒷받침하는 데이터와 문헌

• 20세기 초·중반 데이터는 직원 성과가 가우시안이 아님을 지지함
• 1957년 William Shockley는 1950년대 초 Los Alamos, Brookhaven, Bell Labs의 과학 출판물과 특허를 분석함
  • 결론은 성과가 가우시안이 아니라는 것임
  • 그는 개인 이론에 따라 로그정규 분포로 봤으며, 로그정규는 Pareto와 비슷한 모양이 될 수 있음
• 1970년 Clarence Zener는 Shockley의 데이터와 다른 출판 데이터, 1907~1916년 Chemical Abstracts에서 이름이 A 또는 B로 시작하는 6,891명 저자 표본을 함께 검토함
  • 논점은 Log-Normal 대 Pareto였고, 답이 가우시안이 아니라는 점은 명확하다고 봄
• Herman Aguinis는 스포츠, 엔터테인먼트, 정치, Materials Science 저널 출판 데이터를 살펴봄
  • 데이터는 방향상 맞지만 결정적 데이터셋은 아니라고 봄
  • 총 생애 산출량 중심이라 연간 산출량보다 경력 길이를 더 반영할 수 있음
• 현대 문헌은 Zener와 Shockley 논문을 사실상 잊은 듯하며, “가우시안이 아니다”라는 글들은 이후 무엇을 해야 하는지에 대한 구체적 제안이 부족하다고 평가함

계산 가정과 강제분포의 부작용

• 급여 밴드와 분포 파라미터

  • 기업 채용 공고의 급여 밴드는 최소·최대 범위를 제공함
  • 급여 밴드 최소값은 일반적으로 최대값의 약 0.65배인 경향이 있음
  • 예시 급여 밴드 78.1 → 121.2는 중심을 100으로 두고 min/max = 0.65로 볼 수 있음
  • Pareto alpha는 미국 개인 급여 데이터에 맞춘 1.75를 사용함
  • 미국 개인소득 Gini 계수로 자주 인용되는 0.4와 G = 1/(2a-1) 식으로 교차 확인할 수 있음
  • 가우시안 비교에서는 급여 밴드 외곽을 3 sigma로 가정함
  • 2.5 sigma를 써도 유사한 결과가 나옴
  • 3 sigma 시나리오에서는 7.06, 2.5 sigma 시나리오에서는 8.48이 100 ± 21.2 급여 밴드에 맞음
  • 플롯은 n=25,000으로 생성됨
  • Pareto 분포는 스케일 불변·자기유사적이므로 100이라는 중심값은 임의적이며, 중요한 것은 급여 밴드 폭의 비율임

• “rolling up”과 오분류

  • 여러 소규모 평가 묶음을 합치면 전체적으로 강제분포가 공정하게 맞춰질 것이라는 관행은 시뮬레이션으로 검증 가능한 대상임
  • 가우시안 분포 직원 성과를 가정하고, 매니저가 기적적으로 완벽하게 성과를 평가한다고 둔 시뮬레이션을 수행함
  • 성과 순위는 정확히 생성됨
  • Welch GE 컷오프인 하위 10%, 상위 20%를 사용함
  • 각 코호트 크기마다 32회의 연간 성과 평가를 시뮬레이션함
  • 객관적 기준을 썼다면 더 높은 등급에 들어갔을 직원이 rank-and-chop 방식으로 낮은 등급에 들어가는 비율을 계산함
  • 코호트 크기와 무관하게 약 2.5% 가 부당하게 오분류될 가능성이 높고, 코호트가 수백 명이어도 5% 오분류가 흔하게 나타남
  • 유리하게 상향 분류된 직원까지 포함하면 오분류 수치는 대략 두 배가 됨

[GN⁺]

Hacker News 의견들

• 2024년 대기업식 성과 관리는 낡은 기술이라 업데이트가 필요하다는 주장에는 근본적 오류가 몇 가지 있음
  첫째, 직원이 회사에 “개인적으로” 벌어다 준 만큼 보상받는다고 가정하지만, 고용주는 정보 비대칭과 정규분포 같은 조건을 이용해 감당 가능한 최소 보상을 주려 함. 공정성은 기대하기 어렵고, 이를 솔직히 말하면 사기가 떨어지니 직원은 모르게 두면서 Work Number 같은 경로로 보상 이력을 모으는 식으로 움직임
  둘째, 회사가 항상 날렵해지기 위해 하위 5%를 잘라내려 한다고 가정하지만, 실제로는 개인 스타보다 합산 생산성이 중요함. 청소 직원이나 카페 직원이 직접 매출을 얼마나 만들겠나? 엔지니어링도 마찬가지라, 눈에 띄지 않는 일을 누군가는 해야 하고, 그렇지 않으면 종이 위로만 뛰어난 인재가 있는 고장 난 회사가 됨
  덧붙이면 노동자 총생산성과 평균소득이 1970년대까지 같이 오르다가 이후 분리된 유명한 그래프가 있음. 지난 50년간 거시적으로도 미시적으로도 생산성은 계속 올랐지만 소득은 훨씬 평평해졌음

  • 여기에 요즘 채용 시장이 엉망이라는 왜곡된 유인도 있음
    조직 하위 5%, 즉 내 경우 엔지니어 2~3명을 줄이면 다시 충원받지 못할 수도 있음. 재무팀을 만족시키려고 L5를 L4로 낮춰야 하거나, 해외 채용을 하거나, 정규직을 계약직으로 바꿔야 할 수도 있음
    또 감원(RIF)에 대비해야 하므로, 즉시 지목 가능한 하위 5%가 있으면 상사가 “이름 달라”고 할 때 유리함. 그래서 지금은 몇 달 뒤보다 배치된 엔지니어의 시간 가치가 훨씬 높음. 적극적으로 내보내는 관리는 관리자들을 기쁘게 하니 그 가치가 0이 되진 않겠지만, 지금은 분명 저성과자도 필요함
  • 완전히 동의함. 뛰어난 엔지니어가 보상을 잘 받는 편이긴 하지만, 중간 성과자보다 약간 더 받을 뿐임. 10x 엔지니어가 10배 보상을 받지는 않고, 아마 1.5~2배에 가까움
    생산성을 정확히 추적하는 마법 같은 방법이 생긴다면, 이 글이 말하는 것처럼 결과의 80%를 노동자의 20%가 만든다는 Price의 법칙이나 파레토 분포에 가까운 모습을 볼 가능성이 큼. 하지만 그렇다고 나머지 80%가 없어도 된다는 뜻은 아니며, 그 부분이 두 번째 논점과 연결됨
    직원이 회사에 “벌어다 준” 만큼 지불하는 건 회사가 이익을 내려는 경제 시스템과 맞지 않음. 기여에 따라 “마땅히 받을 만큼” 보상하는 것도 바람직하지 않을 수 있음. 회사 내부에서도 같은 소득 불평등 동학이 생길 듯함
    대기업에는 평균화 효과가 있음. 개인 기여도 평균화되지만 책임도 평균화됨. 이게 좋은지 나쁜지는 사람에 따라 다르고, Paul Graham이 직장이 무엇이며 왜 어떤 사람은 스타트업을 선호하는지에 대한 글에서 잘 설명했다고 봄
    [1] https://www.kienbaum.com/blog/prices-law-and-the-trouble-of-...
    [2] https://paulgraham.com/wealth.html
  • 직원 성과를 다룬 데이터 과학 블로그라는 글에서, 직접 제시하거나 논의한 비시뮬레이션 데이터가 미국 임금 분포뿐이라는 점이 민망함. 저자는 x축을 그냥 “Performance”라고 표시해 두었고, 좋은 데이터 과학자가 무엇을 하는지 주장하면서도 정작 횡설수설하는 주장에 직접 관련된 데이터는 없음
  • 조금 과격한 생각이지만, 어떤 회사가 특정 직무군이나 직함에서 사람을 해고했다면 그 직무군에는 다음 해 H1B 비자를 하나도 배정하지 말아야 함
    특정 직무군에 대해 강제 하위 감원이나 통계 기반 해고 정책을 시행했거나, 숨기더라도 실질적으로 그렇게 했다면 그 다음 해에는 해당 직무군 H1B 배정을 막아야 함
    핵심은 회사가 인력의 X% 없이도 살 수 있다고 판단했다면 외국인 노동자를 데려올 권리는 없다는 것임. H1B는 채우기 어려운 자리를 돕기 위한 제도인데, 해고나 대량 퇴출을 하고 있다면 그 일자리를 채울 사람을 분명 찾을 수 있다는 뜻임
  • “공정성”을 판단할 방법은 사실상 없다고 봄. 직원 A는 LLM 업무를 받고, 직원 B는 Android 9/Mac OS 12 보안 패치를 맡을 수 있음
    예컨대 내 친구는 기능 하나를 구현하기로 했는데, 독립 앱이었다면 1~2주 걸릴 일이 브라우저 팀에서는 엣지 케이스와 표준위원회 간 조율 때문에 2년이 걸림. 모두가 1~2주면 끝날 일이라고 생각했기에 본인 통제 밖의 일이었는데도 나쁜 평가를 받았음
    균형이 필요하다고 느낌. 슈퍼스타는 있고, 동료 평가에서도 쉽게 지목할 수 있음. 하지만 우리는 팀이고, 할 일은 많으며, 모두가 눈에 잘 띄는 “영향력” 있는 일만 맡을 수는 없음

• “IQ는 정규분포”라는 말은 어디선가 보고 나서야 명확해졌는데, 사실 IQ가 정규분포인 게 아니라 분포가 그렇게 만들어진 것임
  IQ 문제 1000개가 있으면 많은 사람에게 풀게 한 뒤 정규분포를 만드는 100개를 고르는 식으로 IQ 검사가 만들어짐
  이게 터무니없는 건 아님. 너무 쉬운 100문제를 고르면 모두가 “꽤 많이 안다” 범주에 들어가 정보량이 적음. 균등분포를 만들 수도 있고 여전히 유용하게 민감한 검사일 수 있음. 하지만 검사 정확도를 걱정하면 정규분포는 편리함. 50백분위와 55백분위는 크게 다르지 않고, 사람들은 대체로 90백분위와 95백분위의 5% 차이에 더 관심을 둠
  다만 10백분위와 5백분위 차이는 별로 신경 쓰지 않는 듯하고, 이는 실제로는 파레토 분포를 암시할 수도 있지만 아마 사회적 관심의 문제를 더 반영한다고 봄. 어쨌든 곁가지지만 글 자체가 말하는 내용과도 비슷함

  • 지능 측정에서 많은 사람이 생각하지 않는 미묘한 부분임
    IQ 100에서 130으로 가는 데 필요한 두뇌 능력 증가가 x라면, 130에서 170은 3x가 필요하고, 170에서 171은 100 기준으로 9x가 필요할 수도 있음
    지능의 절대 측정값이 없기 때문에 상대 척도를 쓰고 점수에서 정규분포를 꾸며낼 수밖에 없음
    컴퓨터 과학이 언젠가 특정 문제를 풀기 위해 필요한 최소 절대 지능을 수학적으로 판정할 수 있는 수준까지 발전한다면 엄청난 성취일 것임
  • IQ 점수는 교육 성취, 직업적 성취, 경력 발전, 평생 소득, 뇌 용적, 피질 두께, 건강, 수명 등과 높은 상관관계를 보여 왔음
    사회경제적 배경 같은 요소를 통제해도 이런 것들을 꽤 정확히 예측함
    검사가 어떻게 구성되는지는, 결과가 우리가 관심 갖는 것들을 정확히 예측하는지와는 대체로 별개의 문제임. IQ는 측정 도구로 작동하기 때문에 쓰임
    더 나은 측정 도구가 있다고 생각한다면 제안해서 여러 상과 찬사를 받으면 됨. 수십 년 동안 많은 똑똑한 사람이 시도했지만 아직 찾지 못했음
  • 맞음. IQ는 흔히 말하듯 지능의 효과적인 측정치가 아님. 잘해야 학습장애를 측정하는 도구에 가깝다고 봄
  • IQ 검사가 그런 식으로 만들어지는 줄 몰랐음
    그렇다면 1000문항 전체에서는 상위권에 들었지만, 선택된 문항 때문에 최종 IQ 검사에서는 평균이 나오는 인구의 작은 조각이 있을 수도 있나? 그렇다면 다음에 IQ 검사를 봐야 할 때 내 핑계로 쓰겠음. 분포를 잘못 만난 것뿐이라고
  • 비슷하게 분포한 독립 변수 N개, 즉 문항들의 합은 중심극한정리에 따라 정규분포로 수렴함. 굳이 인위적으로 만들 필요는 없음

• 이런 주장이 단순 수사보다 실증 데이터에서 나온 것이었다면 더 납득했을 것 같음. 충분히 검증 가능해 보이고, 산업별 생산성 데이터도 이미 많을 것임
  인간 재능이 파레토 분포를 따른다고 해도 명확하지 않지만, 회사에 고용된 사람들은 전체 인구의 선별된 부분집합이므로 선발 방식과 과제에 따라 다른 분포를 가질 가능성이 큼
  이런 단순화된 분포가 회사와 산업 전반에 일반화되지는 않을 듯함. 예를 들어 AWS나 Google 직원의 생산성 분포가 McDonalds나 Wal*Mart 직원과 같을 리는 없음. 채용 절차와 업무 성격이 다르기 때문임
  회사와 산업 내부의 실제 데이터를 가져온 뒤에야 주장을 펼칠 수 있음. 그렇지 않으면 탄탄한 기반 없는 모래성에 가까움

  • 우리의 시스템은 합리적이지만 검증되지 않은 가정, 즉 성과는 정규분포라는 전제 위에 세워져 있고, 이를 똑같이 합리적인 가정인 성과는 파레토 분포로 바꾸면 갑자기 시스템이 어리석어 보인다는 이야기로 읽힘. 해법이라기보다는 새로운 관점을 주는 글임
  • Bonus Content #1과 글 아래 참고문헌은 꽤 설득력 있어 보였음. 대기업들이 이런 세부 데이터를 공개하면 좋겠지만 가능성은 낮음
  • “실증 데이터가 아니라 수사에서 나온 것 같아 아쉽다”는 말은 정규분포식 성과 등급 관행에도 그대로 적용됨. 그것은 순수한 사내 정치이고, 제대로 된 통계에 기반하지 않음
    적어도 이 글의 저자는 각주를 읽어 보면 자기 믿음에 대한 여러 통계적 근거를 제시함
  • 지적 생산성은 대체로 직접 측정이 불가능해서, 결국 정규분포를 가정한 간접 측정으로 가게 됨
    IQ는 유명하게 정규분포지만, 인간 “지능”이 정규분포라서가 아니라 그렇게 정의되기 때문임. 지능을 정의하는 것부터 어렵고
    보드게임 Elo 평점을 보면, 지능의 나쁜 대리 지표라는 점은 제쳐 두더라도 정규분포를 따르지 않음. Elo는 경기 결과에는 정규분포를 가정하지만 인구 분포에는 그렇지 않음
    이는 지적 영역의 적성이나 기술이 정규분포가 아니라는 좋은 근거가 됨. 다만 파레토도 아니었던 것으로 기억함
  • 동의함. 다만 수사적으로는 저자가 말한 “저성과자가 고성과자보다 3배 흔하다”는 식의 경우를 많이 봐 왔음
    늘 최선을 다하라고 생각하고, Tyler Cowen이 말하듯 평균은 끝났다고 보지만, 특히 이 주장은 실증 데이터로 뒷받침했으면 훨씬 좋았을 것임

• Netflix에서 일할 때 좋았던 점 중 하나는 기본 가정이 모두가 최고 성과자라는 것이었음. 최고 성과자가 아니면 퇴직금을 받고 나감
  비유는 스포츠 팀이었음. 프로 스포츠 팀에는 아주 좋은 선수와 위대한 선수가 있음. 슈퍼스타도 있지만 최소한 정말 아주 잘하지 못하면 팀에 있을 수 없음
  성과와 보상은 완전히 분리되어 있었고, 그 점도 좋았음. 성과 평가는 360도 동료 평가였고, 보상은 주로 HR이 신규 채용 비용을 기준으로 정한 뒤 모두를 그 수준으로 올리는 방식이었음
  적어도 10년 전 Netflix에서는 성과가 분포한다고 보기 어려웠고, 모두가 업계 상위 10%였음

  • 정말로 상위 10% 성과자만 모았다는 건 믿기 어려움. 그곳의 살벌한 고용 문화를 알면, 보상이 좋더라도 실제로 일해 보려는 개발자는 소수일 것 같음
    또 누가 최고 성과자이고 아닌지를 측정하는 좋은 방법을 본 적이 없음. 같은 직무 안에서도 사람마다 잘하는 것이 다르고, 어떤 과제에서는 Joe가 최고지만 다른 과제에서는 Mary가 최고일 수 있음. 지식노동에서 이를 안정적이고 객관적으로 측정하는 건 거의 불가능하다고 봄
    Netflix에 대한 가벼운 공격도 하자면, 고객 입장에서 그들은 비즈니스의 가장 기본인 좋은 콘텐츠 제작과, 특히 좋은 콘텐츠를 취소하지 않는 일을 형편없이 못함. 최근 대형 라이브 스트리밍이 얼마나 끔찍했는지는 말하지 않겠다고 했지만 이미 말해 버렸음
  • 요약하면 Netflix는 모든 직원에게 자신들이 전 세계 상위 10%이고 NFL 선수 같은 사람이라고 말한 셈임. 최상위 수준으로 성과를 내지 못하면 문밖으로 나가게 됨
    사고실험을 해보면, Netflix가 거짓말을 하고 있고 직원들이 실제로 업계 상위 10%가 아니라고 가정하자. 현실은 Netflix가 업계 평균보다 약간 더 주기 때문에 약간 평균 이상 인재가 모였다고 해보자
    그런데 그 직원들에게 자신들이 단지 평균 이상이 아니라 엘리트 NFL 선수라고 믿게 만들면, 그들은 엘리트 선수처럼 일해야 한다고 느끼게 됨. Netflix는 자아를 조작해 직원들이 업계보다 더 오래, 더 열심히 일하게 만듦
    “천재 프로 선수급만 여기서 일할 수 있다”는 메시지는 “할당량 맞추려고 초과근무로 죽어라 일하지 않으면 해고”보다 훨씬 더 동기부여가 됨. 이는 자존심 조작이기 때문임
    이 사고실험이 Netflix나 그 문화에 취한 직원들이 인정하는 것보다 현실에 더 가깝다고 봄. Netflix의 “프로 운동선수” 문화는 노동자에게 해로운 심리 조작임
  • 여기서 최고 성과자와 저성과자는 어떻게 정의되는가?
    내 경험상 기업 환경에서 이런 딱지는 실제 산출물보다 사회적 역학과 정치 감각과 더 자주 연결됨. 사내 인맥이 약하거나 사내 정치에 참여하지 않는 사람은 실제 기여와 무관하게 저성과자로 찍힐 수 있고, 직장 네트워킹에 능한 사람은 최고 성과자로 여겨질 수 있음
    이런 회사의 면접도 문제적 패턴에 빠지곤 함. 면접관이 최근 조사한 난해한 질문이나 몇 년 동안 같은 역할을 하며 좁게 특화된 지식에 맞춘 질문을 던짐. 기술 면접이 문제 해결력, 폭넓은 엔지니어링 역량, 성과 개념을 평가하기보다 특정 지식 맞추기 게임이 됨
    솔직히 개인 감정과 성과 평가를 정말 분리할 수 있는 사람이 얼마나 될까? 구조화된 평가 절차가 있어도, 평가자가 개인적으로 싫어하는 사람이 꾸준히 훌륭한 일을 했을 때 높은 점수를 줄까?
  • 논리적으로는 다른 회사들이 이 방식을 따라 하지 않을 것임. 모든 회사가 최상위 인재를 두고 경쟁하면 임금이 올라 이익을 모두 잡아먹기 때문임
    노동과 자본은 아마 이런 식으로 경쟁해야 한다고 봄. 그렇게 가능해지려면 세제상 취급을 평준화할 필요가 있을 듯함

• 데이터와 아이디어는 흥미롭고, BigCo에서 동료로 겪은 일화적 경험과도 맞아떨어짐
  하지만 내 경험상 직원 성과 평가는 데이터보다 정치에 가까움
  결국 요즘 BigCo의 많은 경영진은 10% 해고 할당량을 무기나 부드러운 감원 수단으로 원하고, “데이터”는 그것을 가능하게 하는 잎사귀 역할을 함. 좋게 보자면 조직에 저성과자가 없더라도 관리자가 억지로 찾아내게 만드는 장치로 여겨짐. 어느 쪽이든 결국 자기 확증편향 말고는 기반이 없음
  성과 평가의 엄격함은 회사의 궤적과 노동시장 상황에 거의 묶여 있음. 2021년쯤 좋던 시기에는 성과 기대치가 빡빡했던 회사들도 요건을 완화했음

• 핵심 관심사인 직원 성과를 대충 넘기기 때문에 잘 구성된 빈 주장처럼 보임. 그걸 정의하지 않으면 그래프가 무엇을 나타내는지 알 수 없음

  • 이런 분석에서는 별로 중요하지 않음. 지표를 하나 고르고 인력 전체에 대해 측정하면 됨. 관심 있는 유의미한 지표 대부분에서 직원 전체가 정규분포를 보이지는 않을 것임
    이전 직장에서 이를 모델링해 봤고, 측정 오류와 해마다의 인력 선별 효과 때문에 Welch식 rank-and-yank는 사실상 무작위 해고로 이어진다고 결론 내렸음
  • 답은 꽤 분명하지만 짜증 나게 순환적임
    성과란 “성과 평가 과정에서 회사가 보상하는 일을 눈에 보이게 하는 것”임
    이론적으로 회사의 각 역할에는 기대되는 성취 목록이 명확히 있어야 함. 안타깝게도 그렇지 않은 경우가 많음
    다만 맞는 말로, 성과의 주관성과 명확한 수치 척도 부재가 전체 절차의 어려움임
  • “직원 성과”를 “회사에 대한 가치”로 바꿔도 같은 주장이 성립함. 성과는 측정하기 어렵지만, 누군가 경쟁 오퍼를 받고 관리자를 협상 테이블로 끌고 갈 때 회사에 대한 가치를 꽤 잘 추정하게 됨
    관리자가 맞춰 주려는 금액이 회사가 인식하는 가치임. 회사가 실제로 어떻게 행동하는지, 즉 오퍼를 맞춰 주는지 아닌지는 확실히 알 수 있고, 그 행동은 성과 평가 시즌에 누가 뭐라 하든 회사에 대한 가치를 암시함
  • 글은 측정의 어려움을 짧게 경고하긴 함. 하지만 주요 결론이 스택 랭킹과 해고에 반대하는 것이라면, “성과란 무엇인가”라는 질문은 어차피 하위 10%를 해고하려던 관리자가 쓰려는 지표로 넘어감
  • 저자가 정확히 이 주장을 하는지는 모르겠지만, 회사가 실제로 관심 갖는 합리적인 직원 성과 측정치라면 대부분 나머지 논증이 참이라고 말할 수는 있음

• 이 점은 몇 명이라도 듣길 바라며 계속 강조할 만하지만, 직원 성과에는 또 다른 중요한 문제가 있음. 보너스를 배분한다면, 정확히 측정 가능하다는 전제에서 한 해 성과는 괜찮은 기준일 수 있음
  하지만 유지와 승진은 미래 성과를 예측하는 일이고, 아마 다양한 직무에서의 성과까지 예측해야 함. 이는 훨씬 어렵고 지난 1년 결과에 잘 반영되지 않음
  스포츠에서도 이런 일이 자주 있음. 어떤 선수가 한 해 잘해서 거액 장기계약을 받았는데 이후 무너지는 경우가 있음. 반대로 지난 10년의 더 나은 왕조 중 하나인 NBA Golden State Warriors는 역사상 위대한 선수 중 한 명이 커리어 초반 발목 부상을 여러 번 당해 다른 팀들이 겁먹은 덕분에 낮은 보수로 붙잡을 수 있었음
  단년 성과가 그 사람의 진짜 평균 능력을 반드시 반영하지 않고, 승진과 책임 수준이 달라질 때 파레토 분포에서의 위치도 같지 않을 것임
  회사 입장에서는 장기 전망에 쓸 만한 데이터를 얻으려면 모두를 최소 5년은 유지하고 그동안 다양한 과제를 맡겨야 할 가능성이 큼

  • 정말 이 말 그대로임. 경력 내내 이 얘기를 해왔지만, 기업 리더들이 보통 말단의 이야기를 듣지는 않음
    특히 기술 회사들은 승진과 연봉 인상을 여러 해에 걸친 다양한 업무와 배경에서의 반복된 성공 패턴이 아니라, 지난 반년 업무에 기반해 평가하는 경향이 큼. 그마저도 올바른 팀, 올바른 일, 올바른 시점, 올바른 리더 아래 있어야 승진함
    이 때문에 훌륭한 성과자들이 다른 곳으로 떠남. 조직의 청소부, 유지보수자, 소방수는 회사를 효율적으로 굴러가게 하지만 리더에게 제대로 보상받거나 존중받거나 인정받지 못함. 리더들은 이들을 “나쁜 성과자”로 치부하며, 빛나지 않는 프로젝트에서 뛰어난 인재가 일하는 중요성을 이해하지 못함
    성과 평가에서 이익을 보는 건 해고 때 주가가 뛰는 주주와, 자기 정치적 목적을 위해 시스템을 게임하는 사람들뿐임. 최상위 인재는 실제로 의미 있고 중요한 일을 하느라 이런 제도에서 잘 번성하지 못함
  • 이 이야기를 더 읽고 싶다면:
    https://www.essentiallysports.com/nba-active-basketball-news...
  • 흥미롭게도 스포츠 연봉은 파레토 분포를 따르며, 시장이 평가한 각 선수의 가치에 대해 뭔가 말해 줌
    https://marginalrevolution.com/marginalrevolution/2024/08/go...

• 이 글은 별로 설득력이 없음. 저자도 한 가지 이유는 이미 인정함
  큰 회사에는 저성과자가 있고 모두 본 적이 있으며, 저자는 그들을 채용 오류라고 본다고 했음. 하지만 특정 비율이 채용 오류라는 명백한 근거는 없다고 함
  그런데 우리는 일정 비율의 채용 오류를 기대할 수 있다고 봄. 그리고 그것은 이분법이 아니라 연속체임. 채용 당시에는 훌륭했지만 관심을 잃고 대충 버티거나 번아웃된 사람, 승진이나 전보가 맞지 않아 새 레벨이나 역할에서 못하는 사람 등 다른 요소도 많음
  여기서 파레토 분포는 크게 관련이 없음. 채용 과정은 명확한 컷오프를 가진 전체 노동시장 조각을 가져오려는 것이 아님. 어떤 직무든 특정 연봉에서 얻을 수 있는 성과를 극대화하려는 것이고, 성과를 과소·과대평가하는 오류가 비교적 대칭적이지 않을 이유가 없음
  여러 요인이 얽혀 있다는 점을 보면 파레토 분포의 일부를 잘라온다는 가정보다 정규분포가 훨씬 합리적인 가정임

  • 개인적으로는 채용 오류보다 관리자와 직속 부하의 불일치가 훨씬 크다고 봄
    A가 B를 좋아하지 않는다고 해서 A나 B가 회사에서 일하기 부적합하다는 뜻은 아니지만, 보통 부하가 저성과자로 포장되거나 성과를 낼 자원을 받지 못하는 결과로 이어짐
  • “정규분포가 훨씬 합리적인 가정”이라는 건 가정이 아님. 각주에 인용된 근거를 보면 됨

• 이 글은 “직원 성과를 측정해 보니 정규분포보다 파레토 분포에 더 잘 맞으면 멋지지 않을까?”라고 말하는 셈임
  그게 멋진가? 온갖 일어날 법하지 않은 일의 함의를 가정할 수는 있음. 하지만 개인적으로는 P = NP였으면 훨씬 더 멋질 것 같음
  별개로 해고는 괴롭고, 고성과자인데도 밀려나는 건 더 괴로움. 진실은 “데이터 과학”이 Dostoevsky를 읽는 것처럼 슬픔을 처리하게 도와주지는 않는다는 것임. 그래서 소프트웨어 개발자로 일하더라도 교양 교육에서 A를 받는 것이 가치 있을 수 있음

• 직원으로서 우리가 성과 관리에 기대하는 방식은 학교 성적 시스템에서 온 것임
  흥미롭게도 학교 성적은 특히 쉬운 수업에서는 정규분포를 따르지 않는 경우가 많음. 내 체육 수업에서는 95% 이상이 A를 받을 수 있었을 것 같고, 유기화학 수업에서는 5~10%만 A를 받았을 것 같음
  마찬가지로 어떤 직무는 잘하기가 훨씬 쉬움
  그래서 사실상 모든 행정직은 “탁월한” 성과를 보일 수 있다고 예상해야 함. 즉 요청받은 모든 일을 성공적으로 해낸다는 뜻임. 반면 책임 범위가 더 중대한 사람들은 평균보다 약간 높은 성과만으로도 회사에 10배 더 의미 있을 수 있음

  • 이 비유가 더 이상 맞지 않는 지점이 있음. 회사에서는 학교보다 훨씬 더, 내 성과가 다른 사람들이 일을 얼마나 잘, 제때 하느냐에 크게 의존할 수 있음. 관리자의 지표가 이를 잡아낼 수도 있고 아닐 수도 있음
    예를 들어 부서 X와 많이 협업해야 하는 프로젝트를 맡았는데, 부서 X가 이미 과부하 상태라면 그쪽 일이 제때 끝나지 않아 내 성과가 나빠짐. 왕복 소통마다 반 주가 걸리고, 나는 내 잘못 없이 시간의 절반을 비생산적으로 보내게 됨. 반대로 그쪽은 110% 생산적이지만 전체 조직에 불을 지르고 있을 수 있음. 그 지표만 보면 나를 해고하고 부서 X 인원을 늘려야 하지만, 실제로는 그냥 그쪽을 더 채용하거나 부서를 재편해야 할 수 있음
    또 학교에서는 학생들이 보통 같거나 비교 가능한 과제를 받는다는 점도 다름. 현재 직장에서 어려운 문제 담당자인 나는 평범한 문제를 처리하는 동료와 내 일을 비교하는 것이 절대 불가능하다고 확신함. 같은 스포츠조차 아님. 문제 영역을 전혀 이해하지 못한다면 생산성 비교를 어디서 시작할 수 있겠나
  • 평균이 이동했다고 해서 정규분포가 아니라는 뜻은 아님. 꼭 정규분포라는 말은 아니지만, 제시한 일화만으로는 설득력이 약함
  • “요청받은 모든 일을 했다”가 정말 “탁월함”인가? 거기에 무엇이 탁월한지 모르겠음. 많아야 “기대 충족”이라고 봄