심슨의 역설

 (en.wikipedia.org)
3P by GN⁺ | ★ favorite | 댓글 1개
  • 심슨의 역설은 하위 집단에서는 보이던 추세가 데이터를 합치면 사라지거나 뒤집히는 확률·통계 현상으로, 집계 데이터만 보면 판단이 크게 왜곡될 수 있음
  • 빈도 데이터를 곧바로 인과로 해석하면 교란 변수를 놓치기 쉬우며, 사회과학·의학 통계에서 특히 문제가 됨
  • UC Berkeley 대학원 입시, 신장 결석 치료, 프로야구 타율 사례는 하위 집단 비교와 전체 합산 비교가 서로 다른 결론을 낼 수 있음을 보여줌
  • 비율 역전은 벡터 관점에서도 설명되며, 표만 보고 데이터를 나눌지 합칠지 결정하기 어렵다는 점이 핵심 제약임
  • 올바른 해석에는 Pearl의 back-door criterion과 do-calculus 같은 인과 모델이 필요하며, 단순 집계보다 데이터 생성 과정 이해가 중요함

현상과 이름

  • 심슨의 역설은 여러 데이터 그룹에서 나타나는 추세가 그룹을 합치면 사라지거나 반대로 바뀌는 현상임
  • 빈도 데이터에 과도한 인과 해석을 부여할 때 특히 위험하며, 교란 변수와 인과 관계를 통계 모델링에서 적절히 다뤄야 함
  • 통계 오용이 어떻게 잘못된 결과를 만들 수 있는지 보여주는 대표 사례로 쓰임
  • Edward H. Simpson이 1951년 기술 논문에서 이 현상을 설명했으며, Karl Pearson은 1899년, Udny Yule은 1903년에 유사한 효과를 먼저 언급함
  • Simpson's paradox라는 이름은 Colin R. Blyth가 1972년에 도입함
  • 다른 이름으로는 Simpson's reversal, Yule–Simpson effect, amalgamation paradox, reversal paradox가 있음

UC Berkeley 대학원 입시 사례

  • 1973년 가을 University of California, Berkeley 대학원 입시 자료에서는 전체 합산 기준으로 남성 지원자가 여성 지원자보다 합격 가능성이 높았고, 그 차이는 우연으로 보기 어려울 만큼 컸음
    • 전체 지원자 12,763명 중 합격률은 41%
    • 남성 8,442명의 합격률은 44%
    • 여성 4,321명의 합격률은 35%
  • 학과별 정보를 반영하면 전체 합산과 다른 양상이 나타남
    • 여성은 합격률이 낮은 더 경쟁적인 학과에 더 많이 지원하는 경향이 있었음
    • 남성은 합격률이 높은 덜 경쟁적인 학과에 더 많이 지원하는 경향이 있었음
  • 합산 자료와 보정 자료는 여성에게 유리한 작지만 통계적으로 유의한 편향을 보였음
  • 전체 85개 학과 중 여성에게 불리하게 유의한 편향을 보인 학과는 4개, 남성에게 불리하게 유의한 편향을 보인 학과는 6개였음
  • 결론은 편향된 학과 수 자체가 아니라, 각 학과의 전체 지원자 기준 탈락률로 가중한 전 학과의 성별 입학 결과에 근거함

신장 결석 치료 사례

  • 실제 의학 연구에서 신장 결석 치료 A와 B의 성공률을 비교할 때 심슨의 역설이 나타남
    • Treatment A는 개복 수술 절차를 포함함
    • Treatment B는 폐쇄 수술 절차를 포함함
  • 결석 크기별로 보면 Treatment A의 성공률이 더 높음
    • 작은 결석: A는 93% (81/87), B는 87% (234/270)
    • 큰 결석: A는 73% (192/263), B는 69% (55/80)
  • 결석 크기를 합치면 Treatment B가 더 높은 성공률을 보임
    • 전체: A는 78% (273/350), B는 83% (289/350)
  • 역전은 치료 선택과 사례 난이도가 함께 작용하면서 발생함
    • 의사들은 큰 결석에는 더 나은 Treatment A를, 작은 결석에는 상대적으로 열등한 Treatment B를 더 많이 적용하는 경향이 있었음
    • 결석 크기가 성공률에 큰 영향을 주어, 치료 선택보다 사례의 심각도가 전체 비율에 더 강하게 작용함
  • 덜 효과적인 Treatment B가 더 효과적으로 보인 이유는 치료가 쉬운 작은 결석 사례에 더 자주 적용됐기 때문임
  • Jaynes는 Treatment A가 Treatment B보다 뚜렷하게 낫지만, 신장 결석 크기가 더 중요한 변수라고 봄

프로야구 타율 사례

  • 심슨의 역설은 프로야구 선수의 타율에서도 나타날 수 있음
  • 한 선수가 여러 해 각각에서는 다른 선수보다 타율이 높지만, 모든 해를 합치면 더 낮은 타율을 가질 수 있음
  • Ken Ross는 1995년과 1996년 Derek Jeter와 David Justice의 타율로 이를 보임
    • 1995년: Jeter는 12/48, .250; Justice는 104/411, .253
    • 1996년: Jeter는 183/582, .314; Justice는 45/140, .321
    • 합산: Jeter는 195/630, .310; Justice는 149/551, .270
  • Justice는 두 해 각각에서 Jeter보다 타율이 높았지만, 두 시즌을 합치면 Jeter가 더 높은 타율을 기록함
  • Ross에 따르면 가능한 선수 쌍들 사이에서 이런 현상은 약 1년에 한 번 관찰될 수 있음

벡터로 보는 비율 역전

  • 심슨의 역설은 2차원 벡터 공간으로도 설명할 수 있음
  • 성공률 p/q, 즉 성공/시도는 기울기 p/q를 가진 벡터로 나타낼 수 있음
  • 두 비율을 합치면 평행사변형 법칙에 따른 벡터 합으로 표현되며, 그 합의 기울기가 결합된 성공률이 됨
  • 개별 비교에서는 한 벡터의 기울기가 다른 벡터보다 작아도, 두 벡터를 합친 결과의 기울기는 반대로 더 커질 수 있음
  • 이런 역전이 발생하려면 한쪽 벡터 일부가 다른 쪽 벡터 일부보다 큰 기울기를 가져야 하며, 해당 벡터들이 보통 더 길어 전체 비교를 지배함

상관관계와 인과 해석

  • 심슨의 역전은 상관관계에서도 생길 수 있음
  • 두 변수가 전체로는 양의 상관관계를 보이지만, 숨은 교란 변수를 반영하면 실제로는 음의 상관관계를 가질 수 있음
  • 경제학 예시에서는 전체 데이터만 보면 수요가 가격과 양의 상관관계를 갖는 것처럼 보였지만, 시간 변수를 반영하면 여러 기간에서 기대되는 음의 상관관계가 나타남
  • 시간의 영향을 무시하고 수요와 가격만 그리면 상관관계가 양수로 뒤집힘
  • 심슨의 역설은 부호 역전이 불가능하다는 직관이 고전 논리나 확률 계산만으로 나오지 않음을 보여줌
  • Savage의 sure-thing principle의 한정된 형태는 Pearl의 do-calculus에서 도출될 수 있음
    • 어떤 행동 A가 각 하위 집단에서 사건 B의 확률을 높이면, 그 행동이 하위 집단 분포를 바꾸지 않는 한 전체 집단에서도 B의 확률을 높여야 함
  • Pavlides와 Perlman은 균일분포를 따르는 무작위 2 × 2 × 2 표에서 심슨의 역설이 정확히 1/60 확률로 발생한다는 증명을 제시함
  • Kock의 연구에서는 두 예측 변수와 하나의 기준 변수를 가진 경로 모델에서 심슨의 역설이 무작위로 발생할 확률이 약 12.8%, 즉 8개 경로 모델당 1회보다 약간 높은 수준으로 나타남

Simpson의 두 번째 역설과 인과 그래프

  • Simpson의 1951년 논문에는 덜 알려진 두 번째 역설도 포함됨
  • 이 경우 신장 결석 사례처럼 분리된 데이터에 항상 합리적 해석이 있는 것이 아니라, 합친 데이터가 올바른 해석일 수 있음
  • 분할된 데이터와 결합된 데이터 중 무엇을 써야 하는지는 데이터를 생성한 과정에 달려 있음
  • 따라서 표를 관찰하는 것만으로는 올바른 해석을 항상 결정할 수 없음
  • Judea Pearl은 분할 데이터가 변수 X와 Y 사이의 올바른 인과 관계를 나타내려면 분할 변수가 back-door criterion이라는 그래프 조건을 만족해야 한다고 보임
    • X와 Y 사이의 모든 가짜 경로를 차단해야 함
    • 어떤 분할 변수도 X의 영향을 받으면 안 됨
  • 이 기준은 Simpson의 두 번째 역설에 대한 알고리듬적 해결책을 제공하며, 같은 데이터와 양립하는 서로 다른 그래프가 서로 다른 back-door criterion을 요구할 수 있음을 설명함
  • 공변량 집합 Z가 back-door criterion을 만족하면 조정 공식이 X가 Y에 미치는 올바른 인과 효과를 제공함
  • 그런 집합이 없으면 Pearl의 do-calculus로 인과 효과를 추정하는 다른 방법을 찾을 수 있음
  • do-calculus의 완전성은 심슨의 역설에 대한 완전한 해결로 볼 수 있음

비판과 실무적 함의

  • 한 비판은 심슨의 역설이 실제 역설이라기보다 교란 변수를 제대로 반영하지 않았거나 변수 간 인과 관계를 고려하지 못한 결과라는 점임
  • 역설 자체에 집중하면 더 중요한 통계적 문제에서 주의가 분산될 수 있음
  • 또 다른 비판은 겉보기 심슨의 역설이 데이터를 층화하거나 그룹화하는 방식의 결과일 수 있다는 점임
  • 데이터를 다르게 층화하거나 다른 교란 변수를 고려하면 현상이 사라지거나 반대로 바뀔 수 있음
  • Simpson의 예시는 하위 집단의 높은 비율이 합쳐질 때 단순 평균이 되지 않는 noncollapsibility 현상을 강조함
  • 그럼에도 심슨의 역설은 통계와 데이터 분석에서 계속 연구·논의되는 주제이며, 단순한 데이터 해석의 함정을 보여주는 사례로 남아 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 오래전 The Hut Group에서 데이터 분석가로 일할 때 실제로 겪어 봤음
    마케팅팀은 1년 내내 매출 대비 마케팅 비용 비율이 모든 제품군에서 낮아졌다고 했는데, 연말에 경영진은 전체 매출원가가 10%에서 거의 20%로 두 배 가까이 오른 걸 보고 놀랐음
    재무팀 요청으로 확인해 보니 마케팅팀 숫자는 맞았고, 게임·뷰티·영양 제품군의 마케팅 비용 비율은 각각 약 15%→10%, 30%→25%, 50%→30%로 모두 하락했음
    다만 제품군 구성이 크게 바뀌어 영양 제품군이 전체 매출의 10% 정도에서 거의 50%까지 커졌고, 가장 비용 비율이 높은 카테고리가 커진 탓에 전체 마케팅 비용 비율은 상승함
    결국 각 카테고리 판매 효율은 좋아졌지만 전체 지표는 나빠졌고, 회계 담당자들에게 율-심슨 역설을 설명해야 하는 재미있는 일을 맡게 됨

    • SRE로 다루는 거의 모든 데이터셋이 이런 역설로 가득함
      Google의 유명한 사례로, 한 네트워크 엔지니어가 인도네시아 같은 곳에 갔다가 서비스가 느린 걸 보고 물어보니 다들 “늘 그랬다”고 답했음
      현지 이동통신망은 느리고 섬 밖으로 나가는 광섬유 연결은 포화 상태라, 본사로 돌아와 페이로드 크기를 줄이는 최적화를 했고 다운로드 크기를 절반으로 줄여 배포했지만 평균 및 p95 지연시간은 오히려 증가함
      객관적으로 좋은 변경이 왜 나빠 보였냐면, 서비스가 크게 개선된 사용자들이 훨씬 더 많이 쓰기 시작했기 때문임
      대역폭 부담은 줄었어도 데이터센터까지의 네트워크 지연은 미국 사용자보다 컸고, “덜 끔찍해진” 서비스를 더 많이 쓰면서 전체 지표를 끌어올림
      요청 원격 측정의 특정 조각만 보고 시스템 전체를 충분히 모델링하지 않거나 잘못된 변수를 통제해 결론을 잘못 내리는 사례가 많음
      최악은 Simpson 역설이 만드는 순환 책임 전가로, 앱 개발자는 서버 회귀를 탓하고 서버팀은 앱팀을 탓하는 식인데, 서버와 앱 릴리스 일정이 우연히 너무 잘 맞아떨어져 생기기도 함
    • 실제로 꽤 흔함
      Iris 같은 “고전적인” 장난감 데이터셋에서도 볼 수 있음: https://github.com/DataForScience/Causality/blob/master/1.2%...
    • Simpson 역설의 실제 사례를 들을 때마다 어떤 교훈을 얻어야 할지 잘 모르겠음
      마케팅팀이 과최적화해서 비영양 제품 수요가 줄었다는 뜻인지, 영양 제품을 제품군에서 빼면 개별 제품과 전체 효율이 둘 다 좋아진다는 뜻인지, 아니면 이런 지표가 부족하니 비율보다 총 변화량을 봐야 한다는 뜻인지 감이 안 옴
    • 혼합/계층 선형 모델을 적용하는 게 꽤 일반적이라고 생각했음
      통계학을 전공하진 않았지만 생물학적 효과를 모델링하는 분야에서는 이런 문제에 그렇게 접근하곤 함
      예: https://www.pymc.io/projects/examples/en/latest/generalized_...
    • 보고서 슬라이드에 제품 구성 변화가 없었다는 게 놀라움
      다만 마케팅은 객관성보다 긍정성을 선택하는 쪽이고, 자기들이 한 일을 뒷받침하는 사실만 고르는 경향이 있음

  • Jordan Ellenberg의 인용문이 정말 좋음

    수학자 Jordan Ellenberg는 Simpson의 역설이라는 이름이 잘못됐다고 본다. “모순이 있는 게 아니라, 같은 데이터를 생각하는 두 가지 다른 방식이 있을 뿐”이며, 여기서 배워야 할 점은 “어느 관점을 택하라고 말하는 게 아니라 부분과 전체를 동시에 염두에 두라고 요구하는 것”이라고 한다
    여러 가능성을 동시에 염두에 두는 태도 덕분에 에피쿠로스학파는 적자생존, 양쪽 부모로부터의 형질 유전, 빛이 매우 가볍고 매우 빠르게 움직이는 불연속 단위로 이루어졌다는 생각, 자유의지가 존재하려면 같은 물리 법칙과 조건 아래서도 물질을 이루는 양자가 여러 가능한 결과를 가져야 한다는 생각에 도달했음
    과학적 방법이 같은 결과를 독립적으로 찾아내기 수천 년 전의 일이고, 특히 여기서 말하는 데이터 분석에도 훌륭한 분석 방법임

    • “역설”이라는 단어의 의미를 조금 오해한 것 아닌가 싶음
      역설이라고 부르는 이유는 처음 직관에 반하고 모순처럼 보이기 때문이지, 반드시 실제로 모순이어야 해서가 아님
      오히려 이름 붙은 역설 대부분은 실제 모순이 아닌 것으로 드러날 가능성이 큰데, 틀려 보이고 실제로도 틀린 것은 이름을 붙일 만큼 흥미롭기 어렵기 때문임
    • 자유의지가 존재하려면 같은 물리 법칙과 조건 아래서도 물질을 이루는 양자가 여러 가능한 결과를 가져야 한다는 표현은 이상하고 맥락에서 벗어난 것 같음
      양자역학을 말하는 듯하지만, 양자역학이나 자유의지를 정확히 나타낸다고 보이지 않고 에피쿠로스학파가 양자역학을 알았을 리도 없음
    • Simpson 역설과 에피쿠로스학파 사이의 연결이 잘 이해되지 않음
    • 에피쿠로스학파 이론 목록이 흥미로움
      그것들을 함께 다루고 다중 가능성 사고와 어떻게 관련되는지 보여 주는 좋은 입문 자료가 있으면 좋겠음
    • 꼬투리 잡는 것 같지만 “빛이 매우 가볍고 매우 빠르게 움직이는 불연속 단위로 이루어졌다”는 표현은 정확하지 않음
      우선 빛은 정확히 질량이 0이고, 질량이 없는 입자만 정확히 빛의 속도로, 그것도 그 속도로만 이동할 수 있음
      둘째로 빛의 파동-입자 이중성을 빠뜨렸는데, 이는 “같은 데이터를 생각하는 두 가지 다른 방식”이라는 Simpson 역설 설명과도 닮았고, 이것 없이는 빛이나 관찰 중인 통계 시스템의 동작을 온전히 이해할 수 없음

  • 오래전 입문 통계를 가르칠 때 주택 가격을 Simpson 역설의 좋은 예로 썼음
    학생들이 계산 실습에서 실제 데이터를 조사하게 했는데, 당시 데이터는 2008년 미국 주택 매매 자료라 지금은 15년쯤 지난 자료임
    그때 단독주택 평균 매매가는 중앙 냉방이 없는 집이 있는 집보다 더 높았음
    하지만 주별로 나누면 모든 주에서 관계가 반대로 나타나, 중앙 냉방이 있는 집이 없는 집보다 더 비쌌음
    전국 평균에서 중앙 냉방 없는 집의 가격이 높게 나온 주된 이유는 캘리포니아의 비싼 주택 중 중앙 냉방이 없는 집이 많았기 때문임

    • 이 결과는 위 사례들과 반대처럼 읽히거나, 목표에 따라 올바른 통계를 고르는 문제처럼 보임
      이 경우 전국 평균은 별로 중요하지 않고 내 집, 내 거리, 내 지역이 중요함
      반면 마케팅 같은 경우 먼저 중요한 통계는 전체 순이익이고, 그다음 요인을 파고들며 사업 비중을 마케팅 비용보다 먼저 보게 됨
      네트워크 예시에서 목표는 속도나 지연시간이 아니라 사용량/처리량임
      처음부터 잘못된 통계를 고르면 잘못된 결론으로 이어짐

  • https://en.wikipedia.org/wiki/Berkson%27s_paradox도 알아둘 만함
    모집단이 편향된 방식으로 만들어질 때 오류가 스며드는 길은 많음
    이 두 효과는 “데이터 기반” 프로세스에서 나오는 어리석은 결정 상당수를 설명해 줌
    데이터가 진실과 정반대를 시사하는 일은 흔함

    • 이런 현상에서 얻을 가장 좋은 교훈은 데이터셋에 통계를 돌리는 것만으로는 진실을 알 수 없다는 점이라고 봄
      실제로 작동하는 인과 요인을 이해하지 못하면, 데이터가 얼마나 많고 통계를 얼마나 여러 방식으로 쪼개 보든 지식은 매우 제한적임
      예를 들어 Simpson 역설 글에 나오는 UC Berkeley 사례에서 데이터는 입학 절차를 더 공정하게 만들기 위해 사람들이 다르게 해야 할 “편향”에 대해 유용한 것을 거의 알려주지 않음
      입학 절차가 주로 학과 단위로 통제되는지, 대학 전체 단위로 통제되는지 같은 맥락 없이는 가능한 편향을 어디서 찾아야 하는지도 알 수 없음
    • 경험주의자라면 https://en.wikipedia.org/wiki/Goodhart%27s_law를 가리키면 됨
    • 격언처럼 거짓말, 새빨간 거짓말, 그리고 통계가 있음

  • 위키 페이지의 짧은 애니메이션은 그림 하나가 천 마디 말의 가치가 있다는 걸 보여 주는 훌륭한 예임
    [https://en.wikipedia.org/wiki/File:Simpsons_paradox_-_animat...](https://en.wikipedia.org/wiki/File:Simpsons_paradox_-_animation.gif)

  • Lord의 역설은 Simpson 역설과 밀접하게 관련되어 있고, 시각적으로는 조금 더 이해하기 쉬움: https://repository-images.githubusercontent.com/597130499/46...
    가로축이 약물 용량이고 세로축이 수면 시간 같은 반응이라고 상상해 보면 됨
    Lisa의 반응을 보면 용량을 늘릴수록 수면이 줄어드는 게 분명하고 Bart도 마찬가지임
    하지만 전체 데이터로 선형 회귀를 하면 빨간 선처럼 용량이 늘수록 수면이 증가한다고 나오는데, 이는 잘못된 결론임

  • 얼마 전까지 Simpson 역설이 인과 추론의 교훈이라는 걸 몰랐음
    올바른 패러다임을 적용하면 역설은 사라짐
    더 나은 글은 여기 있음: https://plato.stanford.edu/entries/paradox-simpson/

  • 처음 봤을 때는 The Simpsons에서 Mr. Burns가 “서로 상쇄될 정도로 엄청나게 다양한 질병”을 가진 에피소드인 줄 알았음
    설명은 여기 있음: https://simpsons.fandom.com/wiki/Three_Stooges_Syndrome
    유사성이 놀랍지만, 90년대 후반 The Simpsons 작가진의 천재성을 생각하면 의도적이었을 가능성이 큼

  • UC Berkeley 입학에서 성별 편향이 있어 보였다는 예시를 읽다가 이런 내용을 봤음
    “여성은 합격률이 낮은 더 경쟁적인 학과에 지원하는 경향이 있었고, 자격 있는 지원자 사이에서도 그랬다. 예를 들어 영어학과가 그랬다. 반면 남성은 합격률이 높은 덜 경쟁적인 학과에 지원하는 경향이 있었고, 예를 들어 공학과가 그랬다”
    예상과 반대라 놀랐음
    영어와 예술 전반은 STEM보다 들어가기 훨씬 쉬울 거라고 생각했는데, 호주에서는 그렇게 느껴짐
    여기서 “들어간다”는 건 산업계가 아니라 대학 입학을 말함

    • 명백한 답을 아직 아무도 안 한 것 같음
      이 데이터는 대학원 과정 지원 자료임
      공학에는 자금이 훨씬 많고, 공학 박사과정에 가는 학생 상당수는 학비를 직접 내지 않음
      인문학에는 자금이 매우 적고, 대부분의 학생은 인문학 박사에 큰돈을 내고 싶어 하지 않으므로 학과가 입학 정원을 엄격히 제한함
      그래서 충분히 유능하다면 공학 박사과정에 들어가는 편이 더 쉬움
      공학을 같이 공부하던 친구가 환멸을 느끼고 저널리즘으로 가고 싶어 대학의 Communications 프로그램으로 전과 지원을 했는데, 1년에 10명도 안 뽑을 정도로 경쟁이 심했고 결국 떨어졌음
    • 호주에서 우리는 보통 학부 경쟁도를 전년도 합격자의 최소 ATAR 순위로 생각함
      하지만 경쟁도를 합격자 수 / 지원자 수라는 합격 비율로 볼 수도 있음
      매우 인기 있는 전공에 높은 ATAR 지원자 비율이 불균형하게 낮다면, 이 두 지표는 동시에 성립할 수 있다고 봄
    • 나도 읽고 놀랐음
      여기서 보는 것은 합격률 = 합격자 수 / 지원자 수이고, 개념적 의미의 전반적인 난이도와는 같지 않다는 게 답인 듯함
      수학 대학원에 지원하는 사람은 수학 학사에서 좋은 성적을 받았거나 다른 STEM 전공에 상당한 이론 수학 과목을 들은 사람들뿐임
      예술 쪽은 더 넓은 배경의 지원자를 끌어들이고, STEM에서 다른 분야로 옮기는 사람도 반대보다 훨씬 많을 것 같음
      단편소설이 훌륭하다고 스스로 믿는 건 남들이 동의하지 않을 수 있어도 쉽지만, 수학 증명이 객관적으로 틀렸는데 맞다고 스스로 설득하기는 더 어려움
      그래서 지원자 측의 자기선별이 덜 일어나고 합격률이 낮아짐
    • 경쟁도는 난이도를 재는 한 방법이지만 다른 방식도 있음
      공학과는 질적으로 들어가기 더 어렵고, 인문학은 양적으로 더 어렵게 되는 경향이 있음

  • 그 시각화가 너무 효과적이라 위키를 읽을 필요가 없었음
    그것만 보고도 바로 이해됨

답변달기