GN⁺: 더닝-크루거 효과는 자기상관입니다

더닝-크루거 효과는 자기상관성

• 더닝-크루거 효과는 무능력한 사람들이 자신의 능력을 과대평가하는 경향을 나타내는 것으로 알려짐.
• 이 효과는 1999년 심리학자들에 의해 발견되었으며, 많은 연구에서 데이터를 통해 확인되는 것처럼 보임.
• 그러나 이 효과는 실제로는 통계적 오류인 자기상관성의 결과로, 인간 심리와는 관련이 없음.

자기상관성이란?

• 자기상관성은 변수가 자기 자신과 상관관계를 갖는 현상을 말함.
• 예를 들어, 한 사람의 키를 측정하면 그 키는 자기 자신과 완벽한 상관관계를 가짐.
• 변수가 식의 양쪽에 혼합되어 있을 때 자기상관성을 발견하기 어려움.

더닝-크루거 효과

• 더닝-크루거 효과는 자기상관성의 한 예로, 실제로는 차트의 오해에서 비롯된 것임.
• 더닝과 크루거는 사람들을 테스트하여 그들의 능력을 자가 평가하게 한 후, 저성적자들이 자신의 능력을 과대평가하는 경향이 있다고 보고함.
• 그러나 이러한 결과는 실제로는 테스트 점수와 자가 평가 점수 간의 자기상관성에 의한 것임.

더닝-크루거 효과 해체

• 더닝-크루거 차트는 테스트 점수를 기준으로 사람들을 그룹화하고, 이를 퍼센타일로 표시하여 자가 평가와 비교함.
• 이러한 방식은 테스트 점수를 자기 자신과 비교하는 것과 같으며, 이는 자기상관성을 숨기고 있음.
• 실제로 무작위 데이터를 사용하여도 더닝-크루거 효과가 나타나는 것은 이러한 자기상관성 때문임.

더닝-크루거 효과 재현

• 실제 데이터를 사용하여 더닝-크루거 효과를 이해하려고 할 때, 원래 데이터와는 다른 결과가 나타남.
• 실험을 재현하려고 할 때, 원시 데이터는 무작위로 보이며 더닝-크루거 효과의 흔적이 없음.
• 그러나 데이터를 다르게 분석하면, 더닝-크루거 효과가 나타나는 것처럼 보임.

더닝-크루거 효과의 붕괴

• 연구자들이 실제로는 무작위 숫자를 사용했음에도 불구하고 더닝-크루거 효과를 재현한 것은 자기상관성 때문임.
• 이러한 오류를 발견한 후, 더닝-크루거 차트가 실제로는 자기상관성에 기반한 것임을 깨닫게 됨.

더닝 크루거 효과의 부재

• 통계적으로 유효한 방식으로 더닝-크루거 효과를 측정하면, 효과가 사라짐을 발견함.
• 교육 수준에 따라 그룹화된 사람들의 자가 평가 오류를 측정한 결과, 평균 오류가 0 주변에 머무르며 더닝-크루거 효과의 증거가 없음.

무능력하고 그것을 모르는 사람들

• 더닝과 크루거가 통계적 오류를 범한 것은 실수일 수 있으나, 그들의 논문은 무능력한 사람들이 자신의 무능력을 인식하지 못한다는 주장을 담고 있음.
• 그러나 실제로는 더닝과 크루거 자신들이 통계적 무능력을 드러내고 있었으며, 이는 자기상관성과 심리학적 효과를 혼동한 것임.

GN⁺의 의견

이 글에서 가장 중요한 것은 더닝-크루거 효과가 실제로는 인간 심리와 관련이 없고, 자기상관성이라는 통계적 오류에 기반한 것이라는 점이다. 이는 연구자들이 데이터를 해석할 때 발생할 수 있는 함정을 보여주며, 과학적 발견이 어떻게 잘못된 통계적 해석에 의해 오해될 수 있는지를 예시한다. 이러한 오류를 이해하는 것은 연구 결과를 해석하고 검증하는 데 있어 중요한 교훈을 제공하며, 이는 초급 소프트웨어 엔지니어뿐만 아니라 모든 과학 분야의 연구자들에게 유익한 정보가 될 것이다.

[neo]

Hacker News 의견

• 댓글자는 자신이 통계학이나 심리학에 대해 충분히 이해하고 있지 않다고 인정하면서, D&K 연구가 자신의 할아버지가 말씀하신 "더 많이 알수록 자신이 모르는 것이 많다는 것을 깨닫게 된다"는 말과 유사하다고 느낌. 댓글자는 많은 사람들이 실제로 알고 있는 것보다 더 많이 알고 있다고 생각하는 경향이 있으며, 이는 아마도 자신과 해당 기사의 저자에게도 해당될 수 있음을 고민함.
• 다른 댓글자는 기사의 주장에 동의하지 않으며, D-K 그래프가 단순한 자기상관성의 결과라는 주장에 반박하는 글을 소개함. 실제로는 성과와 성과 평가가 독립적이라고 가정하는 것이 매우 놀라운 일이며, D-K 연구는 성과와 자가 평가 사이에 상관관계가 있음을 보여줬지만, 예상만큼 강하지는 않았다고 설명함. 오히려 일관된 편향을 보여주었고, 이것이 흥미로운 결과임.
• 이전 토론에서 언급된 바와 같이, 저자는 사람들이 자신의 능력을 예측하는 데 있어서 매우 형편없어서, 자가 평가가 조건 없는 무작위 변수와 같다고 가정함. 실제 능력이 높으면 자가 평가가 무작위 기회에 의해 실제 능력보다 낮을 가능성이 높음. 이러한 비판은 사람들이 정말로 자신의 능력을 그렇게 잘못 평가하는지에 대한 의문을 제기함.
• 저자들이 "X - Y 대 X" 분석을 했지만, 이것이 가장 큰 문제는 아님. 저자들은 0에서 1 사이로 변환되고 제한된 두 측정치를 뺐음. 극단적인 값에서는 어떤 일이 발생하는가? 최고 성과자들은 자신의 성과를 얼마나 과대평가할 수 있는가? 그들은 이미 거의 1에 도달했으므로 별로 할 수 없음. 만약 그들이 동일한 비율과 크기로 과대평가와 과소평가를 한다면, 변환된 값의 상한 효과는 그들이 더 자주 과소평가하는 것처럼 그래프가 보일 것임.
• Nicolas Boneel과 저자 사이의 댓글에서의 토론이 흥미롭고, Nicolas는 기사를 읽으면서 가졌던 의구심을 표현함. DK 효과의 핵심은 사람들이 자신의 기술을 잘못 평가한다는 것이므로, 만약 그들이 자신의 기술 수준을 무작위로 추측한다고 가정하면 당연히 결과를 재현할 수 있음.
• 저자가 사용하는 "자기상관성"이라는 용어는 통계학에서 일반적으로 사용되는 의미와 다름. "자기상관성"은 시계열 데이터가 시간적으로 어느 정도 지연된 자기 자신과의 상관관계를 의미하는 것으로, OP에서 언급된 것처럼 사용하면 통계학을 아는 사람들에게 혼란을 줄 수 있음.
• 저자가 상상하는 세계에서, 사람들의 점수 추정이 실제 점수와 독립적이라면, DK 효과가 실제로 존재한다고 말할 수 있음. 낮은 점수를 받은 사람들은 자신의 점수를 과대평가하고, 높은 점수를 받은 사람들은 과소평가하는 경향이 있음.
• "편향"이라는 용어에 대한 혼란이 있음. 만약 자가 평가가 무작위로 이루어진다면, 높은 성과자들은 모두 자신을 과소평가할 것이지만, 이것은 과소평가에 대한 편향이 아님. D-K 차트는 다른 편향을 보여주며, 대부분의 사람들이 자신을 평균이라고 생각하는 것과 일치함. 높은 성과자들은 평균을 과대평가하고, 낮은 성과자들은 평균을 과소평가할 것임을 가정함.
• 기사에서의 "자기상관성" 정의와 위키피디아에서의 정의가 다름을 지적함. 기사의 정의는 시간 지연과 관련이 없으며, D-K와 관련하여 "자기상관성"이라고 부르는 것은 잘못된 표현임.
• 만약 숙련되지 않은 사람과 숙련된 사람이 평균적으로 동일하게 자가 평가를 한다면, 숙련되지 않은 사람은 과대평가하고 숙련된 사람은 과소평가할 것임. 이것만으로도 중요한 결과가 될 수 있으며, 실제로 상관관계가 있음을 주목함.