- 사회과학 및 생명과학에서는 거의 모든 변수 간에 일정 수준의 상관관계가 존재함
- 이 현상은 단순한 우연이나 통계적 오류가 아니라, 복잡하게 얽힌 유전적·환경적 요인에서 비롯된 실제적 사실임
- 표본 수가 커질수록, 유의한 상관관계는 대부분의 변수 쌍에서 나타나며, 연구자는 개별 상관관계보다 상관 패턴 자체에 주목하게 됨
- ‘Crud factor’는 거의 모든 변수쌍에서 작은 상관관계가 존재함을 의미하며, 임의의 이론 및 변수쌍 선정만으로도 높은 확률로 유의미한 결과가 나옴
- 이러한 상황에서는 전통적인 유의수준(0.05) 이 갖는 의미가 약화되며, 사회과학 통계 해석 시 주의를 요구함
개요 및 배경
- 심리학과 사회학에서는 “모든 것이 어느 정도 서로 상관관계를 가진다” 는 주장이 널리 받아들여짐
- 특정 특성이 여러 유전적 및 환경적 요인에 의해 결정되고, 이 요인들 간에도 자체적으로 상관관계가 존재함
- 따라서 실질적으로 거의 모든 측정 가능한 변수는 어느 정도 상호 관련성이 존재함
“Crud Factor”와 통계적 발견
- “Crud factor” 란, 사회과학(그리고 일부 생명과학) 연구에서 임의의 변수 쌍 간에도 작은 상관관계가 항상 존재하는 현상을 지칭함
- 1966년 미네소타 고등학생 57,000명을 대상으로 실시한 대규모 데이터에서, 가족, 교육, 취미 활동, 진로, 종교 등 다양한 변수들 간 105개의 교차표(crosstabulation) 분석 결과 모두 통계적으로 유의미함
- 전체의 96%가 p<10⁻⁶ 수준의 극히 낮은 확률로 우연일 가능성을 배제함
- 변수 수를 45개까지 넓히면 총 990개의 조합 중 92%가 통계적으로 유의하였음
- 한 변수와 다른 모든 변수들 간 유의미한 관계의중앙값(median) 은 44개 중 41개임
실제 변수들 간 사례
- MCAT 점수와 형제 수, 출생순서, 성별, 직업계획, 종교 선호 등과의 관계에서도 모두 높은 통계적 유의성이 발견됨
- 예: 여자 학생이 남자보다 점수가 높음, 형제 수가 많을수록 점수 하락 경향, 첫째/외동이 막내보다 똑똑함, 종교 집단마다 뚜렷한 차이 등 다수 존재함
- 대표적 개신교 5개 교파별로도 여러 변수와의 관계에서 높은 유의성이 관찰됨
- 예: 외동이 Presbyterian일 확률이 Baptist의 거의 2배, 교파별 학교 호감도 및 직업 희망 차이 등 다수의 상관성
MMPI 문항 사례
- MMPI(성격검사) 550개 문항 중 507개(92%)가 성별에 따른 유의미한 차이를 보임
- 일부 문항은 뚜렷한 성향의 차이를 명료하게 설명할 수 있으나, 다른 항목들은 이유가 복합적 또는 설명 불가
- 이러한 결과는 표본 수가 매우 많은 대규모 연구에서 나타나므로 통계적 오류(type I error)가 아니라 실질적 현상임
사회과학적 상관관계와 이론 검증의 한계
- 임의의 이론과 변수쌍을 랜덤하게 조합하더라도, 평균 상관관계(crud factor)가 0.30 수준이라면, 실질적으로 세 번 중 한 번 꼴로 유의미한 차이 발견 가능
- 통상 사회과학에서 의미 있게 바라보는 유의수준(0.05)보다 이런 현상이 훨씬 자주 발생
- 연구자가 이론적으로 예측하지 않은 변수쌍에도 상관관계가 쉽게 드러나므로, 통계적 유의성만으로 실질적 인과관계를 뒷받침하기 어려움
- 복합적 원인(유전자/환경) 및 관찰 데이터의 풍부함이 이런 다방면의 상관관계를 만듦
실천적 결론
- 사회과학 데이터 해석 및 이론 검증 시, ‘crud factor’에 의한 “평범하지만 진짜 존재하는 상관관계” 를 항상 염두에 둘 필요가 있음
- 유의수준 통계(예: p<0.05)의 의미를 맹신하기보다는, 변수 간 실질적 인과성과, 패턴 해석에 더욱 집중하는 접근이 필요함
- “모든 좋은 것은 함께 오는 경향이 있다”라는 Thorndike의 격언처럼, 실제 세계에서는 너무 많은 것들이 서로 얽혀 있음