- 과학에서 통계적 유의성을 판단할 때 널리 쓰이는 t-test는 맥주 제조의 품질 관리 문제에서 출발함
- 20세기 초 세계 최대 양조장이던 Guinness는 눈대중과 냄새에 의존하던 품질 관리를 일관성과 산업적 엄밀성 중심으로 바꾸려 했음
- William Sealy Gosset은 홉의 수지 함량처럼 작은 표본만 측정할 수 있는 상황에서 실제 차이와 우연한 변동을 구분하는 방법을 고안함
- t-test는 표본 평균의 차이와 데이터의 퍼짐을 함께 보는 신호 대 잡음비를 이용하며, 작은 표본에서는 정규분포보다 꼬리가 두꺼운 t분포가 필요함
- Guinness가 경쟁사에 연구 내용을 알리고 싶어 하지 않아 Gosset은 “Student”라는 필명으로 발표했고, 이 방법은 지금도 과학의 핵심 통계 도구로 남아 있음
Guinness 품질 관리에서 나온 통계 기법
- Guinness 양조장은 창업자 Arthur Guinness가 Dublin에서 연 £45에 9,000년 임대 계약을 맺은 뒤 혁신적 방법으로 알려져 왔음
- 맥주 관련 혁신으로는 수학자 출신 양조가 Michael Edward Ash가 4년간의 시도 끝에 만든 화학적 기법이 있음
- 이 기법은 Guinness stout의 부드러운 거품층을 만드는 데 쓰임
- 질소 가스를 케그와 캔 안의 작은 공에 넣는 방식이 포함됨
- 이후 맥주와 커피의 “nitro brew” 스타일로 이어짐
- 양조장에서 나온 가장 영향력 있는 혁신은 맥주 자체가 아니라 t-test였음
세계 최대 양조장의 작은 표본 문제
- 20세기 초 Guinness는 거의 150년 동안 운영된 세계 최대 양조장이었음
- 당시 제품 품질 관리는 대체로 눈대중과 냄새 검사에 의존했음
- 글로벌 확장 요구가 커지면서 경영진은 더 일관되고 산업적 엄밀성을 갖춘 품질 관리로 전환하려 했음
- 회사는 연구팀을 고용하고 완벽한 맥주를 만들기 위한 질문을 탐구할 재량을 줬음
- 가장 좋은 보리 품종이 자라는 곳
- 맥아 추출물의 이상적인 당도
- 최신 광고 캠페인이 매출을 얼마나 늘렸는지
- 연구팀이 반복해서 마주한 난제는 작은 표본 크기에서 데이터를 해석하는 일이었음
홉 사례로 보는 통계적 유의성
- 홉 꽃은 Guinness의 쓴맛과 자연 방부 역할에 중요한 재료였고, 양조가들은 홉 품질을 평가하기 위해 soft resin 함량을 측정했음
- 예시에서는 좋은 전형값을 8%로 두고, 9개 표본을 측정했을 때 값이 4~10% 범위이고 평균이 6%인 상황을 가정함
- 모든 꽃을 검사하는 것은 경제적으로 가능하지 않아 무작위 표본을 검사해야 했음
- 표본 평균 6%가 나왔을 때 가능한 해석은 두 가지임
- 전체 작물의 soft resin 함량이 실제로 비정상적으로 낮음
- 전체 작물은 정상인데 우연히 낮은 표본만 뽑힘
- 판단의 핵심은 표본의 낮은 수지 함량이 8%와 유의하게 다른지, 아니면 자연 변동인지 구분하는 데 있음
과학 전반에 반복되는 판단
- 이 문제는 양조에만 국한되지 않고 과학 연구 전반에 나타남
- 의학 시험에서 치료군과 위약군이 모두 개선됐지만 치료군이 조금 더 나은 경우, 그 약을 권할 충분한 근거가 있는지 판단해야 함
- 두 집단이 서로 다른 위약을 받았고 한쪽 결과가 더 좋았다면, 그 위약에 약효가 있는지 자연스러운 개선인지 구분해야 함
- 이런 판단은 결국 통계적 유의성의 문제로 이어짐
Gosset의 t-test가 해결한 지점
- 작은 표본 크기에서 이런 문제를 다루는 이론은 Guinness의 William Sealy Gosset이 t-test를 만들기 전까지 개발되지 않았음
- 통계적 유의성 개념 자체는 Gosset 이전에도 있었지만, 이전 통계학자들은 주로 큰 표본을 다뤘음
- 홉 예시에서 묻는 질문은 전체 작물 평균이 8%인 세계에서 평균 6% 같은 극단값을 관측할 확률이 얼마인지임
- 이 확률은 P값으로 불리며, 전통적으로 5% 또는 0.05보다 작으면 통계적으로 유의하다고 보는 경우가 많음
- 단, 적용 분야에 따라 기준값은 달라질 수 있음
신호, 잡음, 그리고 t분포
- P값에는 보통 두 요인이 영향을 줌
- 표본이 모집단에서 기대되는 값과 얼마나 떨어져 있는지
- 큰 편차가 얼마나 흔한지
- 표본 평균 6%와 기대값 8%의 차이는 신호에 해당함
- 차이가 클수록 작물의 soft resin 함량이 실제로 낮을 가능성이 커짐
- 꽃들 사이의 표준편차는 잡음에 해당함
- 표준편차가 크면 평균 6%가 크게 걱정할 일이 아닐 수 있음
- 표준편차가 작으면 6%는 기대값 8%에서 실제로 벗어난 신호일 수 있음
- 이상적인 경우에는 신호 대 잡음비를 계산하고, 그 비율이 5% 기준에 도달할 만큼 큰지 판단함
- Gosset 시대의 통계학자들은 실험을 여러 번 반복해 신호 대 잡음비를 그리면 표준정규분포, 즉 종 모양 곡선과 비슷해진다는 점을 알고 있었음
- Gosset은 이 접근이 큰 표본에서만 잘 작동하고, 작은 홉 표본에서는 정규분포를 보장하지 않는다는 점을 알아차림
- 그는 작은 표본 크기에 맞는 새 분포를 꼼꼼히 표로 만들었고, 이것이 오늘날 t분포로 불림
- t분포는 정규분포처럼 종 모양이지만 꼬리가 더 완만하게 떨어짐
- 따라서 작은 표본에서는 유의성을 판단하려면 더 큰 신호 대 잡음비가 필요함
왜 양조장에서 나왔는가
- John D. Cook은 2008년 블로그 글에서 t-test가 와이너리가 아니라 양조장에서 나온 일이 놀랍지 않을 수 있다고 썼음
- 맥주 양조가는 제품의 일관성을 요구하지만, 와인 생산자는 다양성을 즐긴다는 차이가 있음
- 와인은 “좋은 해”가 있고 병마다 이야기가 있지만, Guinness는 매번 같은 고유한 맛을 내야 함
- 이처럼 균일성에 대한 요구가 통계적 혁신으로 이어짐
“Student’s t-test”라는 이름
- Gosset은 새 기법으로 양조장의 여러 문제를 해결했음
- 독학 통계학자였던 그는 Guinness가 경쟁사에 연구 내용을 알리고 싶어 하지 않았기 때문에 “Student”라는 필명으로 t-test를 발표했음
- Gosset은 산업 품질 관리를 개척했고 정량 연구에 여러 아이디어를 기여했지만, 많은 교과서는 그의 대표 성과를 여전히 Student’s t-test라고 부름
- 그의 이름은 역사에서 덜 부각됐지만, t-test는 현재까지 과학에서 가장 널리 쓰이는 통계 도구 중 하나임