▲

GN⁺: 베이지안 통계: 세 가지 문화

 (statmodeling.stat.columbia.edu)
1P by neo 4달전 | favorite | 댓글과 토론

주관적 베이즈(Subjective Bayes)

  • 전통적인 주관적 베이즈 학파는 데이터 생성 분포(즉, 모수의 함수로서의 가능도)를 가정
  • 이 가정을 조건으로, 사전 신념을 모수에 대한 사전분포로 인코딩
  • 이후 사후추론을 수행하고 돌아보지 않음
  • 오늘날 누군가가 이 철학을 엄격히 따르는지, 또는 자신을 주관적 베이즈 학파로 여기는지는 불분명함

객관적 베이즈(Objective Bayes)

  • "객관적 베이즈" 철학은 가설검정(베이즈 팩터 사용)을 하고 싶어하고 Andrew가 말하는 "베이즈 크린지"를 강하게 느끼는 결합에서 비롯
  • 한 선도적 지지자의 논문에서 인용하면:

참조분석은 추론적 진술이 오직 가정된 모형과 가용한 데이터에만 의존한다는 의미에서, 그리고 추론에 사용되는 사전분포가 정보이론적 의미에서 최소한의 정보를 갖는다는 의미에서 객관적 베이즈 추론을 생산함

  • 컨퍼런스 개최, 제목에 "객관적 베이즈"가 포함된 책 출판 등으로 보아 여전히 많은 사람들이 이를 특징으로 하는 작업을 수행하고 있음
  • BUGS 예제에서 널리 사용되는 gamma(epsilon, epsilon)과 normal(0, 10_000) 사전분포의 배경에 어느 정도 있음

실용적 베이즈(Pragmatic Bayes)

  • Andrew는 "실용적 베이즈"라고 부르는 철학을 따름
  • Gelman, Carlin, Stern, Rubin의 책 "Bayesian Data Analysis" 초판에 명확하게 제시되어 있음
  1. 관찰가능하고 관찰불가능한 모든 양에 대한 결합확률분포인 완전확률모형을 설정. 모형은 기저 과학적 문제와 데이터 수집 과정에 대한 지식과 일치해야 함
  2. 관찰된 데이터를 조건으로 하여 관심있는 관찰불가능한 양의 조건부확률분포인 적절한 사후분포를 계산하고 해석
  3. 모형의 적합도와 결과 사후분포의 함의를 평가: 모형이 데이터에 얼마나 잘 맞는지, 실질적 결론이 합리적인지, 1단계의 모형 가정에 결과가 얼마나 민감한지. 이에 대응하여 모형을 수정하거나 확장하고 세 단계를 반복할 수 있음
  • Andrew가 최종적으로 "작업흐름"이라고 명명한 과정이 바로 이것임

공학에서의 표준 운영 절차

  • 이는 공학에서 "반복적 설계"라고 불리는 표준 운영 절차임
  • 거의 모든 기계학습이 이런 방식으로 이루어짐
  • CS와 ML 배경에서 온 나는 통계학자들이 이런 방식으로 생각하지 않는다는 사실에 충격을 받았음

BDA를 집필할 때의 전략에 대한 발문

  • Andrew는 BDA 초판 집필 초기에 철학을 건너뛰고 그냥 과학을 "하기로" 명시적인 결정을 내렸다고 말함
  • 그와 Rubin은 그들의 반복 설계 과정에 이름을 붙이지 않았음
  • 다른 사람들의 철학적 신념을 정확하게 특징짓기 어렵고 토론을 통해 그것을 바꾸기는 더 어려우므로 이는 현명한 선택임
  • 과학적 방법에 과학철학적 면책 조항이 필요하다면, 아마도 그다지 설득력 있는 과학은 아닐 것임

가능도 vs 사전분포에 대한 발문

  • 사전분포의 선택이 가능도의 선택보다 더 "주관적"이거나 덜 "주관적"이지 않다는 Andrew의 견해에 동의함
  • Andrew는 이를 "가능도라는 낙타를 삼키면서 사전분포라는 모기에 힘쓰기"라는 글에서 간결하게 요약

신념 vs 지식에 대한 발문

  • 철학적 관점에서 "신념"보다는 "지식"의 측면에서 사전분포와 가능도를 인식론적으로 특징짓는 것을 선호함
  • 이는 Laplace가 처음 제공하고 John Stuart Mill이 더 철저히 탐구한 틀이며 Gelman 등이 BDA에서 따른 것임

본 포스트의 어원에 대한 발문

  • 1959년 C.P. Snow는 예술 vs 과학에 대한 유명한 에세이 "두 문화"를 씀
  • 2001년 L. Breiman은 명시적으로 생성과정을 모델링하는 것과 아주 유연한 모형을 사용하는 것 사이의 구분에 관해 영향력 있는 에세이 "통계적 모델링: 두 문화"를 씀
  • Breiman은 그의 작업에서 의사결정 포레스트를 지지했고, 최첨단 신경망을 학습시키기에는 데이터가 충분하지 않은 Kaggle 대회에서 그의 접근법이 여전히 승리하고 있음
  • Andrew가 "펼쳐지는 꽃"이라고 불렀던 것의 예로서 의사결정 포레스트와 신경망을 고려하는지 궁금함

GN+의 의견

  • 주관적 베이즈와 객관적 베이즈라는 두 가지 전통적 접근은 너무 극단적임. 실용적 베이즈 접근이 현실적이고 유용한 타협점을 제공
  • 사전분포의 선택이 가능도의 선택만큼이나 주관적이라는 관점에 동의. 모형의 모든 구성요소는 주관성과 가정을 수반함
  • 모형을 평가하고 예측 성능을 체크하며 필요시 반복하는 "작업흐름" 접근법이 과학에서 표준이 되어야 함
  • 과거 데이터에 기반한 정보적 사전분포를 사용하는 것은 드물지 않으며, 더 많은 베이지안 분석에서 이를 활용해야 함
  • 궁극적으로 베이즈 추론의 철학보다는 과학을 실제로 수행하는 데 초점을 맞추는 것이 현명한 전략임. 그러나 때로는 추론의 기초에 대해 토론하는 것도 가치 있음