Bayesian Approach

 

베이즈 통계학은 통계학 뿐만 아니라 경제학, 머신러닝, 딥러닝 분야에서도 많이 쓰이는 통계학이다.

 

베이즈 통계학에서는 분포의 모수 parameters도 업데이트가 가능한 random variable로 보고 이를 갱신한다.

 

따라서 분포가 데이터에 따라서 변화한다.

 

하지만 기존의 빈도주의 frequentist들은 모수는 고정된 알 수 없는 constant 상수로 간주한다. 

 

여기서는 간단하게 베이즈 정리, 사전분포, 사후분포, conjugate pairs를 살펴 보고 넘어간다.

 

 

베이즈 정리

 

베이즈 정리는 영어로 Bayes' Theorem, Bayes' Rule, Bayes' Law 등 다양하게 불린다.

 

베이즈 정리 자체의 식은 굉장히 간단하다. 

 

조건부 확률과 Law of total probability를 알면 이해 가능하다.

 

P(A | B) = $ \frac{P(B | A) \cdot P(A)}{ P(B) } $ 다.  

 

왜냐면 P(A, B) = P(B | A) P(A) 이기 떄문이다. 

 

그리고 by Law of total probability, P(B) = $\sum_{\text{A}}$ P(B | A) P(A) 다. 

 

 

사전 분포

Prior distribution

 

데이터에 대한 likelihood 우도는 $p(X | \theta)$로 나타낸다.  

 

이때 $\theta$는 데이터가 따르는 분포의 모수다.  

 

이 모수가 따르는 분포를 $p(\theta)$로 나타낸다.

 

이는 모수에 대한 사전에 알려진 사실, 혹은 가정을 반영한다. 

 

Likelihood 우도는 현재 주어진 파라미터 하에서 데이터들 $x$들이 나올 가능성이다. 

 

이는 (링크1)와 (링크2)에서 이야기한 엄밀한 수학적 의미의 확률은 아니다.

 

 

Evidence는 $p(x) = \int_{\theta} p(x | \theta) p(\theta) d \theta $다.  

 

모든 모수에 대해서 데이터를 관찰할 확률로 posterior의 normalzation factor다.

 

이 값을 실제로 구하기 어려워서 simulation을 이용해서 bayesian posterior를 추론한다고 알고 있다.

 

통계학과에서는 2010년대 후반까지만 해도 R을 이용해서 많이 한다고 알고 있다.

 

 

 

사후 분포

Posterior distribution $p(\theta | x)$

 

$p(\theta | x) = \frac{p(x | \theta) \cdot p(\theta)}{ p(x) } $

 

로 구한다.

 

이는 데이터의 정보를 이용해서 모수에 대한 분포를 갱신한다는 의미와 같다.

 

 

Conjugate Pairs or Conjuagte Disbtributions

Conjugate pairs는 prior distribution과 posterior distribution이 같은 distribution family에 속하는 분포의 쌍을 의미한다.

 

Distribution family로는 학부에서 exponential family만 배웠는데 흔히 접하는 대부분의 분포가 여기에 속한다.

 

Normal, Gamma, Poisson, Beta, Chi-square, Dirichlet 등등이 모두 여기에 속한다. 

 

 

 

구체적인 테이블은 위키피디아 (링크)에 자세히 나와있다.

 

여기서는 그동안 비교적 자주 봤던거 같은 분포들을 적어본다.

 

 

Prior	Likelihood (데이터 분포)	Posterior
Beta	Bernoulli / Binomial	Beta
Gamma	Poisson	Gamma
Gamma	Exponential	Gamma
Dirichlet	Multinomial	Dirichlet
Dirichlet	Categorical	Dirichlet
Normal (Gaussian)	Normal (Gaussian)	Normal (Gaussian)
Inverse-Gamma	Normal (Gaussian)	Inverse-Gamma

 

 

 

 

 

 

 

References:

https://en.wikipedia.org/wiki/Posterior_probability

https://en.wikipedia.org/wiki/Conjugate_prior

https://en.wikipedia.org/wiki/Exponential_family

https://en.wikipedia.org/wiki/Likelihood_function