CLT와 LLN 간단한 설명

 

CLT와 LLN은 통계를 배운 사람들에게 처음 멘붕을 선사하는 개념들이 아닐까 싶다. 

 

학부 시절 CLT랑 LLN 중에서도 WLLN은 열심히 증명도 했는데 본 글에서는 그 의미만 간단하게 짚고자 한다. 

 

 

 

Law of large numbers (LLN)

 

한국어로 대수의 법칙 혹은 큰 수의 법칙이라고 부른다.

 

Strong Law of large numbers와 Weak Law of large numbers가 있는데 학부 시절엔 Weak 만 배웠다.

 

Strong은 수학과스러운 어려운 수학이 많이 필요하다고 알고있다.

 

각설하고 Strong과 Weak 모두 LLN이므로 다음의 의미를 지니고 있다.

 

 

i.i.d (independently identically distributed) 인 n개의 샘플로 구성한 sample mean 표본 평균 $\overline{X}$,

 

그리고 population 모분포의 모평균 $\mu$  대해서,

 

 

$n \rightarrow \infty$ 이면 $ \overline{X} \rightarrow \mu $이 성립한다는 뜻이다.

 

 

표본의 숫자 n이 무한대로 갈 때 표본 평균은 모평균에 근사한다.

 

러프하게 이야기하면, 표본의 숫자 n이 크면 클수록 sample mean이 모평균을 더욱 더 잘 추정할 수 있다는 뜻이다. 

 

이때 표본이 어떤 분포를 따르는지는 상관 없다. 

 

WLLN은 converge in probability와 Chebyshev's inequality를 활용하면 증명할 수 있다. 

 

 

생각해보니 consistent estimator랑도 연계되는 개념이다. 

 

estimator가 궁금한 사람들은 unbiasedness와 bias, variance와 efficiency, consistency를 알아보면 좋다. 

 

 

 

Central Limit Theorem (CLT)

 

CLT는 i.i.d (independently identically distributed) 인 n개의 샘플로 구성한 sample mean $\overline{X}$이고,

 

분산 $\sigma^2$이 finite 유한하다고 주어지면 다음의 식이 성립한다.

 

이때 표본이 어떤 분포를 따르는지는 상관 없다. 

 

 

$ \sqrt{n} (\overline{X_n} - \mu) \overset{d}{\rightarrow} N(0, \sigma^2)$

 

 

이는 $\overline{X_n}$이 $n \rightarrow \infty$면 근사적으로 정규 분포를 따른다는 이야기다.

 

$\overline{X_n}$의 asypmtotic distribution or limiting distribution이 정규 분포다 라고도 할 수 있다 

 

WLLN은 단순히 표본 평균이 모평균 $\mu$에 근사한다는 것을 의미한다면,

 

CLT는 표본 평균의 분포에 대한 정보를 준다는 점에서 차이가 있다. 

 

어떤 분포를 따르는지에 대한 정보도 없는 경우가 많을텐데 분포에 대한 정보를 준다는 점에서 이점이 많다고 할 수 있다.

 

converge in distribution의 개념을 이용하면 증명이 가능하다.

 

 

 

 

 

 

 

References:

Introduction to mathematical statistics - Hogg et al

https://en.wikipedia.org/wiki/Central_limit_theorem

https://en.wikipedia.org/wiki/Law_of_large_numbers

https://en.wikipedia.org/wiki/Consistent_estimator