기대값, 분산, 상관계수, 조건부 기대값, 조건부 분산과 관련 법칙

조건부 기대값, 조건부 분산 그리고 관련된 법칙은 Adam' Law와 Eve's Law를 적으려고 이 포스트를 쓴다.

 

그런데 생각해보니 너무나 당연하게 넘어갔던 expectation과 variance에 대해서 적은게 없어서 겸사겸사 여기서 정리하고 넘어간다.

 

 

Expectation 기대값

 

기대값 E[X] = $\mu$ 는 이산형과 연속형 두 가지로 정의된다.

 

Discrete

 

E[$X$] = $\sum_x x \cdot p_x$ 이고 이때 $p_x$는 $x$의 확률, pmf $P_X(x)$다.  

 

Continuous

 

E[$X$] = $\int_x x f_X(x) dx$ 이고 이때 $f_X$는 $x$의 pdf다.   

 

 

Variance 분산

 

분산 V[$X$] = E[ ${(X - E[X])}^2$ ]으로 정의된다.  

 

이를 풀면 V[$X$] = E[ $X^2$ ] - $\text{E} \left[ X \right] ^2$ 가 된다.  

 

분산 V[$X$] = $\sigma^2$로 표기하며, 

 

분산의 제곱근은 standard deviation 표준 편차라고 하며 $\sigma$로 나타낸다.

 

제곱한 값에 다시 제곱근을 취해주었기에 기대값과 같은 스케일을 갖게 된다.

 

 

Covariance 공분산

 

적다 보니까 분산을 다루는데 공분산을 빼뜨리면 안될거 같아서 추가한다.

 

공분산 Cov[$X, Y$] = E[ ($X$ - E[$X$])($Y$ - E[$Y$) ]로 정의한다. 

 

이를 풀면  Cov[$X, Y$]  = E[ $XY$ ] - E[$X$] E[$Y$] 이 된다.

 

Cov[$X, X$] = V[$X$] 다.  

 

 

Correlation 상관계수

 

$\rho_{X, Y} = \frac{ Cov \left[ X, Y \right] }{ \sigma_X, \sigma_Y }$

 

$ \sigma_X, \sigma_Y $ > 0.  

 

만약 $ \sigma_X, \sigma_Y $ 모두 0이 아니고 finite하면, 

 

Pearson correlation이 되고 -1과 1사이의 범위를 지닌다.

 

공분산을 두 변수의 표준편차로 스케일링한 개념이다. 

 

상관계수가 나온김에 하나 짚고 넘어갈 사항이 있는데 바로 상관계수와 Independence 독립의 관계다.

 

Independence ($X, Y$ are independent) → Correlation = 0, $X, Y$ are uncorrelated : True

Correlation = 0, $X, Y$ are uncorrelated → Independence ($X, Y$ are independent) : Not Always True

 

 

 

 

Conditional Exprectation 조건부 기대값

 

여기서는 간략하게 이산형만을 다룬다.

 

E[$X | Y$] = $\sum_x x \cdot P(X = x | Y = y)$  

 

= $\sum_x x \cdot \frac{ P(X = x, Y = y) }{ P(Y = y) }$ 이 된다.

 

변수 Y가 구체적인 값 y일 때의 X값들 만을 모아서 기대값을 구한다는 뜻이다.

 

 

Conditional Variance 조건부 분산

 

V[$X | Y$] = E[$ (X - E[X | Y])^2 | Y$]다.  

 

변수 Y가 구체적인 값 y일 때의 X값들 만을 모아서 분산을 구한다는 뜻이다.

 

여기서 부터는 제법 식이 복잡해 진다.  

 

 

The Law of total expectation = Adam's Law

 

이 식은 간단하게 given $Y$에 대한 $X$의 조건부 기대값의 기대값은 $X$의 기대값이란 뜻이다.

 

E[$X$]  = E[E[$X | Y$]] 

 

=  $\sum_y E[X | Y] \cdot P(X = y)$ 

 

 

The Law of total variance = Eve's Law

 

V[$X$] = E[ V[$X | Y$] ] + V[ E[$X | Y$] ]

 

위 모양을 보면 EVVE 형태라서 Eve's law라고 불린다.

 

 

 

 

 

 

References:

https://en.wikipedia.org/wiki/Conditional_expectation

https://en.wikipedia.org/wiki/Law_of_total_expectation

https://en.wikipedia.org/wiki/Law_of_total_variance

Introduction to Mathematical Statistics, Hogg et al.

https://en.wikipedia.org/wiki/Correlation