조건부 확률, marginalization, 전체 확률 법칙

 

Conditional Probability

 

조건부 확률 Coditional Probability는 이산형인지 연속형인지에 따라서 다르게 정의된다.

 

이전의 글 (링크)을 참조하면 좋다.

 

Discrete case:

 

Conditional pmf of $X$ given $Y \in \mathcal{S}$ is  

 

$p_{X | Y \in \mathcal{S}} = P(X = x | Y \in  \mathcal{S}) = \frac{ P_X(x) }{ \sum_{x \in \mathcal{S} P_X(s)} } \, \text{where} \, s \in \mathcal{S}$.  

 

로 정의된다. 

 

Continuous case:

 

Conditional cdf of $X$ given the event $Y \in \mathcal{S}$ is  

 

$F_{X | Y \in \mathcal{S}} = P(X \leq x | Y \in  \mathcal{S}) = \frac{ P_X \leq x,  Y \in  \mathcal{S}}{P( Y \in  \mathcal{S} )}$.  

 

 

= $\frac{ \int_{u < x, u \in \mathcal{S}} f_X(u) du }{ \int_{u \in \mathcal{S}} f_X(u) du }$

 

 

conditional pdf 는 $\frac{d F_{X | Y \in \mathcal{S}} (x) }{dx}$로 정의된다.  

 

Conditional Distribution

Discrete case:

 

Joint pmf 

 

$P_{X, Y} (x, y) = P(X = x, Y = y)$.  

 

marginal pmf

 

$p_X(x)$

= $P(X = x)$

= $P( \cup_{y \in R_Y} \{ X = x, Y = y \} )$

=  $\sum_{y \in R_Y} P(X= x, Y = y)$

= $\sum_{y \in R_Y} P_{X, Y} (x, y)$

 

위 과정을 marginalization이라고 한다.

 

변수가 2개일 때만 수행했지만 변수가 3개인 $x, y, z$의 joint pmf라면 $y$와 $z$ 모두에 대해서 합해주면 $x$에 대한 marginal pmf를 구할 수 있다.

 

 

conditional pmf

 

$p_{Y|X}(y|x) = P(Y = y, X = x) = \frac{ P_{X, Y}(x, y) }{ P_X(x) }$

 

 

Continuous case:

joint cdf

 

$F_{X, Y} (x, y) = P(X \leq x, Y \leq y)$.  

 

join pdf

 

$f_{X, Y} (x, y) = \frac{ \partial^2 F_{X, Y} (x, y) }{ \partial x \partial y }$.  

 

 

joint conditional cdf

 

$F_{X, Y | (X, Y) \in \mathcal{S}} (x, y) = P(X \leq x, Y \leq y | (X, Y) \in \mathcal{S})$.  

 

= $\frac{ P(X \leq x, Y \leq y | (X, Y) \in \mathcal{S}) }{ P((X, Y) \in \mathcal{S}) }$.  

 

연속형에서 marginalization은 다음과 같다.

더하기 대신 적분을 취해주면 된다. 대신 joint니까 두 개의 변수 모두에 대해서 수행한다. 

 

$\int_{(u, v) \in \mathcal{S}} f_{X, Y}(u, v) du dv$  

 

위 마지널라이제이션의 결과가 conditional cdf의 분모로 들어가게 된다.

 

 

 

joint condtional pdf

 

$f_{X, Y} (x, y) = \frac{ \partial^2 F_{X, Y | (X, Y) \in \mathcal{S}} (x, y) }{ \partial x \partial y }$.  

 

 

conditional pdf 

 

$f_{Y | X} (y | x) = \frac{ f_{X, Y} (x, y) }{ f_X(x) }$. if $f_X(x)$ > 0. 

 

conditional cdf of Y given X is 

 

$F_{Y | X} (y | x) = \int_{u = -\infty}^{y} f_{Y | X} (u | x) du$.  if $f_X(x)$ > 0. 

 

 

Law of Total Probability

전체 확률 법칙

 

어떤 event A가 있고, 여러 이벤트 $B_n$이 서로 mutually exclusive라면,  

 

$P(A) = \sum_{n} P(A \cap B_n)$

 

이다.  

 

 

 

 

 

References:

https://en.wikipedia.org/wiki/Conditional_probability

고려대학교 XAI502: Probability and Statistics

https://en.wikipedia.org/wiki/Law_of_total_probability