Statistics9 CLT와 LLN 간단한 설명 CLT와 LLN은 통계를 배운 사람들에게 처음 멘붕을 선사하는 개념들이 아닐까 싶다. 학부 시절 CLT랑 LLN 중에서도 WLLN은 열심히 증명도 했는데 본 글에서는 그 의미만 간단하게 짚고자 한다. Law of large numbers (LLN) 한국어로 대수의 법칙 혹은 큰 수의 법칙이라고 부른다. Strong Law of large numbers와 Weak Law of large numbers가 있는데 학부 시절엔 Weak 만 배웠다. Strong은 수학과스러운 어려운 수학이 많이 필요하다고 알고있다. 각설하고 Strong과 Weak 모두 LLN이므로 다음의 의미를 지니고 있다. i.i.d (independently identically distributed) 인 n개의 샘플로 구성한 sa.. 2025. 5. 6. Variational Inference, KLD, and ELBO Variational Inference, KLD (Kullback–Leibler divergence), and ELBO 위 세가지 개념을 서로 밀접하게 연관되어 있다. 특히 ELBO는 어떤 확률 분포 p(X)에 대한 최적화를 우회적으로 가능하게 하므로 제법 많이 쓰이는지라 알아두어야 한다. KLD (Kullback–Leibler divergence)KLD는 두 분포의 차이를 측정하는 지표로 사용하며 아래와 같이 나타낸다. 왼쪽 분포 $P(X)$를 기준으로 오른쪽 분포 $Q(X)$가 얼마나 다른지를 나타낸다. $D_{KL}(P(X) | Q(X)) = \sum P(X) log \frac{P(X) }{Q(X) }$ = $\sum P(X) log P(X) - \sum P(X) log Q(X)$ = $- \s.. 2025. 5. 4. Basic Statistical Tests 기본적인 통계 검정 (Statistical Tests)들을 정리한다. 기본적이라고 이름을 붙인 이유는 학부 수준에서 많이 봤던걸 위주로 정리해서 그렇다. 대학원, 실무 레벨에서 더 여러가지를 사용한다면 이는 기본은 넘어선다고 보기 때문이다. 통계적 검정은 기본으로 효과가 없다 혹은 차이가 없다와 같은 귀무 가설 (Null Hypothesis, $H_0$)과 효과가 없다고 할 수 없다, 차이가 없다고 할 수 없다의 개념은 대립 가설 (Alternative Hypothesis, $H_1$ or $H_a$) 중에서 어느쪽을 선택할지를 통계적으로 검정한다. 유의 수준 (Significance level, $\alpha$)와 p-value 등을 이용해서 결과를 판단하고 검정을 수행한다. 보통 표본을 토대로 .. 2025. 4. 21. Bayesian Approach 베이즈 통계학은 통계학 뿐만 아니라 경제학, 머신러닝, 딥러닝 분야에서도 많이 쓰이는 통계학이다. 베이즈 통계학에서는 분포의 모수 parameters도 업데이트가 가능한 random variable로 보고 이를 갱신한다. 따라서 분포가 데이터에 따라서 변화한다. 하지만 기존의 빈도주의 frequentist들은 모수는 고정된 알 수 없는 constant 상수로 간주한다. 여기서는 간단하게 베이즈 정리, 사전분포, 사후분포, conjugate pairs를 살펴 보고 넘어간다. 베이즈 정리 베이즈 정리는 영어로 Bayes' Theorem, Bayes' Rule, Bayes' Law 등 다양하게 불린다. 베이즈 정리 자체의 식은 굉장히 간단하다. 조건부 확률과 Law of total probability를.. 2025. 4. 17. 기대값, 분산, 상관계수, 조건부 기대값, 조건부 분산과 관련 법칙 조건부 기대값, 조건부 분산 그리고 관련된 법칙은 Adam' Law와 Eve's Law를 적으려고 이 포스트를 쓴다. 그런데 생각해보니 너무나 당연하게 넘어갔던 expectation과 variance에 대해서 적은게 없어서 겸사겸사 여기서 정리하고 넘어간다. Expectation 기대값 기대값 E[X] = $\mu$ 는 이산형과 연속형 두 가지로 정의된다. Discrete E[$X$] = $\sum_x x \cdot p_x$ 이고 이때 $p_x$는 $x$의 확률, pmf $P_X(x)$다. Continuous E[$X$] = $\int_x x f_X(x) dx$ 이고 이때 $f_X$는 $x$의 pdf다. Variance 분산 분산 V[$X$] = E[ ${(X - E[X])}^2$ ]으로 정.. 2025. 4. 17. 조건부 확률, marginalization, 전체 확률 법칙 Conditional Probability 조건부 확률 Coditional Probability는 이산형인지 연속형인지에 따라서 다르게 정의된다. 이전의 글 (링크)을 참조하면 좋다. Discrete case: Conditional pmf of $X$ given $Y \in \mathcal{S}$ is $p_{X | Y \in \mathcal{S}} = P(X = x | Y \in \mathcal{S}) = \frac{ P_X(x) }{ \sum_{x \in \mathcal{S} P_X(s)} } \, \text{where} \, s \in \mathcal{S} $. 로 정의된다. Continuous case: Conditional cdf of $X$ given the event $Y \in .. 2025. 4. 16. 이전 1 2 다음