Search
🎲

확률통계 3-3. 베이지안 모수 분포

Created at
2019/11/25
Updated at
2022/03/04
Tags
Keywords
확률 분포
3 more properties
베이지안 모수 분포는 앞선 분포(자연 현상을 모델링을 해보니 도출된 pdf)들과는 달리 베이지안 추정의 결과를 묘사하기 위해 인위적으로 만든 분포(pdf)
베이지안 추정은 추정하고자 하는 모수의 값을 하나의 숫자가 아니라 분포로 묘사함
목차

1. 베타 분포

•
0부터 1사이의 값만 가질 수 있는 분포(finite support)
Beta(x;  a,b),0≤x≤1Beta(x; \; a, b), \quad 0 \leq x \leq 1
•
확률 밀도 함수
Beta(x;a,b)=Γ(a+b)Γ(a)Γ(b)xa−1(1−x)b−1Beta(x; a, b) = \frac{\Gamma (a + b)}{\Gamma(a) \Gamma(b)}x^{a-1}(1-x)^{b-1}
◦
모수: a,ba, b 2개 (자연수 값)
◦
Γ(a)\Gamma(a): 감마 함수라는 특수 함수
Γ(a)=∫0∞xa−1e−xdx\Gamma(a) = \int^\infty_0 x^{a-1}e^{-x}dx
•
모멘트
기댓값: E[X]=aa+b\text{기댓값: }E[X] = \dfrac{a}{a+b}
최빈값:a−1a+b−2\text{최빈값:} \dfrac{a-1}{a+b-2}
분산: Var[X]=ab(ab)2(a+b+1)\text{분산: }Var[X] = \dfrac{ab}{(ab)^2(a+b+1)}
•
활용: 베이지안 추정
◦
위 그림이 베이지안 추정의 결과라면 각각은 모수에 대해 다음과 같은 추정을 한 것
(A): 추정할 수 없다. (정보가 없음)
(B): 모수값이 0.75일 가능성이 가장 크다. (정확도 낮음)
(C): 모수값이 0.7일 가능성이 가장 크다. (정확도 중간)
(D): 모수값이 0.725일 가능성이 가장 크다. (정확도 높음)
◦
θ\theta 추정치를 나타낼 때 a,ba, b 만 알려주면 됨

2. 감마 분포

•
베타 분포와 달리 0부터 무한대의 값을 가지는 양수값을 추정하는 베이지안 추정에 사용
•
확률 밀도 함수
Gam(x;  a,b)=1Γ(a)baxa−1e−bxGam(x; \; a, b)=\frac{1}{\Gamma(a)} b^ax^{a-1}e^{-bx}
◦
모수: a,ba, b 2개
•
모멘트
기댓값: E[X]=ab\text{기댓값: }E[X] = \dfrac{a}{b}
최빈값:  a−1b\text{최빈값:} \; \dfrac{a-1}{b}
분산: Var[X]=ab2\text{분산: }Var[X] = \dfrac{a}{b^2}
•
활용: 베이지안 추정
◦
위 그림이 베이지안 추정의 결과라면 각각은 모수에 대해 다음과 같은 추정을 한 것
(A): 모수값이 8일 가능성이 가장 크다. (정확도 아주 낮음)
(B): 모수값이 5일 가능성이 가장 크다. (정확도 낮음)
(C): 모수값이 2일 가능성이 가장 크다. (정확도 높음)
(D): 모수값이 1일 가능성이 가장 크다. (정확도 아주 높음)

3. 베타 분포, 감마 분포의 활용

4. 디리클레 분포

•
베타 분포의 확장판. 0과 1사이의 값을 가지는 다변수(multivariate) 확률 변수의 베이지안 모형에 사용
◦
단, 다변수 확률 변수들의 합이 1이 되어야 한다는 제한 조건을 가짐
∑i=1Kxi=1(0≤xi≤1)\sum^K_{i=1}x_i=1 \quad (0 \leq x_i \leq 1)
•
확률 밀도 함수
Dir(x1,x2,⋯ ,xK;  α1,α2,⋯ ,αK)=1B(α1,α2,⋯ ,αK)∏i=1Kxiαi−1Dir(x_1, x_2, \cdots, x_K; \; \alpha_1, \alpha_2, \cdots, \alpha_K) = \frac{1}{B(\alpha_1, \alpha_2, \cdots, \alpha_K)}\prod^K_{i=1}x^{\alpha_i-1}_i
◦
모수 벡터: (α1,α2,⋯ ,αK)(\alpha_1, \alpha_2, \cdots, \alpha_K)
◦
B(α1,α2,⋯ ,αK)B(\alpha_1, \alpha_2, \cdots, \alpha_K)는 베타 함수라는 특수 함수
B(α1,α2,⋯ ,αK)=∏i=1KΓ(αi)Γ(∑i=1Kαi)B(\alpha_1, \alpha_2, \cdots, \alpha_K)=\frac{\prod^K_{i=1}\Gamma(\alpha_i)}{\Gamma(\sum^K_{i=1}\alpha_i)}
•
베타분포는 K=2K=2인 디리클레 분포라고 볼 수 있다 (베르누이 분포 - 카테고리 분포의 관계와 유사)
•
모멘트
α=∑αk\alpha=\sum\alpha_k
기댓값: E[xk]=αkα\text{기댓값: }E[x_k] = \dfrac{\alpha_k}{\alpha}
최빈값:  αk−1α−K\text{최빈값:} \; \dfrac{\alpha_k-1}{\alpha-K}
분산: Var[xk]=αk(α−αk)α2(α+1)\text{분산: }Var[x_k] = \dfrac{\alpha_k(\alpha-\alpha_k)}{\alpha^2(\alpha+1)}

5. 베이지안 모수 분포 비교

분포
모수
모수의 확률 분포
Bern (베르누이)
θ\theta
θ∼Beta(θ;a,b)\theta \sim {Beta}(\theta; a, b)
Cat (카테고리)
θ⃗\vec{\theta}
θ⃗∼Dir(θ;θ⃗,α⃗)\vec\theta \sim {Dir}(\theta; \vec\theta, \vec\alpha)
N (정규분포)
μ,σ2\mu, \sigma^2
μ∼N1σ2∼Γ\mu \sim N \\ \frac{1}{\sigma^2} \sim \Gamma