Search
🎲

확률통계 3-1. 이산 확률 분포

Created at
2019/11/10
Updated at
2022/03/03
Tags
Keywords
확률 분포
3 more properties
목차

1. 베르누이 분포(Bernoulli distribution)

1.1 주요 개념

•
베르누이 시도/실행(Bernoulli trial): 결과가 오직 성공(𝑠𝑠), 실패(𝑓𝑓) 두 가지 뿐인 실험
◦
표본공간: 𝑆={𝑠,𝑓}𝑆 = \{𝑠,𝑓\}
◦
확률: 𝑃({𝑠})=𝑝,𝑃({𝑓})=𝑞(⟹0≦𝑝≦1,𝑝+𝑞=1)𝑃(\{𝑠\}) = 𝑝, 𝑃(\{𝑓\}) = 𝑞 \quad (⟹ 0 ≦ 𝑝 ≦ 1, \quad 𝑝+𝑞=1)
•
베르누이 확률변수(Bernoulli random variable)
◦
표본공간 𝑆={𝑠,𝑓}𝑆 = \{𝑠,𝑓\} 에서 정의된, 𝑋(𝑠)=1,𝑋(𝑓)=0𝑋(𝑠) = 1, 𝑋(𝑓) = 0인 확률변수 𝑋𝑋
◦
XX 를 1,01, 0 으로 놓는 이유 (장점)
▪
pmf를 간결하게 쓸 수 있음
▪
θ^\hat\theta = 샘플평균
•
베르누이 분포(Bernoulli distribution): 베르누이 확률변수의 확률분포
◦
베르누이 확률 변수의 확률 질량 함수
Bern(x;θ)={θif x=1,1−θif x=0Bern(x; \theta) = \begin{cases} \theta & \text{if } x =1, \\ 1 - \theta & \text{if } x = 0\end{cases}
Bern(x;θ)=θx(1−θ)1−xBern(x;\theta) = \theta^x(1-\theta)^{1-x}
◦
이원적 모집단의 분포를 나타냄
◦
표기: 확률 변수 𝑋가 베르누이 분포를 따른다
𝑋∼Bern(x;θ)𝑋 ∼ Bern (x;\theta)

1.2 베르누이 분포의 모멘트

•
기댓값: E(X)=θE(X) = \theta
•
분산: Var(X)=θ(1−θ)Var(X) = \theta(1 - \theta)
•
증명

1.3 베르누이 분포의 모수 추정

•
베르누이 분포 모수 𝜽를 추정한 값은 다음과 같이 계산함
θ^=∑i=1NxiN=N1N\hat \theta = \frac{\sum^N_{i=1}x_i}{N} = \frac{N_1}{N}

1.4 베르누이 분포의 활용

•
베르누이 분포는 다음과 같은 경우 사용될 수 있음
1.
분류 예측 문제의 출력 데이터가 두 개의 값으로 구분되는 카테고리 값인 경우, 두 값 중 어느 값이 가능성이 높은지 표현
2.
입력 데이터가 0 또는 1, 참 또는 거짓 등 두 개의 값으로 구분되는 카테고리 값인 경우, 두 종류의 값이 나타나는 비율을 표현

2. 이항 분포(Binomial distribution)

2.1 주요 개념

•
정의: 성공 확률이 θ\theta인 베르누이 시행을 NN번 독립적으로 반복할 때의 성공횟수인 확률 변수 XX의 분포
•
표기
𝑋∼𝐵in(x;N,θ)𝑋 ∼ 𝐵in(x; N, \theta)
•
확률질량함수
Bin(x;N,θ)=(Nx)θx(1−θ)N−x,x=0,1,⋯ ,nBin(x; N, \theta) = \binom{N}{x}\theta^x(1-\theta)^{N-x}, \quad x=0, 1, \cdots, n
(Nx)=N!x!(N−x)!⋯ combination\binom{N}{x} = \frac{N!}{x!(N-x)!} \quad \cdots \text{ combination}

2.2 이항 분포의 모멘트

•
기댓값
E(X)=NθE(X) = N\theta
•
분산
Var(X)=Nθ(1−θ)Var(X) = N\theta(1 - \theta)

3. 카테고리 분포

3.1 주요 개념

•
카테고리 분포는 베르누이 분포(2개 값)의 확장판으로, 1부터 𝐾𝐾까지의 KK개의 정수 값 중 하나가 나오는 확률 변수의 분포
◦
예: 주사위를 던져 나오는 눈금의 수를 확률 변수라고 한다면, 이 확률 변수는 {1,2,3,4,5,6}\{1, 2, 3, 4, 5, 6\} 값이 나오는 K=6K=6인 카테고리 분포
•
보통 다음과 같이 One-Hot-Encoding(1과 0으로만 이루어진 다차원 벡터 형태로 인코딩)한 값을 출력하는 벡터 확률 변수로 사용
→ 출력되는 확률 변수의 값 𝑥가 다음과 같이 벡터 값이 됨
x=(x1,x2,x3,x4,x5,x6)단,xi={01,∑k=1Kθk=1 즉, xi의 원소 중 한 개만 1이다.x = (x_1, x_2, x_3, x_4, x_5, x_6) \\ \text{단,} \quad x_i = \begin{cases}0 \\ 1\end{cases}, \quad \sum^K_{k=1}\theta_k = 1 \quad \text{ 즉, $x_i$의 원소 중 한 개만 1이다.}
•
표기
Cat(x1,x2,…,xK;θ1,θ2,…,θK)Cat(x_1, x_2, \dots, x_K; \theta_1, \theta_2, \dots, \theta_K)
출력벡터 x=(x1,x2,…,xK), 모수 벡터 θ=(θ1,θ2,…,θK)를 사용할 경우,Cat(x;θ)\text{출력벡터 $x = (x_1, x_2, \dots, x_K)$, 모수 벡터 $\theta = (\theta_1, \theta_2, \dots, \theta_K)$} \text{를 사용할 경우,} \\ Cat(x; \theta)
•
확률질량함수
◦
간략한 표현
Cat(x;θ)=θ1x1θ2x2⋯θKxK=∏k=1KθkxkCat(x; \theta) = \theta^{x_1}_1 \theta^{x_2}_2 \cdots \theta^{x_K}_K = \prod^K_{k=1}\theta^{x_k}_k

3.2 카테고리 분포의 모멘트

베르누이 분포 ⇒ vector
•
기댓값
E(xk)=θk(xk,θk는 vector)E(x_k) = \theta_k \quad \text{($x_k, \theta_k$는 vector)}
•
분산
Var(xk)=θk(1−θk)Var(x_k) = \theta_k(1 - \theta_k)

4. 다항 분포 (Multinomial distribution)

4.1 주요 개념

•
다항 분포
◦
카테고리 분포를 여러번 시도하여 얻은 각 원소의 성공횟수 값의 분포
◦
카테고리가 KK개인 카테고리 확률변수의 표본 데이터를 NN개 얻었을 때, 각각의 카테고리 𝑘(𝑘=1,…,K)𝑘(𝑘=1,…,K) 가 각각 𝑥𝑘𝑥_𝑘 번 나올 확률분포 즉, 표본값이 벡터 𝑥=(𝑥1,⋯,𝑥𝐾)𝑥=(𝑥_1,⋯,𝑥_𝐾) 가 되는 확률분포
◦
예: 𝑥=(1,2,1,2,3,1)𝑥=(1,2,1,2,3,1) 은 6개의 숫자가 나올 수 있는 주사위를 10번 던져서 1인 면이 1번, 2인 면이 2번, 3인 면이 1번, 4인 면이 2번, 5인 면이 3 번, 6인 면이 1번 나왔다는 의미
•
이산 확률 분포 사이의 관계
•
확률 질량 함수
Mu(x;N,θ)=(Nx)∏k=1Kθkxk=(Nx1,⋯ ,xK)∏k=1Kθkxk,x는 vectorMu(x; N, \theta) = \binom{N}{x} \prod^K_{k=1} \theta^{x_k}_k = \binom{N}{x_1, \cdots, x_K} \prod^K_{k=1} \theta^{x_k}_k, \quad x \text{는 vector}
(Nx1,⋯ ,xK)=N!x1!⋯xK!\binom{N}{x_1, \cdots, x_K} = \frac{N!}{x_1! \cdots x_K!}

4.2 다항 분포의 모멘트

이항 분포 ⇒ vector
•
기댓값
E(Xk)=Nθk(vector)E(X_k) = N \theta_k \quad (vector)
•
분산
Var(xk)=Nθk(1−θk)(vector)Var(x_k) = N \theta_k (1- \theta_k) \quad (vector)

5. 포아송 분포(Poisson distribution)

•
정의: 일정시간 또는 일정공간 안에서 매우 드물게 일어나는 사건의 수를 나타내는 분포
•
표기: 𝑋∼Poi(𝑚)𝑋 ∼ Poi(𝑚)
•
확률 변수 X=X= number of success per unit
•
확률 밀도 함수
◦
λ\lambda: expected number of success per unit
P(X)=λxe−λx!P(X) = \frac{\lambda^x e^{-\lambda}}{x!}
•
성질: 𝐸(𝑋)=𝑉𝑎𝑟(𝑋)=𝑚𝐸(𝑋) = 𝑉𝑎𝑟(𝑋) = 𝑚
•
일반적으로 포아송 분포를 적용하기 위해서는 다음의 세 가지 조건을 만족해야 함
1.
서로 겹치지 않는 시간이나 공간 안에서 일어나는 사건의 횟수는 서로 독립
2.
짧은 시간이나 작은 공간에서 둘 또는 그 이상의 사건이 일어날 확률은 0이라 가정
3.
단위시간이나 단위공간에서의 사건의 평균출현횟수는 일정하고 이는 시간이나 공간에 따라 변하지 않음

6. 이항분포, 포아송분포, 정규분포 사이의 관계

•
이항분포 - 정규 분포
z=x−npnp(1−p)when p≠0 and n is largez = \frac{x -np}{\sqrt{np(1-p)}} \quad \text{when $p \ne 0$ and $n$ is large}
•
이항분포 - 포아송 분포
λ=npwhen n is very large and p is very small \lambda = np \quad \text{when n is very large and p is very small }
•
포아송 분포 - 정규 분포
poisson → normal, as λ→∞ \text{poisson $\to$ normal, as $\lambda \to \infty$ }