[통계] 결합엔트로피, 조건부엔트로피

엔트로피 설명 링크

 

[통계] 정보량과 엔트로피

결합 확률분포 설명 링크

[통계] 결합확률질량함수, 결합확률밀도함수

조건부 확률분포 설명 링크

[통계] 조건부확률질량함수, 조건부확률밀도함수

 

엔트로피

 

엔트로피에 대해 간략하게 설명하겠습니다. 엔트로피 이전에 정보량이라는 것을 먼저 알아야 하는데, 확률이 낮은 정보일수록, 어떤 정보일지 불확실하게 되고, 이때 "정보가 많다"라고 합니다.

예시를 들어 뽑기를 한다고 가정하고 1등부터 3등까지 있다고 가정해봅시다. 1등일 확률이 낮고, 한다는 확신을 가질 수 없고, 불확실하죠. 그래서 확률이 낮을수록 많은 정보를 얻습니다.

 

엔트로피는 이 정보량들의 평균을 의미합니다. 얻어지는 정보량과 확률을 곱해 더해주면 됩니다.

\( H(x)  = - \sum_{i=1}^n p(x_{i})log_{2} p(x_{i}) \)

 

결합엔트로피

 

결합 엔트로피는 말 그대로, 두 개 이상의 확률변수들로 이루어진 결합 확률분포의 엔트로피를 뜻합니다. 아래 표를 확인해보겠습니다.

 

\( \frac {x} {y} \)	0	1	2
0	\( \frac{2} {10} \)	\( \frac{4} {10} \)	\( \frac{1} {15} \)
1	\( \frac{2} {10} \)	\( \frac{2} {15} \)	0
2	0	0	0

 

위 표는 X, Y의 각 사건이 동시에 발생할 때의 확률을 나타내는 결합 분포표입니다. 위에 엔트로피에 단일 발생 확률인 \( p(x) \)을 동시발생 확률 \( p(x, y) \)로만 바꿔주면 됩니다. 그럼 아래와 같은 새로운 수식이 나옵니다.

\( H(X, Y)  = - \sum_{j=0}^2 \sum_{i=0}^2 p(x_{i}, y_{j})log_{2} p(x_{i}, y_{j}) \)

\( log \)에 역수를 취해주고 앞에 -를 +로 바꿔주면

\( = \sum_{j=0}^2 \sum_{i=0}^2 p(x_{i}, y_{j})log_{2} \frac {1} {p(x_{i}, y_{j})} \)

식도 알았으니 이제 계산할 일만 남았네요. 

\( H(X, Y) = \frac {2} {10} log_2 \frac {1} {\frac {2} {10}} + \frac{4} {10}log_2 \frac {1} {\frac{4} {10}} + \frac{1} {15}log_2 \frac{1} {\frac{1} {15}} + \frac{2} {10}log_2 \frac{1} {\frac {2} {10}} + \frac{2} {15}log_2 \frac{1} {\frac{2} {15}} =  2.1055\)

 

생각보다 간단하죠? 이제 조건부 엔트로피로 넘어갑시다. 이것도 표만 주어져 있으면 간단합니다!

 

조건부 엔트로피

 

조건부 확률에서 X의 사건이 발생했을 때 Y의 사건이 발생하는 경우를 어떻게 표현했죠? \( P(Y|X) \) 이렇게 표현했습니다. 엔트로피는 P를 그냥 H로 바꿔주면 됩니다. 조건부 엔트로피는 모든 \( x \)에서 모든 \( y \)가 사건의 확률의 엔트로피를 구해주어야 합니다. 그럼 처음 수식을 한번 써볼까요?

\( H(Y|X) = \sum_x p_x(x) H(Y|X = x) \)

 

\( X \)를 \( \sum_x \)로 풀어썼습니다. 그럼 이제 \( Y \)도 풀어줘야겠죠? 위 식을 그대로 가져와 엔트로피를 구하는 식을 그대로 대입하면 아래와 같이 나옵니다.

\( H(Y|X) = \sum_x p_x(x) H(Y|x) \)

\( = \sum_x p_x(x) \sum_y p_{Y|X}(y|x) log_2 \frac {1} {p_{Y|X}(y|x)} \)

 

여기서 \( p_X (x) \)와 \( p_{Y|X}(y|x) \)와 같은 것들은 주변 확률 질량 함수입니다. 식이 다 나왔으니 어떻게 해야 할까요? 계산만 하면 되겠죠? 아래 표는 위와 같은 표입니다. 거기에 주변 확률까지 같이 나타낸 것입니다.

 

\( \frac {x} {y} \)	0	1	2	\(p_Y (y) \)
0	\( \frac{2} {10} \)	\( \frac{4} {10} \)	\( \frac{1} {15} \)	\( \frac{20} {30} \)
1	\( \frac{2} {10} \)	\( \frac{2} {15} \)	0	\( \frac{10} {30} \)
2	0	0	0	0
\(p_X (x) \)	\( \frac{ 12} {30} \)	\( \frac{16} {30} \)	\( \frac{2} {30} \)

 

\( H(Y|X) = p_x(0) * (H(Y=0|X = 0) + H(Y=1|X = 0) + H(Y=2|X = 0)) \)

\( + p_x(1) * (H(Y=0|X = 1) + H(Y=1|X = 1) + H(Y=2|X = 1)) \)

\( + p_x(2) * (H(Y=0|X = 2) + H(Y=1|X = 2) + H(Y=2|X = 2)) \)

 

그대로 대입한 것이죠?? 이 것을 조건부 확률식 \( P(A|B) = \frac {P(A \cap B)} {P(B)} \)으로 풀면 아래와 같은 식이 나오고

\( H(Y|X) = \sum_x p_x(x) \sum_y \frac {p_{x, y}} {p_x} log_2 \frac {p_x} {p_{x, y}} \)

그대로 대입한 결과입니다.

\( H(Y|X) = \frac {12} {30} * (\frac {\frac {2} {10}} {\frac {12} {30}} * log_2 \frac {\frac {12} {30}} {\frac {2} {10}} + \frac {\frac {2} {10}} {\frac {12} {30}} * log_2 \frac {\frac {12} {30}} {\frac {2} {10}}) \)

\( +\frac {16} {30} * (\frac {\frac {4} {10}} {\frac {16} {30}} * log_2 \frac {\frac {16} {30}} {\frac {4} {10}}+ \frac {\frac {2} {15}} {\frac {16} {30}} * log_2 \frac {\frac {16} {30}} {\frac {2} {15}}) \)

\( +\frac {2} {30} * (\frac {\frac {1} {15}} {\frac {2} {30}} * log_2 \frac {\frac {2} {30}} {\frac {1}{15}} + 0 * log_2 {0} + 0 * log_2 {0}) \)

 

따로 계산은 하지 않겠습니다.