통계9 [통계] 정보량과 엔트로피 정보량이란? 확률이 낮을수록, 어떤 정보일지 불확실하게 되고, 이때 "정보가 많다", "엔트로피가 높다"라고 표현합니다. 예시를 들어봅시다. 저희가 뽑기를 한다고 가정해봅시다. 뽑기에는 1등 1개, 2등 4개, 3등 5개가 있습니다. 이때 1등을 뽑을 확률은 아주 희박하고 대부분 2등이나 3등을 뽑겠지요. 저희는 1등일 때 놀라고 기뻐하지 3등일 때 놀라고 기뻐하지 않습니다. 이렇게 1등을 뽑는 것에 확신을 가질 수 없고, 불확실합니다. 불확실할때 훨씬 유용한 정보를 제공하고, 그러므로 정보량은 확률에 반비례합니다. 확률이 낮을수록 많은 정보를 얻죠? 그래서 그래프가 \( I(x_{i}) = -log_{a} p(x_{i}) \)가 되고 아래와 같이 그려집니다. 여기서 \( p(x_{i}) \)는 \( x.. 2022. 11. 14. 이전 1 2 3 다음
