情報量 - 評価、分析について

確率p(>0)で起こる事象を観測したときの自己情報量という。

$I(p)=-log_{2}p$ 、単位はbitであらわされる。

情報量は工学系からきていて、対数の底は2とすることが多い。

また、その確率が小さいほど情報量が大きくなるという反比例の特徴を持つ。

例えば、

ジョーカーを除いたトランプから一枚抜くとき、引いたカードがスペードであることがわかっているときは

$I(p)=-log_{2}\frac{1}{4}=2bit$

引いたカードがエースであることのみ教えられたときは

$I(p)=-log_{2}\frac{1}{13}=-log_{2}13^{-1}=log_{2}13=3.7bit$

以上のように、確率でみればP(スペード)=1/13<P(エース)=1/4

であるものの、情報量はI(p)(スペード)>I(p)(エース)である。

情報量の平均（期待値）は

$E(I)=-\sum_{i=1}^{n}p_{i} I(p)=-\sum_{i=1}^{n}p_{i} log_{2}p_i$

例題

当たり、はずれが入っているくじのなかから一枚引いたとき当たりがでる確率

p(当たり)=4/10

p(はずれ)=6/10

$E(I)=-\sum_{i=1}^{n}p_{i} I(p)=-\sum_{i=1}^{n}p_{i} log_{2}p_i$

$=-2/5log_{2}2/5-3/5log_{2}3/5$