平均情報量

情報理論の授業で、シャノンが提唱したエントロピー、すなわち情報源から発生する平均情報量の概念について学んだ。

コインの表と裏が完全な五分五分で出る場合、その結果から得られる平均情報量は正確に1ビットになる。

サイコロの目が出る確率が偏っているいかさまサイコロは、すべての目が等確率で出る正常なサイコロよりも平均情報量が小さくなる。