相対エントロピー

二つの確率分布の間にどれほどの差異があるかを測定するため、相対エントロピーを算出した。

機械学習の分野では、カルバック・ライブラー情報量を相対エントロピーと呼ぶことが多い。

情報理論の試験で、相対エントロピーが常に非負であることを証明する問題が出た。