互信息的含义

互信息的含义

互信息与多元对数似然比检验以及皮尔森 校验有着密切的联系。 信息是物质、能量、信息及其属性的标示。逆维纳信息定义

信息是确定性的增加。逆香农信息定义

信息是事物现象及其属性标识的集合。 信息论中的互信息

一般而言，信道中总是存在着噪声和干扰，信源发出消息x，通过信道后信宿只可能收到由于干扰作用引起的某种变形的y。信宿收到y后推测信源发出x的概率，这一过程可由后验概率p(x|y)来描述。相应地，信源发出x的概率p(x)称为先验概率。我们定义x的后验概率与先验概率比值的对数为y对x的互信息量（简称互信息）。

根据熵的连锁规则，有

因此，

这个差叫做X和Y的互信息，记作I(X;Y)。

按照熵的定义展开可以得到：