互信息(Mutual Information)是信息论里一种有用的信息度量，它是指两个事件集合之间的相关性内容简介两个事件X和Y的互信息定义为:H(X),H(Y),I(X,Y)等关系图??H(X),H(Y),I(X,Y)等关系图I(X,Y) = H(X) + H(Y) - H(X,Y)其中 H(X,Y) 是联合熵(Joint Entropy)，其定义为:H(X,Y) = - ∑ p(x,y)logp(x,y)其中p(x,y)是概率。含义互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。 信息的含义 信息是物质、能量、信息及其属性的标示。逆维纳信息定义信息是确定性的增加。逆香农信息定义信息是事物现象及其属性标识的集合。 互信息的含义 信息论中的互信息一般而言，信道中总是存在着噪声和干扰，信源发出消息x，通过信道后信宿只可能收到由于干扰作用引起的某种变形的y。信宿收到y后推测信源发出x的概率，这一过程可由后验概率p(x/y)来描述。相应地，信源发出x的概率p(x)称为先验概率。我们定义x的后验概率与先验概率比值的