互信息的含义

互信息是信息论里一种有用的信息度量，它是指两个事件集合之间的相关性。信道中总是存在着噪声和干扰，信源发出消息x，通过信道后信宿只可能收到由于干扰作用引起的某种变形的y。信宿收到y后推测信源发出x的概率，这一过程可由后验概率来描述。相应地，信源发出x的概率称为先验概率。我们定义x的后验概率与先验概率比值的对数为y对x的互信息量，也称交互信息量，简称互信息。