互信息（Mutual Information）是信息论中的一个基本概念，用于衡量两个随机变量之间的相互依赖程度。它衡量了通过观察另一个随机变量获得的关于一个随机变量的信息量。互信息可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。
互信息的计算公式为：
[ I(X;Y) = H(X) – H(X|Y) ]
其中，H(X) 是X 的信息熵，H(Y|X) 是已知 X 情况下，Y带来的信息熵（条件熵）。互信息的单位可以是nat（自然对数单位）、shannon（二进制单位）或hartley（十进制单位）。
互信息具有以下特性：
- 对称性：I(X;Y) = I(Y;X)
- 独立的变量间互信息为0：如果两个变量独立，则它们之间没有任何共享信息，所以此时的互信息为0
- 非负性：共享信息要么有，要么没有，所以互信息量不会出现负值。
互信息在机器学习、自然语言处理、文本分类等领域有着广泛的应用。例如，在文本分类的特征和类别的配准工作中，互信息可以用来衡量某个特征和特定类别的相关性。
