【专栏】数学之美番外篇：平凡而又神奇的贝叶斯方法（11）

为什么朴素贝叶斯方法令人诧异地好——一个理论解释

朴素贝叶斯方法的条件独立假设看上去很傻很天真，为什么结果却很好很强大呢？就拿一个句子来说，我们怎么能鲁莽地声称其中任意一个单词出现的概率只受到它前面的3个或4个单词的影响呢？别说3个，有时候一个单词的概率受到上一句话的影响都是绝对可能的。那么为什么这个假设在实际中的表现却不比决策树差呢？有人对此提出了一个理论解释，并且建立了什么时候朴素贝叶斯的效果能够等价于非朴素贝叶斯的充要条件，这个解释的核心就是：有些独立假设在各个分类之间的分布都是均匀的所以对于似然的相对大小不产生影响；即便不是如此，也有很大的可能性各个独立假设所产生的消极影响或积极影响互相抵消，最终导致结果受到的影响不大。具体的数学公式请参考这篇paper。

层级贝叶斯模型

层级贝叶斯模型是现代贝叶斯方法的标志性建筑之一。前面讲的贝叶斯，都是在同一个事物层次上的各个因素之间进行统计推理，然而层次贝叶斯模型在哲学上更深入了一层，将这些因素背后的因素（原因的原因，原因的原因，以此类推）囊括进来。一个教科书例子是：如果你手头有N枚硬币，它们是同一个工厂铸出来的，你把每一枚硬币掷出一个结果，然后基于这N个结果对这N个硬币的θ（出现正面的比例）进行推理。如果根据最大似然，每个硬币的θ不是1就是0（这个前面提到过的），然而我们又知道每个硬币的p(θ)是有一个先验概率的，也许是一个beta分布。也就是说，每个硬币的实际投掷结果Xi服从以θ为中心的正态分布，而θ又服从另一个以Ψ为中心的beta分布。层层因果关系就体现出来了。进而Ψ还可能依赖于因果链上更上层的因素，以此类推。

（待续；此文的修订版已收录《暗时间》一书，由电子工业出版社2011年8月出版。作者于2009年7月获得南京大学计算机系硕士学位，现在微软亚洲研究院创新工程中心从事软件研发工程师工作。）