图解 贝叶斯分类器

本文知识点：

1. 贝叶斯公式
2. 一般化的贝叶斯公式
3. 朴素贝叶斯算法：用到链式法则，条件独立
4. 朴素贝叶斯分类器（Naïve Bayes Classifier）的预测过程

贝叶斯公式：

在 B 出现的前提下 A 出现的概率，等于 A 和 B 都出现的概率除以 B 出现的概率。

例如：

我们假设：目前的全集是一个小学的小学一年级学生。
这个小学一年级一共100人，其中有男生30人。
穿白袜子的人数一共有20个，这20个人里面，有5个是男生。
那么请问，男生里面穿白袜子的人的出现概率为多少？

结果为 5/30=1/6

如果不知道人数，而是概率：

这个小学一年级学生里面，男生的出现概率是 0.3 —— P(B)；
穿白袜子的人的出现概率是0.2 —— P(A)；
穿白袜子的人是男生这件事出现的概率是0.25 —— P(B|A)。
请问你，一个人是男生又穿白袜子的出现概率 —— P(A|B)是多少？

这时由贝叶斯公式知：

P(A|B)=1/6

一般化的贝叶斯公式

当 A 本身又包含多种可能性时：

公式为：

某 AI 公司招聘工程师，来了8名应聘者，这8个人里，有5个人是985院校毕业的，另外3人不是。
面试官拿出一道算法题准备考察他们。根据以前的面试经验，面试官知道：985毕业生做对这道题的概率是80%，非985毕业生做对率只有30%。
现在，面试管从8个人里随手指了一个人——小甲，让 TA 出来做题。结果小甲做对了，那么请问，小甲是985院校毕业的概率是多大？

结果：小甲是985毕业的概率是81.6%

朴素贝叶斯算法

B 的因素有 n 个，分别是 b1，b2……bn时

可以写为：

对于求解

最关键的是

根据链式法则，可得：

每个特征 bi 与其他特征都不相关
就有：

朴素贝叶斯分类器（Naïve Bayes Classifier）

朴素贝叶斯分类器的模型函数:

F 是特征（Feature），而 A 则是最终的类别（Class）

预测过程：

1. 计算所有条件概率

2. 计算每个类别对应的模型函数的值

3. 比较x在哪个类别的概率大

对应的类别就是预测值。