假设基本的概率论只是你已经掌握,OK!
一、推导贝叶斯定理
假设A和B为两个不相互独立的事件。
交集(intersection):
并集(union):
1、在事件B已经发生的情况下,事件A发生的概率为事件A和事件B的交集除以事件B:
同理,在事件A已经发生的情况下,事件B发生的概率为事件A和事件B的交集除以事件A:
注:表示 A,B 事件同时发生的概率,如果 A 和 B 是相互独立的两个事件,那么:。
由上面的公式可以得到:
然后,我们就可以得到贝叶斯定理:
那么如何理解呢???
二、理解贝叶斯定理
后验概率 = 先验概率 X 调整因子
从公式看,我们需要知道这么3个事情:
1)先验概率
我 们把P(A)称为'先验概率'(Prior probability),即在不知道B事件的前提下,我们对A事件概率的一个主观判断。
2)可能性函数
P(B|A)/P(B)称为'可能性函数'(Likelyhood),这是一个调整因子,即新信息B带来的调整,作用是使得先验概率更接近真实概率。
如果'可能性函数'P(B|A)/P(B)>1,意味着'先验概率'被增强,事件A的发生的可能性变大;
如果'可能性函数'=1,意味着B事件无助于判断事件A的可能性;
如果"可能性函数"<1,意味着"先验概率"被削弱,事件A的可能性变小
通俗理解:根据B的信息,我调查B的相关信息,并且通过B的相关信息了解A的信息。从而估计出'可能性函数'P(B|A)/P(B)=a
3)后验概率
P(A|B)称为'后验概率'(Posterior probability),即在B事件发生之后,我们对A事件概率的重新评估。
三、朴素贝叶斯算法优缺点
1、朴素贝叶斯算法优点
- 朴素贝叶斯模型发源于古典数学理论,有稳定的分类效率。
- 对小规模的数据表现很好,能个处理多分类任务,适合增量式训练,尤其是数据量超出内存时,我们可以一批批的去增量训练。
- 对缺失数据不太敏感,算法也比较简单,常用于文本分类。
2、朴素贝叶斯缺点
- 需要知道先验概率。
- 由于使用了样本属性独立性的假设,所以 在属性个数比较多或者属性之间相关性较大时,分类效果不好。
3、朴素贝叶斯应用领域
- 文本分类、欺诈检测中使用较多
参考:
https://www.jianshu.com/p/4d5e3655269e
https://www.cnblogs.com/HuZihu/p/9368355.html