Bootstrap

贝叶斯算法的理解

假设基本的概率论只是你已经掌握,OK!

一、推导贝叶斯定理

假设A和B为两个不相互独立的事件。

交集(intersection): 

并集(union): 

1、在事件B已经发生的情况下,事件A发生的概率为事件A和事件B的交集除以事件B:

同理,在事件A已经发生的情况下,事件B发生的概率为事件A和事件B的交集除以事件A:

注:表示 A,B 事件同时发生的概率,如果 A 和 B 是相互独立的两个事件,那么:

由上面的公式可以得到:

然后,我们就可以得到贝叶斯定理

那么如何理解呢??? 

二、理解贝叶斯定理

后验概率 = 先验概率 X 调整因子

从公式看,我们需要知道这么3个事情:

1)先验概率

我 们把P(A)称为'先验概率'(Prior probability),即在不知道B事件的前提下,我们对A事件概率的一个主观判断。

2)可能性函数

P(B|A)/P(B)称为'可能性函数'(Likelyhood),这是一个调整因子,即新信息B带来的调整,作用是使得先验概率更接近真实概率。

如果'可能性函数'P(B|A)/P(B)>1,意味着'先验概率'被增强,事件A的发生的可能性变大;

如果'可能性函数'=1,意味着B事件无助于判断事件A的可能性;

如果"可能性函数"<1,意味着"先验概率"被削弱,事件A的可能性变小

通俗理解:根据B的信息,我调查B的相关信息,并且通过B的相关信息了解A的信息。从而估计出'可能性函数'P(B|A)/P(B)=a

3)后验概率

P(A|B)称为'后验概率'(Posterior probability),即在B事件发生之后,我们对A事件概率的重新评估。

三、朴素贝叶斯算法优缺点

1、朴素贝叶斯算法优点

  1. 朴素贝叶斯模型发源于古典数学理论,有稳定的分类效率。
  2. 对小规模的数据表现很好,能个处理多分类任务,适合增量式训练,尤其是数据量超出内存时,我们可以一批批的去增量训练。
  3. 对缺失数据不太敏感,算法也比较简单,常用于文本分类。

2、朴素贝叶斯缺点

  1. 需要知道先验概率。
  2. 由于使用了样本属性独立性的假设,所以 在属性个数比较多或者属性之间相关性较大时,分类效果不好。

3、朴素贝叶斯应用领域

  1. 文本分类、欺诈检测中使用较多

 


参考:
https://www.jianshu.com/p/4d5e3655269e

https://www.cnblogs.com/HuZihu/p/9368355.html

 

 

;