贝叶斯学习

一般情形下的贝叶斯估计（总结）

基本假设：

1. 密度$p(\mathbf{x}|\theta )$的形式已知，但参数向量的值未知。

2. 关于$\theta$的初始知识包含在已知的先验密度$p(\theta )$中。

3. 关于$\theta$的其余知识包含在根据未知概率密度$p(\mathbf{x})$独立抽取的$n$个样本$x_1,x_2,\cdots ,x_n$的集合$D$中。

4. 基本问题：计算关于参数$\theta$的后验密度$p(\theta |D)$和关于数据的后验密度$p(\mathbf{x}|D)$。
   $$\begin{gathered} p(\theta |D)=\frac{p(D|\theta )p(\theta )}{\int p(D|\theta )p(\theta )d\theta },p(D|\theta )=P(x_1,x_2,\cdots ,x_n|\theta )=\prod _{i=1}^{n}p(x_i|\theta ) \\ p(\mathbf{x}|D)={\int }_{\theta }p(\mathbf{x}|\theta )p(\theta |D)d\theta \end{gathered}$$

**遇到的困难: **

1. 除了一些特殊的分布（共轭分布）之外，对于一般情形，积分很难计算：
   $$p(\theta |D)=\frac{p(D|\theta )p(\theta )}{\int p(D|\theta )p(\theta )d\theta },p(\mathbf{x}|\theta )={\int }_{\theta }p(\mathbf{x}|\theta )p(\theta |D)d\theta$$

2. 参数先验$p(\theta )$怎么选取？对结果有何影响？

   p(θ) 的选择对结果有直接影响。先验分布过于强烈可能会导致数据驱动的结果被先验主导，而过于弱的先验分布可能导致计算结果不稳定。

3. 给定$D$，我们真的能通过$p(\mathbf{x}|D)$将$p(\mathbf{x})$估计得很好吗？或者说，随着$D$中样本的增多，$p(\mathbf{x}|D)$收敛于$p(\mathbf{x})$吗？

   根据贝叶斯学习的性质，当数据量$n\to \infty$时，后验分布$p(\theta |D)$会集中在最大似然估计值附近，即：$p(\theta |D)\to \delta (\theta -{\theta }_{\text{MLE}})$这意味着后验分布的方差会逐渐缩小，预测分布 p(\mathbf{x}∣D)p(\mathbf{x}\vert D) 也会趋近于真实分布。

**贝叶斯学习的迭代计算公式: **

1. 记 D n = { x 1 , x 2 , ⋯   , x n } D^{n}=\{x_{1},x_{2},\cdots,x_{n}\} Dn={x1​,x2​,⋯,xn​}，由于样本是独立选样，则：
   $$p(D^n|\theta )=p(x_n|\theta )p(D^{n-1}|\theta )=p(x_n|\theta )p(x_{n-1}|\theta )p(D^{n-2}|\theta )=\cdots$$

2. 于是有如下迭代公式：
   $$\begin{array}{rl}p(\theta |D^n)& =\frac{p(D^n|\theta )p(\theta )}{\int p(D^n|\theta )p(\theta )d\theta }=\frac{p(x_n|\theta )p(D^{n-1}|\theta )p(\theta )}{\int p(x_n|\theta )p(D^{n-1}|\theta )p(\theta )d\theta }\\ & =\frac{p(x_n|\theta )}{\int p(x_n|\theta )\frac{p(D^{n-1}|\theta )p(\theta )}{\int p(D^{n-1}|\theta )p(\theta )d\theta }d\theta }=\frac{p(x_n|\theta )}{\int p(x_n|\theta )p(\theta |D^{n-1})d\theta }\\ & =\frac{p(x_n|\theta )p(\theta |D^{n-1})}{\int p(x_n|\theta )p(\theta |D^{n-1})d\theta }\\ p(\theta |D^{n-1})& =\frac{p(D^{n-1}|\theta )p(\theta )}{\int p(D^{n-1}|\theta )p(\theta )d\theta }\end{array}$$

为统一表示，记参数先验分布$p(\theta )$为$p(\theta |D^0)$，表示没有样本情形下的参数概率密度估计。

记 D n = { x 1 , x 2 , ⋯   , x n } D^{n}=\{x_{1},x_{2},\cdots,x_{n}\} Dn={x1​,x2​,⋯,xn​}，随着样本的增加，可以得到一系列对参数概率密度函数的估计：
$$p(\theta ),p(\theta |x_1),p(\theta |x_1,x_2),\cdots ,p(\theta |x_1,x_2,\cdots ,x_n),\cdots$$
一般来说，随着样本数目的增加，上述序列函数逐渐尖锐，逐步趋向于以$\theta$的真实值为中心的一个尖峰。当样本无穷多时，此时将收敛于一个脉冲函数（参数真值）.

例：贝叶斯估计

假设一维随机变量$X$服从$[0,\theta ]$上的均匀分布：
$$p(\mathbf{x}|\theta )=U(0,\theta )=\{\begin{array}{ll}\frac{1}{\theta },& 0\le \mathbf{x}\le \theta \\ 0,& \text{otherwise}\end{array}$$
基于先验知识，我们知道$0<\theta <10$，并希望利用迭代的贝叶斯方法从样本 { 4 , 7 , 2 , 8 } \{4,7,2,8\} {4,7,2,8}中估计参数$\theta$。

迭代过程

在任何数据到达之前，我们有$p(\theta |D^0)=p(\theta )=U(0,10)$。

当第一个数据点$x_1=4$到达时，则：
$$\begin{gathered} p(\theta |D^1)=\frac{p(x_1|\theta )p(\theta |D^0)}{\int p(x_1|\theta )p(\theta |D^0)d\theta }=\alpha p(x_1|\theta )p(\theta |D^0)=\alpha \frac{1}{\theta }\frac{1}{10} \\ p(\theta |D^1)\propto \{\begin{array}{ll}1/\theta ,& 4\le \theta \le 10\\ 0,& \text{otherwise}\end{array} \end{gathered}$$
其中忽略了归一化。因为$\theta$一定要大于等于观测值$\mathbf{x}$。

当第二个数据点$x_2=7$到达时，我们有：
$$p(\theta |D^2)\propto p(x_2|\theta )p(\theta |D^1)=\frac{1}{{\theta }^2},p(\theta |D^2)\propto \{\begin{array}{ll}1/{\theta }^2,& 7\le \theta \le 10\\ 0,& \text{otherwise}\end{array}$$
当第三个数据点$x_3=2$到达时，我们有：
$$p(\theta |D^3)\propto p(x_3|\theta )p(\theta |D^2)=\frac{1}{{\theta }^3},p(\theta |D^3)\propto \{\begin{array}{ll}1/{\theta }^3,& 7\le \theta \le 10\\ 0,& \text{otherwise}\end{array}$$
当第四个数据点$x_4=8$到达时，我们有：
$$p(\theta |D^4)\propto p(x_4|\theta )p(\theta |D^3)=\frac{1}{{\theta }^4},p(\theta |D^4)\propto \{\begin{array}{ll}1/{\theta }^4,& 8\le \theta \le 10\\ 0,& \text{otherwise}\end{array}$$
当数据点$x_n$到达时，我们有：
p ( θ ∣ D n ) ∝ p ( x n ∣ θ ) p ( θ ∣ D n − 1 ) = 1 θ n , p ( θ ∣ D n ) ∝ { 1 / θ n , max ⁡ { D n } ≤ θ ≤ 10 0 , otherwise p(\theta\vert D^{n})\propto p(x_{n}\vert \theta)p(\theta\vert D^{n - 1})=\frac{1}{\theta^{n}},\quad p(\theta\vert D^{n})\propto\begin{cases} 1/\theta^{n}, & \max\{D^{n}\}\leq\theta\leq10\\ 0, & \text{otherwise} \end{cases} p(θ∣Dn)∝p(xn​∣θ)p(θ∣Dn−1)=θn1​,p(θ∣Dn)∝{1/θn,0,​max{Dn}≤θ≤10otherwise​

关于参数$\theta$的分布的调整过程：

参数$\theta$的最后估计结果：

$$p(\theta |D^4)=\{\begin{array}{ll}3147.5/{\theta }^4,& 8\le \theta \le 10\\ 0,& \text{otherwise}\end{array}$$
最后的分布：
$$\begin{gathered} p(\mathbf{x}|D)={\int }_{\theta }p(\mathbf{x}|\theta )p(\theta |D)d\theta \\ p(\mathbf{x}|D)=\{\begin{array}{ll}0.1134,& 0\le \mathbf{x}\le 8\\ 786.875\left(\frac{1}{{\mathbf{x}}^4}-\frac{1}{10^4}\right),& 8<\mathbf{x}\le 10\\ 0,& \text{otherwise}\end{array} \end{gathered}$$

最大似然估计做法

对于数据，其似然函数为：
$$l(\theta )=p(x_1,x_2,x_3,x_4|\theta )=\frac{1}{{\theta }^4}$$
显然，$l(\theta )$单调递减，$\theta$越小，$l(\theta )$越大。但同时，$\theta$一定要大于等于最大观测数据。在现有样本 { 4 , 7 , 2 , 8 } \{4,7,2,8\} {4,7,2,8}中，使似然函数$l(\theta )$取值最大的$\theta$只能等于8。所以由于是均匀分布，所以$\theta$的最大似然估计值为8。

图中展示了最大似然估计（ML）和贝叶斯估计（Bayes）在样本后验分布上的区别。文中提到最大似然方法估计的是$\theta$空间中的一个点，而贝叶斯方法估计的是一个分布。