原文链接：Generative Learning Algorithm in Chinese
最新的版本在原文链接里可以找到。原博客会不断更新。这篇笔记主要梳理了吴恩达教授在斯坦福的CS229课程的内容，并结合了哥伦比亚大学几个教授相关笔记内容一并总结。
请注意: 本文是翻译的一份学习资料，英文原版请点击Wei的学习笔记:Generative Learning Algorithm
中文版将不断和原作者的英文笔记同步内容，定期更新和维护。
生成学习算法
1 判别模型
判别模型是一种对观测数据进行直接分类的模型，常见的模型有逻辑回归和感知机学习算法等。此模型仅对数据进行分类，并不能具象化或者量化数据本身的分布状态，因此也无法根据分类生成可观测的图像。
定义上，判别模型通过构建条件概率分布
2 生成模型
与判别模型不同，生成模型首先了解数据本身分布情况，并进一步根据输入x，给出预测分类y的概率。该模型有着研究数据分布形态的概念，可以根据历史数据生成新的可观测图像。
而贝叶斯分类就是一个典型的例子。在这个例子中，我们首先有一个先验分类。这个先验的分布其实就是我们对数据分布的一个假设（如高斯分布，二项分布或多项分布），我们假设我们选择的模型可以正确解释数据集中的隐含信息。从数据集中，我们可以知道哪些参数最适合我们选择的模型。在这个已计算出先验概率的模型中，我们可以使用贝叶斯公式来进一步计算每个类的概率，然后挑出较大的概率供我们使用。与此同时，给定任意一个先验概率分布，我们可以根据这个分布生成新的样本y，进而基于所选择的先验生成新的特征x（比如，基于一个患癌症的先验概率与分布，我们可以生成新的患病者特征x）。这就是所谓的生成过程。
3 高斯判别分析
高斯判别分析（GDA）是一个生成模型，其中
3.1 多元高斯正态分布
在多元正态分布中，一个随机变量是一个
如上所述，μ代表期望值。
随机向量Z（或者说，向量化的随机变量Z）的协方差为：