一、习题

1、以下属于生成式模型的是：（ C ）

A、SVM
B、随机森林
C、隐马尔可夫模型HMM
D、逻辑回归

常见的生成式模型有 隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM、LDA等

2、以下几种模型方法属于判别式模型的有 （ C ）

1)混合高斯模型

2)条件随机场模型

3)区分度训练

4)隐马尔科夫模型

A、1,4
B、3,4
C、2,3
D、1,2

公式上看

生成模型： 学习时先得到 P(x,y)，继而得到 P(y|x)。预测时应用最大后验概率法（MAP）得到预测类别 y。

判别模型： 直接学习得到P(y|x)，利用MAP得到 y。或者直接学得一个映射函数 y=f(x)。

直观上看

生成模型： 关注数据是如何生成的
判别模型： 关注类别之间的差别

• 生成式模型
  • 判别式分析
  • 朴素贝叶斯
  • 混合高斯模型
  • 隐马尔科夫模型（HMM）
  • 贝叶斯网络
  • Sigmoid Belief Networks
  • 马尔科夫随机场（Markov Random Fields）
  • 深度信念网络（DBN）
• 判别式模型
  • 线性回归（Linear Regression）
  • K近邻（KNN）
  • 逻辑斯蒂回归（Logistic Regression）
  • 神经网络（NN）
  • 支持向量机（SVM）
  • 高斯过程（Gaussian Process）
  • 条件随机场（CRF）
  • CART（Classification and Regression Tree）

3、下面关于支持向量机（SVM）的描述错误的是 （ C ）

A、是一种监督式学习的方法
B、可用于多分类的问题
C、是一种生成式模型
D、支持非线性的核函数

属于判别式模型，直接对条件概率p(y|x;θ)建模

4、下列模型属于机器学习生成式模型的是 （ ABCD ）

A、朴素贝叶斯
B、隐马尔科夫模型(HMM)
C、马尔科夫随机场(Markov Random Fields)
D、深度信念网络(DBN)

5、有监督机器学习方法可以被分为判别式模型和生成式模型，下面属于生成式模型的有 （ B C ）

A、SVM支持向量机
B、朴素贝叶斯
C、隐马尔科夫
D、logistic回归

判别式模型(Discriminative Model)：直接对条件概率p(y|x)进行建模，如：线性回归、逻辑回归、决策树、支持向量机SVM、k近邻、神经网络等；

生成式模型(Generative Model)：对联合分布概率p(x,y)进行建模，然后求出条件概率作为预测模型，如：隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM、LDA 等；

二、总结

1、两种不同的模型都用于监督学习任务中。

2、监督学习的任务就是从数据中学习一个模型，并用基于这个模型对给定的输入预测相应的输出。这种模型的一般形式为决策函数 y=f(x)或者条件概率分布P(y|x) 。

3、判别方法不关心背后的数据分布，关心的是对于给定的输入，应该预测什么样的输出。

4、生成模型估计的是联合概率分布，判别式模型估计的是条件概率分布。