概述

K-近邻（KNN）

线性回归（Linear Regression）

线性判别式与逻辑回归（Linear Discriminant and Logistic Regression）

基于似然的分类（likelihood-based classification）:
首先估计先验概率 P(C_i) 和类似然 p(x|C_i) ，再使用贝叶斯规则计算后验密度。然后使用后验密度定义的判别式函数，例如 g_i(x)=log P(C_i|x)。
基于判别式的分类（discriminant-based classification）:
对类之间的判别式形式进行假设，不对密度、输入是否相关做任何假设。在基于判别式的方法中，我们并不关注正确估计类区域的密度，我们所关注的是正确估计类区域之间的边界。

推广线性模型

二次判别式、增加高阶项

特征工程之降维（Dimension Reduc