机器学习（三）

学习机器学习过程中的心得体会以及知识点的整理，方便我自己查找，也希望可以和大家一起交流。

—— 吴恩达机器学习第五章 ——

四、逻辑回归

1. 线性回归局限性
   线性回归对于分类问题的局限性：由于离群点的存在，线性回归不适用于分类问题。如下图（阈值为0.5），由于最右离群点，再用线性回归与实际情况不拟合。
   
   因此，我们引入 逻辑回归 算法，来解决这个问题。

2. 假设陈述
   逻辑回归的假设函数值总是在0到1之间，逻辑回归模型：$h_{\theta }(x)$, 使得 $0\le h_{\theta }(x)\le 1$ 。
   在线性回归中，$h_{\theta }(x)={\theta }^{T}x$ ，在逻辑回归中令$h_{\theta }(x)=g({\theta }^{T}x)$ ，将${\theta }_x^T$带入g(x)得：
   
   其中$g(z)=\frac{1}{1+e^{-z}}$被称为Sigmoid函数，也叫Logistic函数。
   
   $h_{\theta }(x)=P(y=1\mid x;\theta )$( 对于输入的x，y=1的概率估计)

3. 决策界限
   决策边界不是训练集的属性，而是假设本身及其参数的属性。
   假设有一个训练集：$h_{\theta }(x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2)$。用一种方法或者假设，得到参数${\theta }_0=-3，{\theta }_1=1，{\theta }_2=1$。预测 $y=1if-3+x_1+x_2\ge 0$，即$x_1+x_2\ge 3$。则有下图，中间洋红色直线即为 决策边界$（x_1+x_2=3）$
   
   其他的例子如下图：
   
   其他参数更多更复杂的也同理。

4. 代价函数
   将线性回归的代价函数改写为如下形式:
   $J(\theta )=\frac{1}{m}{\sum }_{i=1}^m\frac{1}{2}(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$，进而定义cost函数为$Cost(h_{\theta }(x^{(i)},y^{(i)})=\frac{1}{2}(h_{\theta }(x^{(i)}-y^{(i)}{)}^2$
   
   将cost function 运用到逻辑回归中：.
   
   其中 y 表示实际，hθ(x)表示预测。

• 当y = 1时：
  $if{h}_{\theta }(x)=1,cost=0$
  $if{h}_{\theta }(x)=0,cost=\infty$（预测与实际完全不一致，要花费很大的代价惩罚算法）
  
• 当y = 0时：
  $if{h}_{\theta }(x)=0,cost=0$
  $if{h}_{\theta }(x)=1,cost=\infty$ （预测与实际完全不一致，要花费很大的代价惩罚算法）
  

5. 简化代价函数与梯度下降
   
   将上述式子合并为一个式子:$Cost(h_{\theta }(x),y)=-y(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x))$
   当y = 1时，后一个式子整体为0；当y = 0时，前一个式子整体为0。进而得到：
   $J(\theta )=\frac{1}{m}[{\sum }_{i=1}^m{y}^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]$
   求最小代价函数由${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$，得${\theta }_j:={\theta }_j-\alpha {\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$。

注意：

• 逻辑回归的代价函数看似与线性回归的代价函数相同，但本质不同。
• 逻辑回归中的$h_{\theta }(x)=\frac{1}{e-{\theta }^{T}x}$。
• 线性回归中的$h_{\theta }(x)={\theta }^{T}x$。

6. 逻辑回归解决问题：多元分类
   多元分类即结果有多种可能。如下图，有三种可能结果。
   
   将它们两两作为一组，方法是将其中一个类别作为正类，其他作为负类，依次建立新的训练集，得到
   
   
   
   即为$h_{\theta }^{(i)}(x)=P(y=i|x;\theta )(i=1,2,3)$，最后需要输入一个x，选择h最大的类别，也即在三个分类器中选择可信度最高，效果最好的。