Bootstrap

matlab 散点图 线性回归图_【吴恩达笔记】线性回归

吴恩达老师的机器学习公开课应该算是目前我见过,最适合小白入门的公开课程了。即使内容对新人比较友好,但我想还是需要整理些许笔记的,因为涉及到机器学习的基础阶段,各个概念的掌握情况,我跳过了一些对我个人而言不重要的栏目,比如线性代数和matlab教程这些。之后也会补上上课的作业,Coursera申请助学金需要时间比较久。

一元线性回归(单变量线性回归) Linear Regression with one variable

1. 模型描述

首先明确线性回归的作用,在机器学习中,我们可以广义的把机器学习划分为两类学习,监督学习与无监督学习。简单而言,监督学习就是给出了准确答案,期望计算机能学习其中的原理,并对我们未知的事情做出一定的预测。无监督学习就是指,我们并不知道准确结果的事情,希望机器通过学习,能从中抽取有效信息,举个简单的例子,例如邮箱垃圾邮件分类,新闻栏目划分等等,这些我们都能通过无监督学习去解决。

好了下面再举一个关于监督学习的例子,吴老师上课的例子是房价预估,如下图所示。

f6984b5f0420621cd6b94bb01c77681e.png

给你一定数量的数据集,代表房屋尺寸与价格的散点图,现在你希望知道除这些数据集以外的Size所对应的Price,相当于我之前说的预测。比如Size为1250时,那Price可能为2200左右这样子。那这个过程,我们实际就是想从现已知的数据集中学习某些知识内容,从而达到预测的效果。而这个过程就是我们所说的,回归

其实就是拟合函数曲线,从而达到其与数据集的最优拟合,然后预测所有的Size。由于这个房子的单价这个假设中只与Size有关,所以我们称它为单变量或是一元。

下图是关于机器学习的基本流程图,你可以认为几乎所有机器学习问题都是这个框架的东西。

0bc4231a0e47235c791e4f2806787221.png

而这其中的

,代表
,由流程图可以看出,它是由数据集与学习算法得来的,在数学模型中,它代表回归模型,在机器学习中,我们通常把它称作假设函数。

以上便是我们在一元线性回归模型中的假设函数了,可以看出,实际上我们是对数据集拟合了一个一次函数,所以我们才说是线性回归,那么实际的问题中,当然不是所有问题都是线性的关系,这个我们之后再去说。好了,目前为止,我已经解释了所有关于一元线性回归模型的意义了,下面我们来看点重要的。

2. 代价函数 cost function

46d010b20eb43436d409b90ee8e07536.png
;