2-回归算法.pdf
立即下载
没身份别烦我
2025-04-30
回归
线性
误差
函数
目标
银行
年龄
工资
分布
参数
1.2 MB
一个栗子
数据:工资和年龄(2个特征)
目标:预测银行会贷款给我多少钱(标签)
线性回归
考虑:工资和年龄都会影响最终银行贷款的
结果那么它们各自有多大的影响呢?(参数)
工资 年龄 额度
4000 25 20000
8000 30 70000
5000 28 35000
7500 33 50000
12000 40 85000
通俗解释
X1,X2就是我们的两个特征(年龄,工资)
Y是银行最终会借给我们多少钱
线性回归
找到最合适的一条线(想象一个高维)来
最好的拟合我们的数据点
数学来了
假设 是年龄的参数, 是工资的参数
线性回归
拟合的平面:
( 是偏置项)
整合:
误差
真实值和预测值之间肯定是要存在差异的
(用 来表示该误差)
线性回归
对于每个样本:
误差
误差 是独立并且具有相同的分布,
并且服从均值为0方差为 的高斯分布
线性回归
独立:张三和李四一起来贷款,他俩没关系
同分布:他俩都来得是我们假定的这家银行
高斯分布:银行可能会多给,也可能会少给,但是绝大多数情况下
这个浮动不会太大,极小情况下浮动会比较大,符合正常情况
误差
预测值与误差: (1)
线性回归
由于误差服从高斯分布: (2)
将(1)式带入(2)式:
误差
似然函数:
解释:什么样的参数跟我们的数据组合后恰好是真实值
线性回归
对数似然:
解释:乘法难解,加法就容易了,对数里面乘法可以转换成加法
误差
展开化简:
线性回归
目标:让似然函数(对数变换后也一样)越大越好
(最小二乘法)
误差
目标函数:
线性回归
求偏导:
偏导等于0:
评估方法
最常用的评估项 :
线性回归
的取值越接近于1我们认为模型拟合的越好
(残差平方和)
(类似方差项)
梯度下降
引入:当我们得到了一个目标函数后,如何进行求解?
直接求解?(并不一定可解,线性回归可以当做是一个特例)
线性回归
常规套路:机器学习的套路就是我交给机器一堆数据,然后告诉它
什么样的学习方式是对的(目标函数),然后让它朝着这个方向去做
如何优化:一口吃不成个胖子,我们要静悄悄的一步步的完成迭代
(每次优化一点点,累积起来就是个大成绩了)
梯度下降
目标函数:
线性回归
寻找山谷的
回归/线性/误差/函数/目标/银行/年龄/工资/分布/参数/
回归/线性/误差/函数/目标/银行/年龄/工资/分布/参数/
-->