第五节解析解方式求解模型参数
第四节中我们讲解了最大似然和最小二乘之间的关系，通过数学原理找到了损失函数为MSE的理论支撑。本节的话我们讲解怎么样基于目标函数为MSE的情况下，找到最合适的参数模型。在此之前，我们总结下通过最大似然估计建立目标函数思路：
1. 建立线性模型（将误差视为未统计到的多个维度影响的结果）
2. 对于误差假设其服从均值为0的高斯分布
3. 得到每个数据点被采样到的概率分布函数（自变量为θ）
4. 最大似然估计--总概率最大
5. 通过两边取ln和公式整理，得到结论：mse最小时总似然最大。
我们挨个分析下上面逻辑，第一条什么是线性模型？所谓的多元线性回归里面的线性模型就是
,是一个线性相加的结果，并且误差视为未统计到的多个维度影响的结果且其服从均值为0的高斯分布。第三条中，对于每一个样本，都会得到一个概率分布函数。第四条中，将所有的样本的概率分布函数累乘，得到一个似然函数，我们的目标就是使其总样本发生的概率最大。最后通过对最大似然函数做数学变换，两边取ln和公式整理，得到结论为：mse最小时总似然最大。所以我们得到新的目标：所谓学习就是 求出一组使mse最小的θ参数。通常，我们把求一个使某函数达到最大（小）值的自变量解的过程叫做函数最优化，机器学习实质上都是将参数学习问题转变为函数最优化问题，进而求解，所以对于线性回归问题，我们要做的就是对
进行优化。
转载：https://blog.csdn.net/LHWorldBlog/article/details/88804847
查看评论