（图片由AI科技大本营付费下载自视觉中国）
作者 | 文杰
编辑 | yuquanle
,
。其中m为训练集样本数，n为样本维度，y是样本的真实值。线性回归采用一个高维的线性函数来尽可能的拟合所有的数据点，最简单的想法就是最小化函数值与真实值误差的平方（概率解释-高斯分布加最大似然估计）。即有如下目标函数：
，
，构成如下数据矩阵。
，那么预测值
与真实值
之间有如下关系：
根据中心极限定理，当一个事件与很多独立随机变量有关，该事件服从正态分布 。一般来说，连续值我们都倾向于假设服从正态分布。假设每个样本的误差
独立同分布均值为0，方差为σ的高斯分布
,所以有：
满足以均值为
,方差为
的高斯分布。
其迭代优化函数如下：
Lasso回归采用一范数来约束，使参数非零个数最少。而Lasso和岭回归的区别很好理解，在优化过程中，最优解为函数等值线与约束空间的交集，正则项可以看作是约束空间。可以看出二范的约束空间是一个球形，而一范的约束空间是一个方形，这也就是二范会得到很多参数接近0的值，而一范则尽可能非零参数最少。
的坐标上是线性的，但是并不表示线性的模型就一定只能用于线性分布问题上。假如我们只有一个特征
，而实际上回归值是
等，我们同样可以采用线性模型，因为我们完全可以把输入空间映射到高维空间
，其实这也是核方法以及PCA空间变换的一种思想，凡是对输入空间进行线性，非线性的变换，都是把输入空间映射到特征空间的思想，所以只需要把非线性问题转化为线性问题即可。另外一种是局部线性思想，即对每一个样本构建一个加权的线性模型。
一般选择下面的权重函数，权重函数选择并非因为其类似于高斯函数，而是根据数据分布的特性，但权重函数的选取并不一定依赖于数据特性。
是对角矩阵，
。
/**
线性回归函数的实现，考虑一般的线性回归，最小平方和作为损失函数，则目标函数是一个无约束的凸二次规划问题，
由凸二次规划问题的极小值在导数为0处取到，且极小值为全局最小值，且有闭式解。根据数学表达式实现矩阵之间的运算求得参数w。
**/
int regression(Matrix x,Matrix y)
{
Matrix xT=x.transposeMatrix();
Matrix xTx=xTx.multsMatrix(xT,x);
Matrix xTx_1=xTx.niMatrix();
Matrix xTx_1xT=xTx_1xT.multsMatrix(xTx_1,xT);
Matrix ws;
ws=ws.multsMatrix(xTx_1xT,y);
cout<<"ws"<<endl;
ws.print();
return 0;
}
/**
下面的岭回归函数只是在一般的线性回归函数的基础上在对角线上引入了岭的概念，不仅有解决矩阵不可逆的线性，同样也有正则项的目的，
采用常用的二范数就得到了直接引入lam的形式。
**/
int ridgeRegres(Matrix x,Matrix y,double lam)
{
Matrix xT=x.transposeMatrix();
Matrix xTx=xTx.multsMatrix(xT,x);
Matrix denom(xTx.row,xTx.col,lam,"diag");
xTx=xTx.addMatrix(xTx,denom);
Matrix xTx_1=xTx.niMatrix();
Matrix xTx_1xT=xTx_1xT.multsMatrix(xTx_1,xT);
Matrix ws=ws.multsMatrix(xTx_1xT,y);
cout<<"ws"<<endl;
ws.print();
return 0;
}
/**
局部加权线性回归是在线性回归的基础上对每一个测试样本（训练的时候就是每一个训练样本）在其已有的样本进行一个加权拟合，
权重的确定可以通过一个核来计算，常用的有高斯核（离测试样本越近，权重越大，反之越小），这样对每一个测试样本就得到了不一样的
权重向量，所以最后得出的拟合曲线不再是线性的了，这样就增加的模型的复杂度来更好的拟合非线性数据。
**/
//需要注意的是局部加权线性回归是对每一个样本进行权重计算，所以对于每一个样本都有一个权重w，所以下面的函数只是局部线性回归的一个主要辅助函数
Matrix locWeightLineReg(Matrix test,Matrix x,Matrix y,const double &k)
{
Matrix w(x.row,x.row,0,"T");
double temp=0;
int i,j;
/**
根据测试样本点与整个样本的距离已经选择的核确定局部加权矩阵，采用对角线上为局部加权值
**/
for(i=0;i<x.row;i++)
{
temp=0;
for(j=0;j<x.col;j++)
{
temp+=(test.data[0][j]-x.data[i][j])*(test.data[0][j]-x.data[i][j]);
}
w.data[i][i]=exp(temp/-2.0*k*k);
}
Matrix xT=x.transposeMatrix();
Matrix wx=wx.multsMatrix(w,x);
Matrix xTwx;
xTwx=xTwx.multsMatrix(xT,wx);
Matrix xTwx_1;
xTwx_1=xTwx.niMatrix();
Matrix xTwx_1xT;
xTwx_1xT=xTwx_1xT.multsMatrix(xTwx_1,xT);
Matrix xTwx_1xTw;
xTwx_1xTw=xTwx_1xTw.multsMatrix(xTwx_1xT,w);
Matrix ws = xTwx_1xTw * y;
return ws;
}
◆
精彩推荐
◆
推荐阅读
100多次竞赛后，他研发了一个几乎可以解决所有机器学习问题的框架
王霸之路：从0.1到2.0，一文看尽TensorFlow“奋斗史”
NLP被英语统治？打破成见，英语不应是「自然语言」同义词
TensorFlow2.0正式版发布，极简安装TF2.0（CPU&GPU）教程
肖仰华：知识图谱构建的三要素、三原则和九大策略 | AI ProCon 2019
AI落地遭“卡脖子”困境：为什么说联邦学习是解决良方？
10分钟搭建你的第一个图像识别模型 | 附完整代码
限时早鸟票 | 2019 中国大数据技术大会（BDTC）超豪华盛宴抢先看！
你点的每个“在看”，我都认真当成了喜欢
转载：https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/102387137