用线性回归找到最佳拟合直线(附实战代码python)

 

1.     寻找数据的拟合直线,即线性回归。

        要找到,最佳的拟合直线 :  (以只有一个特征的数据为例)

                                        

        利用最小二乘估计 寻找最佳的参数

        (为什么使用最小二乘估计,即差的平方和,而不用绝对值或者四次方作为成本函数,见最小二乘法的概率解释

        (事实上,其实最小二乘估计是在广义线性模型是对高斯分布建模的结果)

定义成本函数:

                                        

                                                                                        矩阵形式

    容易理解:

            当成本函数值达到最小时,为拟合直线的回归系数的最佳估计参数。之所以称估计值是因为数据仅仅停留在训练集上。

    求解成本函数极值方法:

        (1).微分学求导方式(这里是矩阵求导)       (本文所用方法)

        (2).最优化算法,梯度下降算法

 

                来理解方法1,成本函数中对自变量进行求导,由于是个矩阵,所以要进行对矩阵求导。

                    令导函数为0,得到结果式为:(过程详见

                                                

                    即得:                        

    最终得到回归系数矩阵 从而得到拟合直线(可扩展为平面乃至更高维度)

2.    接下来,进行实战利用python进行最佳拟合直线(代码)。

        拟合结果图:

                    

            从结果上来看,线性回归的一个问题时有可能出现欠拟合现象,因为它是具有最小均方误差的无偏估计。所以有些方法允许在估计中引入一些偏差,来进一步降低均方误差。其中一种方法就是局部加权线性回归

 

3.    考虑一个问题,当数据特征比训练集样本点还多时,也就是说不可逆。因为 

 

 

附:

    实战:可利用线性回归来预测鲍鱼的年龄

  示例代码:预测鲍鱼年龄

 

 

相关推荐
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页