Logistic Regression的决策超平面

2019-04-14 18:31发布

站内文章 / 模拟电子
11703 0 904
深度学习中偏置（阈值）不参与正则化。这时候我就想到了逻辑回归和svm。
       svm和逻辑回归都是用来做分类的，而且就以机器学习的角度去讲（先不从统计学分析）他们都是在找一个决策超平面。但是一个超平面的表现方式多种多样，法向量的模长不同表现方式就不同。所以如果要找到最终决策超平面的一个形式，需要限定法向量的模长。在svm中将法向量的模长设定为了一个特殊的值——最小函数距离的绝对值。通过拉格朗日乘子法最终加入到拉格朗日函数里面。在逻辑回归中，如果想求得最终决策超平面的一个表达式也要设定法向量的模长为c。同样的通过拉格朗日乘子法可以把约束条件和目标函数合并起来。cost = lost+a（w*w-c*c），其中a大于等于零。具体推到可以去参考拉格朗日乘子法。这其实就是我们经常看到的代价函数的样子，上面cost和lost两个函数仅仅代表两个函数名。在统计学里面逻辑回归是假设样本符合伯努利分布的，伯努利分布的共轭先验分布是β分布，β分布中权值w是在底数位置，不像高斯分布一样在指数位置，即使通过负对数也无法推导出二次范数正则项a（w*w-c*c）的统计意义。也就是说逻辑回归的二次范数正则项无法从统计解释。但是话说回来，线性回归里面的二次范式正则项引入虽然在统计学上是先验分布的表现，可是在求唯一一条拟合曲线的本质上又存在一点小矛盾。比如ax+b=y作为拟合曲线，这时候就默认为ax+b-y=0这样一条形式固定的曲线，这时候的法向量a是受y前面的系数-1约束的，不能随便变化了，表现形式已经唯一了，那么从找唯一一个解的角度思考就没有必要再约束w的二次范式了。这样也就不会有二次范式正则项了。所以线性回归里面通过统计解释得通的东西在分类里面解释不通，求唯一决策面的思想解释通了分类问题（逻辑回归）却解释不通线性回归的二次范式正则项。

热门文章