hit2015spring晨凫追风 欢迎关注我的博客：http://blog.csdn.NET/hit2015spring 支持向量机问题
问题先按照几何间隔最大化的原则引出他的问题为 minw,b12∥w∥2
s.t.yi(wTxi+b)⩾1,i=1,2,⋯,m 上面的约束条件就是一个不等式约束，
可以写成
0⩾1−yi(wTxi+b),i=1,2,⋯,m 这个是SVM的基本型，或者说是原始问题，寻找这个问题的解法就是需要一些数学的理论，当然在寻找这个解法的过程中，就陆续展开了对于SVM中条件的物理含义的一些解释。 解决该问题，用拉格朗日乘子法和KKT条件导出他的对偶问题，通过解决他的对偶问题，从而解决原始问题。这里面包含的知识有：拉格朗日乘子，kkt条件，对偶理论，凸优化，线性代数，高等数学。当然上面这些是理论上的证明解的存在和解的方向，在求解出真正能用的模型还需要数值分析的一些优化方法，如：牛顿法，梯度下降。。。。。。 首先解决引出他的对偶问题： 对它引入拉格朗日乘子，参考KKT条件和拉格朗日乘子法即对上式添加拉格朗日乘子αi⩾0该问题的拉格朗日函数可以写成：
L(w,b,α)=12∥w∥2+∑i=1mαi(1−yi(wTxi+b))

对偶问题

先定义一个概念：Wolfe对偶：定义问题(1)∼(3)是凸优化问题(4)∼(5)的对偶 maxα,x▽xL(x,α)(1) s.t.▽xL(x,α)=0(2) α>0(3) 这里的L(x,α)是f(x)的拉格朗日函数
minf(x)(4) s.t.ci(x)≤0,i=1,2,3⋯,p(5) 再定义一个概念：约束规格：
考虑一般约束问题
minf(x)s.t.c(x)=0c(x)≤0(6) 在式(6)的可行域D={x|ci(x)≤0,i=1,⋯,p;ci