在“求解最优解”时,对于某些极值问题的求解无意义(比如某些函数的极值为无穷),这样的函数通常需要带有一些约束条件,例如:
F ( x , y ) = x + y
有限制条件: x2 + y2 =1
“拉格朗日乘法项”就是用来解决这类问题的,其核心思想为:把“限制条件”作为“目标函数的惩罚项”加入到目标函数中。
通过拉格朗日乘法项把限制条件通过简单的转变加到目标函数中,那么问题就变成了:
L = x + y + λ( x2 + y2 - 1 )
可以把 λ( x2 + y2 - 1 )这一项看作是惩罚项(损失cost),一旦条件不满足会产生惩罚,一旦条件满足,损失为0。
对 L = x + y + λ( x2 + y2 - 1 ) 中的 x,y,λ 分别求导,令其导数为 0 进行求解 ,如下:
可以得到两个解:
将求出的两个解分别带入L = x + y + λ( x2 + y2 - 1 ) 进行对比,可得到最优解。
注:这里“限制条件”的公式采用了“等号”(即 x2 + y2 =1),后面会讲“不等号”的复杂计算(svm)。