函数 f 的共轭定义:
f∗(y)=sup(yTx−f(x)), x∈domf
可见,共轭函数是线性函数 yTx 和原始函数 f(x) 的最大gap。
写成优化问题形式
令 g(x)=yTx−f(x) ,计算 g′(x)=y−f′(x) ,在 y=f′(x) 处取得极值,然后根据 g(x) 的形式判断是极大值还是极小值。若为极大值则记为所求,若为极小值,共轭函数不存在。
可见如果 f 是可微的,满足f^'(x) = y
下面推导一个共轭函数的例子:
负熵函数: f(x)=xlog(x) , x∈R+,f(0)=0 ,共轭函数
f∗(y)=supyx−xlog(x) , 在 y=log(x)+1 取最大值,即 x=ey−1 ,因此, f∗(y)=ey−1 .