Bootstrap

算法中的最优化方法与实现(第3课 二次型规划)

一、学习目标

1.了解二次型问题的内容
2.了解改进单纯形法解决二次型问题的过程

二、二次型问题

1.与线性问题相同,二次型问题的描述形式也有两类(type1:一般形式,type2:标准形式):
在这里插入图片描述
其中H矩阵是二次项的参数矩阵,该项会直接导致整个模型是否存在最优解的问题。下面展示几个特殊二次项的图像:
在这里插入图片描述
下面左图存在多个极值点,右图则不存在最优值:
在这里插入图片描述
2.关于将一般形式转化为标准形式,其方式与线性问题一样:
在这里插入图片描述
在这里插入图片描述

三、改进单纯形法求解二次型问题

1.回想高中求二次函数的极值点,我们先求二次函数的导数,获得导数值为0的点,并将其作为我们的极值点。最多再多求一下二次导数,判断是极大值还是极小值。同理,对于二次型问题,我们一开始的目标函数为:
在这里插入图片描述
加上约束条件:在这里插入图片描述
令其分别为约束函数h(x)和g(x)。即:
在这里插入图片描述
使用拉格朗日乘子法,引入λ和μ变量,目标函数变为:
在这里插入图片描述

对其求导,求导规则为:
在这里插入图片描述
令求导结果为0,可得:
在这里插入图片描述
总结以上,可得二次型问题转化为:
在这里插入图片描述
结果就是:一个求最值的问题变成了一个求0值的问题。但这样就不用迭代优化了,于是有了改进单纯形法(modified simplex method)

2.为了将问题再次变成一个最值问题,改进单纯形法引入了两个松弛变量u1和u2,使得问题公式变为:
在这里插入图片描述
用矩阵表示就是:
在这里插入图片描述
显然,原本没有u1和u2的时候就是我们要求的目标值,所以当u1和u2为0,即最小时,就是我们的目标值,于是,我们的目标函数变为:
在这里插入图片描述
于是,整个问题变为:
在这里插入图片描述
使用改进单纯形法时的初始值也确定了。

四、本章小结

1.主要学习二次型问题的内容。
2.学习二次型问题的两次变换,如何改进单纯形法使得二次型问题能迭代解决。

;