【First-order Methods】 15 ADMM - 悦读

【First-order Methods】 15 ADMM

1 The Augmented Lagrangian Method

增广拉格朗日方法

我们考虑：

为了得到其对偶问题，我们构造其拉格朗日函数：

对偶问题：

$\Rightarrow$

由Fermat最优性条件有：

由推论4.21

因为 $x^{k+1}\in argmin\left \{ <A^{T}y^{K+1},x>+h_{1}(x) \right \}=\partial h_{1}^{*}(-A^{T}y^{k+1})$ ， $z^{k+1}\in argmin\left \{ <B^{T}y^{K+1},z>+h_{2}(z) \right \}=\partial h_{2}^{*}(-B^{T}y^{k+1})$

0属于上式集合中，上式中可取到某个 $x^{k+1},z^{k+1}$ 使上式为0

当它等于0时，便得到的更新公式，其中

$\Leftrightarrow$

即上述算法更新的另一种写法

2 Alternating Direction Method of Multipliers(ADMM)

增广拉格朗日的更新方法可能同原问题一样难以解决，难点在于x z之间的耦合项，ADMM通过交替极小化来解决。

提出一个比ADMM更实用的方法AD-PMM方法

在求极小化问题时增加一个二次的临近项

简化ADMM中取极小化的问题

线性化了二次项并增加一个临近项

3 Convergence Analysis of AD-PMM

ADMM、AD-LPMM都可以看作AD-PMM的特殊形式

悦读

道可道，非常道；名可名，非常名。无名，天地之始，有名，万物之母。故常无欲，以观其妙，常有欲，以观其徼。此两者，同出而异名，同谓之玄，玄之又玄，众妙之门。

Spring Cloud快速入门

如何确保API调用安全

【C语言】指针详细解读1

深拷贝和浅拷贝区别了解吗？什么是引用拷贝？

实验楼课程列表

一起学习LeetCode热题100道（9/100）

自动化立体仓库堆垛机SRM控制系统自动控制功能块开发

数据结构之循环链表和栈

RabbitMQ常见问题持续汇总

【Python】The Algorithms：开源算法的宝库

;