贪心算法简介

贪心算法(greedy algorithm)总是选择当前看来最佳的选择。贪心算法并不总是给出最优解，但它往往是最简单、最高效的算法。
如果贪心算法能给出最优解，它一定要保证每一轮贪心的结果都是一个最优的子结构，即当前的最优解也是全局最优解的一部分。

分数背包问题描述

情景描述：给定背包容量和一些物品，每个物品有重量和价值两个属性。允许只取一个物品的一部分加入背包，求问如何才能使背包装的物品价值最大。

形式化定义：给定$K$和$W=(w_1,w_2,...,w_n)$，$V=(v_1,v_2,...,v_n)$。求$X=(x_1,x_2,...,x_n)，0\le x_i\le 1$，满足
$${\Sigma }_{i=0}^n{x}_i{w}_i\le K$$
使最大化
$${\Sigma }_{i=0}^n{x}_i{v}_i$$
该问题实质上是一个线性规划问题，可以用单纯形法、椭球法、内点法（后两者均为多项式时间算法）等求解。但在这个问题中，简单的贪心算法就能够求出最优解。

贪心算法求解

算法简介

核心思想：按性价比(value-per-pound)排序。

• 计算每个物品的单位重量价格${\rho }_i=\frac{v_i}{w_i}$
• 对${\rho }_i$的计算结果按降序排序
• 令$k=K$，表示当前背包的剩余空间
• 每次都选择物品$j$，它具有当前最高的性价比${\rho }_j$：
  • 如果$w_j\le k$，将重量为$w_j$的$j$物品全部加入背包，$k=k-w_j$；
  • 否则将重量为$k$的$j$物品加入背包，迭代结束。

算法时间复杂度分析

• 计算性价比为线性复杂度$O(n)$
• 排序可以选用快速排序、堆排序等算法，时间复杂度为$O(nlogn)$
• 迭代的轮次小于等于$n$，复杂度也为$O(n)$

综上，时间复杂度为$O(nlogn)$，可见贪心算法在效率上的优势。

正确性证明

这种选择最高性价比的贪心思想的正确性似乎是显然的，但我们还要进行证明。这里用到的方法是交换论证法(exchange argument)。

交换论证法简介

通常用于证明一个贪心算法给出的解是最优解。大致的思想是先假设一个最优解，再将最优解逐步转化为我们算法给出的解，并保证在转化的过程中结果不变差。如果能够完成转化，那么就可以证明贪心算法给出的解也是最优解。

用交换论证法进行证明

假设已经按照${\rho }_i$进行了排序，即${\rho }_1\ge {\rho }_2\ge ...\ge {\rho }_n$
记贪心算法的解为 $G=<x_1,x_2,...,x_n>$。假设一共装了$i$种物品，则根据我们的求解思路，一定有$x_1,...,x_{i-1}=1$，而$x_i\le 1$。
假设一个最优解 $O=<y_1,y_2,...,y_n>$，显然最优解一定也是填满了背包的，即$\Sigma y_i{w}_i=K$。

从下标为$1$开始比较方案 $G$和 $O$，假设第一个不同的值的下标为$j$，即$x_j\ne y_j$。由于贪心算法的方案每次都尽可能选择最多的量，所以一定有$x_j\ge y_j$。假设$x_j$和$y_j$的不同部分为${\delta }_j=x_j-y_j$，那么由于$\Sigma x_i{w}_i=\Sigma y_i{w}_i=K$，一定有${\Sigma }_{k=j+1}^n{y}_k\ge {\delta }_j$。那么就可以从$O$的从$j+1$到$n$的物品中凑出${\delta }_j$的重量重新分配给物品$j$，使得$x_j=y_j+{\delta }_j=y_j^{\prime }$。由于${\rho }_j\ge {\rho }_{j+1},...,{\rho }_n$，调整后的$O^{\prime }$方案一定优于或等于原$O$方案。考虑到$O$方案本来就是最优的，那么$O$和$O^{\prime }$方案一定是等优越性的。

不断重复以上的步骤，就能将最优的$O$方案等优越性地转化为我们的$G$方案，从而证明了我们的方案也为最优的。

讨论：贪心算法用于0-1背包问题

显然，如果在物品不能分割的情况下（即0-1背包问题），以上的贪心算法不一定给出最优解。因为每一次贪心选择不一定在更全局的最优解中。

最坏结果

一个有趣的问题是，如果一定要用贪心算法来解，结果是可以接受的吗？或者说最坏的结果可以有多坏？
首先，我们确定一个衡量方案优越度的指标：
$$OP{T}_{0-1}/A$$
其中，$OP{T}_{0-1}$为0-1背包问题的最优解，$A$为其他方案给出的解。这一比值可以衡量方案$A$在一个具体case上的好坏：比值越低，方案越好；如果比值为1，那么方案$A$也为最优解。

考虑如下情况：$K=100$，$W=(100,1)$， $V=(100,99)$，计算得 $\rho =(1,99)$。按选择最高性价比的贪心算法，应该优先选择物品2，但最优解显然是物品1。最极端的情况是物品2的性价比比物品1略高，但总价值远远低于物品1，这样的$OP{T}_{0-1}/A=\infty$，即最坏情况可以达到任意坏。

改进后的贪心算法用于0-1背包问题

动态规划算法虽然能给出最优解，但在计算效率上远不如贪心算法。能否对贪心算法进行一定的改进，使其在保持效率优越性的情况下保证结果不是太差，比如限制$OP{T}_{0-1}/A\le 2$？其实是有的，一个简单的改进如下：

假设分数背包问题中，贪心算法选出$i$种物品加入背包，其中$x_1,...,x_{i-1}=1$，而$x_i\le 1$。那么在相同的0-1背包问题中，比较物品$1$~$i-1$的总价值和$i$的价值，将更大者加入背包。下面证明$OP{T}_{0-1}/A\le 2$：

我们方案的总价值为
A = m a x { Σ k = 1 i v k , v i + 1 } ≥ m a x { Σ k = 1 i x k v k , x i + 1 v i + 1 } ≥ 1 2 ( Σ k = 1 i x k v k + x i + 1 v i + 1 ) = 1 2 ( Σ k = 1 i + 1 x k v k ) ≥ 1 2 O P T 0 − 1 A=max\{\Sigma_{k=1}^i v_k, v_{i+1}\}\geq max\{\Sigma_{k=1}^i x_kv_k, x_{i+1}v_{i+1}\}\geq \frac{1}{2}(\Sigma_{k=1}^i x_kv_k+x_{i+1}v_{i+1})= \frac{1}{2}(\Sigma_{k=1}^{i+1} x_kv_k)\geq \frac{1}{2}OPT_{0-1} A=max{Σk=1i​vk​,vi+1​}≥max{Σk=1i​xk​vk​,xi+1​vi+1​}≥21​(Σk=1i​xk​vk​+xi+1​vi+1​)=21​(Σk=1i+1​xk​vk​)≥21​OPT0−1​。
说明：倒数第二项即为分数背包问题的最优解。而分数背包问题的最优解总是优于或等于相同的0-1背包问题的最优解。因此总有$A\ge \frac{1}{2}OP{T}_{0-1}$。

这种近似算法(approximation algorithm)在快速求解复杂问题上往往是很有用的。