本系列文章主要参考UIUC姜楠老师开设的cs542

本章主要介绍无模型下的表格类型方法，包括确定性等价（Certainty-equivalence）方法、以及常见的 Q-learning、SARSA 等基于值的方法。由于需要先估计环境模型再进行决策，所以本章还会基于确定性等价方法，分析估计过程中产生的误差。

表格类型方法

首先介绍确定性等价方法。该方法为 model-based 方法，

首先需要从现有数据中估计 MDP 模型，然后在假设模型为真的情况下进行策略优化。具体地，给定轨迹的数据集 D = { ( s 1 , a 1 , r 1 , s 2 , . . . , s H + 1 ) } D=\{(s_1,a_1,r_1,s_2,...,s_{H+1})\} D={ (s1​,a1​,r1​,s2​,...,sH+1​)}，并将该轨迹拆分为 $H$ 个四元组：$(s_1,a_1,r_1,s_2)$、$(s_2,a_2,r_2,s_3)$、…、$(s_H,a_H,r_H,s_{H+1})$。对于任意 $s\in \mathcal{S}$，$a\in \mathcal{A}$，令 $D_{s,a}$ 为所有四元组中第一个元素为 $s$ 且第二个元素为 $a$ 的四元组子集。令 ${\mathbf{e}}_{s^{\prime }}$ 为 $|\mathcal{S}|$ 维的向量，且第 $s^{\prime }$ 个位置的元素为 1，其余的元素为 0。此时，估计的状态转移函数为：
$$\hat{P}(s,a)=\frac{1}{|D_{s,a}|}\sum _{(r,s^{\prime })\in D_{s,a}}{\mathbf{e}}_{s^{\prime }}$$

估计的奖励函数为：
$$\hat{R}(s,a)=\frac{1}{|D_{s,a}|}\sum _{(r,s^{\prime })\in D_{s,a}}r$$

另外，为了能够较好地评估状态转移函数和奖励函数，数据集中对任意状态动作对至少要包含一次，相当于确定性等价方法需要将环境模型保存下来，因此空间复杂度为 $O(|\mathcal{S}{|}^2|\mathcal{A}|)$。另外，确定性等价方法需要先采集好数据之后才能开始训练。

与之相反，基于值的表格类型方法，比如 Q-learning 和 SARSA 的方法只需要保存 Q 函数表格，因此空间复杂度为 $O(|\mathcal{S}||\mathcal{A}|)$；并且基于值的方法能够以在线的方式执行。另外，下面还将说明确定性分析方法的样本效率更高（但随着缓存池等技术的使用，model-based 和 value-based 方法之间区别就不是那么明显了）。

确定性等价方法分析

下面从弱到强分析确定性等价 RL 方法的三个结论。为方便起见，假设每个状态动作对都采集固定次数。

首先，对确定性等价进行朴素分析，提出第一个界限。直观上，当采集到的样本数量 $n$ 足够大，那么就能评估出足够真实的环境模型 $\hat{P}\approx P$ 以及 $\hat{R}\approx R$。回顾上一章的霍夫丁不等式，存在至少 $1-\delta$ 的概率，使得：
$$\begin{gathered} \underset{s,a,s^{\prime }}{\max }|\hat{P}(s^{\prime }|s,a)-P(s^{\prime }|s,a)|\le \sqrt{\frac{1}{2n}\log \frac{4|\mathcal{S}\times \mathcal{A}\times \mathcal{S}|}{\delta }} \\ \underset{s,a}{\max }|\hat{R}(s,a)-R(s,a)|\le R_{\text{max}}\sqrt{\frac{1}{2n}\log \frac{4|\mathcal{S}\times \mathcal{A}|}{\delta }} \end{gathered}$$

在朴素分析阶段，为了简化问题，假设各个状态转移和各个状态下获得的奖励都是独立的互不影响的，因此可以将评估错误的概率 $\delta$ 平均分到评估状态转移函数和评估奖励函数两个事件中。对于状态转移函数，将 $\frac{\delta }{2}$ 平均分到评估各个三元组 $(s,a,s^{\prime })$ 事件中；而对于奖励函数，将 $\frac{\delta }{2}$ 平均分到评估各个状态动作对 $(s,a)$ 事件中。此时可将上面的状态转移函数误差界限转换为：
$$\begin{array}{rl}& \\ \underset{s,a}{\max }\parallel \hat{P}(s,a)-P(s,a){\parallel }_1& \le \underset{s,a}{\max }|\mathcal{S}|\cdot \parallel \hat{P}(s,a)-P(s,a){\parallel }_{\infty }\\ & \le |\mathcal{S}|\cdot \sqrt{\frac{1}{2n}\log \frac{4|\mathcal{S}\times \mathcal{A}\times \mathcal{S}|}{\delta }}\end{array}$$

其中，有 $\parallel x{\parallel }_1={\sum }_{i=1}^n|x_i|\le {\sum }_{i=1}^n{\max }_j|x_j|=n\parallel x{\parallel }_{\infty }$。注意 ${\max }_{s,a,s^{\prime }}|\hat{P}(s^{\prime }|s,a)-P(s^{\prime }|s,a)|$ 是指对每个三元组 $(s,a,s^{\prime })$ 的转移概率之间的差都有这个误差界限，而 ${\max }_{s,a}\parallel \hat{P}(s,a)-P(s,a){\parallel }_1$ 是指对于每个 $(s,a)$ 产生的下一个状态（共 $|\mathcal{S}|$ 个下一个状态）的转移分布之间的差都有这个误差界限。

为了求出根据评估的环境模型得到的最优策略 ${\pi }_{\hat{M}}^{\ast }$ 与真实最优策略之间的界限。下面先介绍 Simulation 引理：如果 ${\max }_{s,a}|\hat{R}(s,a)-R(s,a)|\le {ϵ}_R$ 且 ${\max }_{s,a}\parallel \hat{P}(s,a)-P(s,a){\parallel }_1\le {ϵ}_P$，则对于任意策略 $\pi$，有：
$$\parallel V_{\hat{M}}^{\pi }-V_M^{\pi }{\parallel }^{}$$