一马尔可夫决策问题 - 悦读

一马尔可夫决策问题

1.在解释马尔可夫决策问题之前，我们首先应该知道马尔可夫过程（Markov Process），简单理解就是未来的行为只取决于现在的状态，而与之前的状态无关。设 S_t 是t时刻的状态，那么当满足条件：

$p[S_{t+1}|S_t]=p[S_{t+1}|S_1,S_2,...,S_t]$ 时，我们说状态 S_t 具有马尔可夫性质。

我们讨论一个简单问题时，状态的数目是有限的，不妨设为n个。从而给出状态转移矩阵的定义：

$P_{ss'}=P[S_{t+1}=S'|S_t=s$ ,这个矩阵中的元素aij的值代表从从状态i到状态j的概率。

2.基于马尔可夫过程，我们引入奖励 $\large R$ （reward）和折扣因子 $\large \gamma$ ，问题定义为一个tuple $\large <S,P,R,\gamma>$ ,在状态s时，我们可以收获的奖励为 $\large R_s=E[R_{t+1}|S_t=s]$ .此处 $R_{t+1}$ 表示可到达的下一个状态的奖励之和 $\gamma$ 的作用为了能够使得问题能够收敛。从而我们可以知道在某一个状态可以得到的奖励 $G_t=R_{t+1}+\gamma R_{t+2}+...,t\in S$

3.在此之前，我们都没有考虑在某一个状态时如何采取行动，显而易见，在特定的一个状态，可以采取的动作是多样的且有限的，因此我们引入一个新的元素，活动集A，从而引出马尔科夫决策问题tuple $<S,P,A,R,\gamma>$ .

此时，我们有 $p_{ss'}^a$ 表示在状态s采取动作a到达状态s'的概率， R_s^a 表示在状态s下采用动作a能够获得的奖励。

我们给定某一个策略 $\pi$ ,从而 $\pi(a|s)$ 表示在状态s下采用动作a的概率。我们给出状态值函数：

$\large {\color{Red} V_\pi(s)=E_\pi[\sum_{k=0}^{\infty }\gamma^k R_{t+k+1}|S_t=s]}$

动作值函数：

$\large {\color{Red} q_\pi(s,a)=E_\pi[\sum_{k=0}^{\infty }\gamma^k R_{t+k+1}|S_t=s,A_t=a]}$

基于上面的两个式子，我们给出贝尔曼方程：

$\large V(s)=E[G_t|S_t=s]=E[R_{t+1}+\gamma R_{t+2}+...|S_t=s]$

$\large =E[R_{t+1}+\gamma G_{t+1}|S_t=s]=E[R_{t+1}+\gamma V(S_{t+1})|S_t=s]$

同样的，我们可以得到 $\large q_\pi(s,a)=E[R_{t+1}+\gamma q_\pi(S_{t+1},A_{t+1})|S_t=s,A_t=a]$

在这个图中，我们简单的往前看两步，可以看到， $\large V_\pi(s)=\sum _{a\in A}\pi(a|s) q_\pi(s,a)$ ， $\large q_\pi(s,a)=R_s^a+\gamma \sum_{s'}p_{ss'}^aV_\pi(s')$

将后者带入前式可以得到 $\large V_\pi(s)=\sum _{a\in A}\pi(a|s)}(R_s^a+\gamma \sum_{s'}p_{ss'}^aV_\pi(s'))=r+\gamma P_{ss'}V_\pi(s')$ .此处的V，r都是列向量

$\large P_{ss'}$ 则是状态转移矩阵。我们将这个式子移项可得 $\large v=(E-\gamma P_{ss'})^{-1}r$ 。

通过以上的方法，我们可以计算出每个状态的值函数，我们的任务是在问题中找到某一条路径，使得最后收获的值函数收获最大

参考文献：

《深入浅出强化学习-原理入门》，郭宪，方勇纯编著，电子工业出版社，2018.1

悦读

道可道，非常道；名可名，非常名。无名，天地之始，有名，万物之母。故常无欲，以观其妙，常有欲，以观其徼。此两者，同出而异名，同谓之玄，玄之又玄，众妙之门。

C语言学习1.2

最新CTF盲水印工具：Blind-WaterMark安装_盲水印ctf(1)，全网最新

【内网渗透】MSF渗透阶段的常用指令笔记

（转）JS禁止浏览器后退键

ps证件照白底换蓝底_更高效精细的证件照换背景色，换色不求人

什么是平台无关性，Java是如何做到平台无关的

一些常用的ffmpeg命令

GoogleMap在js中的应用

2024年 vue3 使用wow.js

2023年MathorCup数学建模A题量子计算机在信用评分卡组合优化中的应用解题全过程文档加程序

;