【知识图谱系列】知识图谱多跳推理之强化学习

作者：CHEONG

公众号：AI机器学习与知识图谱

研究方向：自然语言处理与知识图谱

本文分享一篇将强化学习应用在知识图谱多跳推理任务的汇报ppt，简要概述基本概念并推荐几篇近期的优秀论文，介绍其核心思想，完整汇报ppt获取请关注公众号回复关键字：知识图谱强化学习

一、背景知识

1、知识图谱：知识图谱是异质图Heterogeneous Graph，图中含有多种关系类型，一组事实（head entity, relation, tail entity）就代表图中的一个三元组；

2、知识图谱推理：知识图谱通常是不完整的，很多事实是缺失的，知识图谱上的一个基本任务便是预测缺失的事实（实体或关系），因此便需要根据已有事实进行推理Reasoning on Knowledge Graphs。

3、知识图谱多跳推理：知识图谱多跳推理应用场景例如：在智能问答系统中，需要通过知识图谱上的多条边进行推理才能得到正确答案，因此多跳推理便至关重要。当前较多的知识图谱多跳推理模型通常是采样序列决策的思路，即从问题中先通过NER等技术抽取实体，然后再在知识图谱中学习如何进行实体间的联系进行相应推理；

4、知识图谱嵌入技术：知识图谱表征学习是进行知识图谱补全，发现缺失事实的有效方法，之前文章中也介绍了很多知识图谱表示学习的方法【知识图谱系列】知识图谱表示学习综述 | 近30篇优秀论文串讲，【知识图谱系列】异质|多关系知识图谱表示学习综述，即将知识图谱中所有实体和关系嵌入到连续向量空间中进行相关依赖学习，但知识图谱嵌入技术通常缺少可解释性；

5、强化学习框架：强化学习需要关注五个要素：

（1）环境Environment：在知识图谱多跳推理任务中环境指的就是一个知识图谱

（2）状态State：比如当前已经遍历过的一个子图；

（3）动作Action：比如选择一个节点或选择一个关系进行path扩展；

（4）转换Transition：采取了某一个动作后，状态发生了变化，直到达到定义的推理终点；

（5）奖励Reward：根据选择的动作是否有效，以及一系列动作是否能够走到终点给予奖赏。

6、强化学习应用到知识图谱多跳推理：多跳推理的任务便是为了找到实体以及关系之间的可靠的预测路径，而强化学习便是将知识图谱多跳推理建模成马尔科夫序列决策过程，通过强化学习不仅提高序列/路径预测的准确性，同时提高了结果的可解释性。

7、四篇优秀论文：

（1）Go for a walk and Arrive at the answer Reasoning Over Paths in Knowledge bases using Reinforcement Learning（ICLR 2018）

（2）Multi-hop Knowledge Graph Reasoning with Reward Shaping（EMNLP 2018）

（3）Dynamic Anticipation and Completion for Multi-hop Reasoning over Sparse Knowledge Graph（EMNLP 2020）

（4）DeepPath：A Reinforcement Learning Method for Knowledge Graph（EMNLP 2017）