Graph Wavenet 学习笔记

论文链接https://arxiv.org/pdf/1906.00121.pdf

当前研究的limitation

1. 现有方法主要捕捉了固定的空间关系，这种空间关系是预先被决定的。但是这种图关系不一定反映了真正的依赖。
2. RNN，CNN对long-range的时间关系不能进行正确的捕捉。

文章的主要贡献

1. construct a self-adaptive adjacency matrix which
   preserves hidden spatial dependencies 用自适应的矩阵描述了空间的依赖关系
2. present an effective and efficient framework to capture spatial-temporal dependencies simultaneously 能够同时捕获时空关系

采用的方法

图卷积层

a diffusion convolution layer

用于捕捉predefined graph dependency
https://zhuanlan.zhihu.com/p/76669259
针对无向图，求和公式如下
$$\sum _{k=0}^K{p}^{k}X{W}_k$$
$p^k$表示的其实就是一个转移的概率矩阵，$p$是接邻矩阵$A/rowsum(A)$，$p$中第$(i,j)$个元素表示由$i$向$j$转移的概率，那么$p^k$就表示的是通过$k$步转移的概率。那么这里求和就表示的是通过$0$到$k$步转移的能到达的点的特征由概率进行加权和。

self-adaptive adjacency matrix

用于捕捉hidden graph dependency
$${\overline{A}}_{apt}=SoftMax(ReLU(E_1{E}_2^T))$$
$E_1$表示source node embedding，$E_2$表示target node embedding。两者乘积表征的是spatial dependency weights，$ReLU$用于消除弱的关系，$SoftMax$用于normalize。

时间上的卷积网络

dilated casual convolution

这里推荐一篇很好的博文https://www.zhihu.com/question/54149221讲如何理解空洞卷积。为什么需要空洞卷积呢？空洞卷积主要针对需要感受野很大的数据，例如这儿的语音数据就是需要分析较长的sequence。

Gating mechanisms

$g$是激活函数，$\sigma$是 sigmoid 函数，表示了控制传入下一层的特征。

总体网络的设计