Non-local Neural Networks
CSDN上的一个 pytorch implementation
Comments on Non-local NN
- Non-local NN 文章指出NLP中的attention module是non-local operation的一个特例。
- Non-local layer对于识别、分类、分割和姿态估计等问题的性能提升所起到的作用是决定性的。实现non-local 操作的不同结构对于性能影响不明显。
Correction to Non-local NN:
Yunzhe Tao, Qi Sun, Qiang Du, Wei Liu. Nonlocal Neural Networks, Nonlocal Diffusion and Nonlocal Modeling. NeurIPS 2018: 494-504.
- 原始Non-local NN结构不稳定， 不能添加过多的nonlocal layer
- 上面这篇文章提供了一个修正的模型，可以堆叠多个nonlocal layer