多元化规范的 时空关注 用于基于视频的行人重识别
时空注意力模型:自动的发现那些具有判别性区域的身体部分
网络使用多个空间注意力模型,并使用多样化的正则化项,来使得各个空间注意力模型学习的身体部分不同
本文:使用多个空间注意力模型来确定这些判别性区域,再使用时序注意力模型来加权池化这些判别性区域
一、Restricted Random Sampling
类似Temporal segment network的原理
该方法能够利用整个视频序列的视觉信息、避免帧与帧之间过于冗余
作者将视频序列按照相等时间分为N个块,每个块中随机选择1张图片
实验中作者提到N=6,实际上也就是从视频序列中选择6张图片。(mars这个库最少只有6张图片)。
如果全部利用所有的帧,会因为有很多质量不好的图片(遮挡,光照等因素)对我们学习出来的特征影响很大。
所以作者每个序列只选取了部分帧,通过空间注意力实现空间对齐,然后使用时序注意力模型来计算融合后的特征表达
二、Multiple Spatial Attention Models
使用多个空间注意力模型,希望不同的模型能够找到不同的具有判别性区域的