MixFormer: End-to-End Tracking with Iterative Mixed Attention

论文代码

核心：用 transfrom 架构整合特征提取和特征融合

主流的跟踪框架分三步：特征提取、特征融合、预测头分类回归

其中特征融合是关键，下图展示了不同的融合方法。（摘自【VALSE 论文速览 - 68 期】MixFormer: 更加简洁的端到端单目标跟踪器）

最近的研究使用 transformer 进行融合，但仍然依赖 CNN 提取特征，这其中存在一些局限：

attention 只作用在高层抽象的特征表示空间，忽略了浅层特征；
CNN 对通用对象识别进行预训练，可能会忽略用于跟踪的更精细的结构信息；
CNN 的表征能力是局部的，缺乏长距离建模的能力

解决方案：

提出一个通用的 transformer 结构同时进行特征提取和特征融合。

具有如下好处:

使特征提取更具体到相应的跟踪目标，并捕获更多目标特定的判别特征；
让目标信息更 extensive 的融合进搜索区域；
结构更加紧凑简洁。

主要创新点：

提出了 MAM 模块，应用 attnetion 机制同时进行特征提取与信息交互
提出 SPM 模块进行模板更新

Method

网络整体框架如图 3 所示，包括两部分：模板和搜索图像经过基于 mixed attention module (MAM) 的 backbone 进行特征提取和融合，再通过预测头输出结果。backbone 部分包含 3 个 stage，每个 stage 输入特征首先经过 patch embedding 变成一系列 token，然后送入 MAM 模块提取并融合特征。预测头部分直接将融合后的搜索区域的 token 输入进行预测。

Mixed Attention Module (MAM)

本文的核心模块 MAM，目的是同时提取并融合模板和搜索图像的特征，因此设计了 dual attention 分别用于二者。具体来说，MAM 输入模板和搜索特征拼接成的 token 序列，首先会将输入分开并 reshape 成二维的模板和搜索特征，经过 3×3 DW 卷积编码局部上下文和线性映射生成 q，k，v 后，同时进行 self-attention 和 cross-attention。

注意 MAM 是一个非对称的 attention，删去了 target-to-search 的 cross-attention。如图 2 所示，模板的 q 只会和模板自己的 k，v 计算 attention（黄色虚线）；而搜索图的 q 会同时和模板和搜索图的 k，v 计算 attention（蓝色虚线）。用公式表达为：

这样做可以使得模板的 token 在跟踪过程中保持不变，避免被动态的搜索区域影响。为后续引入多个在线模板做铺垫，无需每帧重新计算模板 token。

Localization Head

采用类似 stark 的角点预测模式。作者也额外尝试了类似 detr 的采用一个 query 进行预测的方式。均无需后处理。

Template Online Update

在线更新模板能够很好的利用时序信息处理一些形变和外观变化，然而低质量的更新模板可能使得结果变差。本文设计了一个 score prediction module (SPM)，根据预测置信度得分来选择可靠的在线模板，如图 4 所示。

SPM 由两个 attention 和一个三层的 MLP 组成，该模块接在 backbone 最后一个 stage 后，和预测头是并行的。首先输入一个可学习的 score token，与 search ROI token 计算 attention，对搜索图中挖掘的目标信息进行编码。然后将 score token 与第一帧的模板 token 做 attention，隐式地将挖掘的目标与初始目标进行比较。最后过一个 MLP 预测出置信度得分，小于 0.5 判断为不可靠。

Training and Inference

作者设计了两种网络架构 MixFormer 和 MixFormer-L ，分别基于 CVT-21 和 CVT24-W，也就是说可以使用 CVT 在 Imagenet 上预训练的权重来初始化 backbone（虽然原始的 CVT 并没有两个输入，计算 attention 的方式也不一样，但是每个 block 的参数是一样的）。