一 核心思想

本篇文章提出非常新颖的检测方法，不同于以往的anchor-based的方法，CornerNet是基于一对关键点进行物体的检测的(文中讲的为2D检测方法，因此检测的为左上角和右下角两个点。)。除此之外，本文还提出corner pooling层，以便更好提取特征。具体算法步骤如下图所示：

 二 核心步骤

如上图所示，本文的创新点是提出使用一对关键点(也就是相对应的top-left heatmap和bottom-right heatmap)来检测出bounding box，而不是采用anchor-based的方法，为了将两个heatmap图进行相同bounding box的配对，给每个heatmap输出相应的embedding vector，只有分别位于embedding vector上的点的距离相同，才是对应的一对key point，这对点也就是对应一个object。

当然，本文的创新点还有corner pooling，不同的heatmap对应不同的corner pooling。

2.1 Detecting Corners 

1、Heatmaps

本部分对应的结构如上图所示，每一个heatmap的维度为，其中C表示预测的类别的个数，heatmap预测的是label scores。

不过需要注意的是，在训练过程中，作者不同于之前惩罚negative position，而是在positive position的半径内减少对negative position的惩罚。这是因为对于一对false corners detection，如果它们接近各自的ground truth位置，仍然可以产生一个足以重叠ground truth的框(如下图所示)。

 给定半径(这个半径的求法比较通用，也就不在此展开。)之后，使用Gaussian kernel来给出半径内的得分情况(Gaussian kernel为,其中心为positive location为给定的半径。)。

 对于heatmap的loss function，定义为:

 上述公式也就表示在location为（i，j）的第c个类别上，表示预测出的分数，表示该位置上的类别标签，N为一幅图像上的所有object的数量。也就是本文的改进之处，减少在半径内的negative的损失。

2、Embeddings

图像中可能出现多个目标，因此可能检测到多个左上角和右下角。我们需要确定左上角和右下角是否有一对来自同一个边界框。于是又增加一个网络分支预测每个corner point的嵌入向量，如果左上角和右下角属于同一个边界框，则对应的embeddings上的位置的值趋于相等(原文中说这个值为距离，也就变成了距离相等。维度为)。

然后，我们可以根据左上角和右下角嵌入之间的距离对这些corner point进行分组。Embeddings上的值并不重要。不同Embeddings上的值只是被用来分类corner point。

对于Embeddings的loss function，作者分为pull呵push两个部分，pull对应的是相同组的点的距离要更近，push对应的是不同组的点的距离要更远。

 其中，表示top-left corner of object k，表示bottom-right corner of object k；。在反向传播时，只计算ground truth corner location上的损失(也就是)。

3、Offsets

由于下采样的缘故，图像中的位置(x,y)被映射到heatmap中的位置，其中n是下采样因子。这种映射肯定会有损失，因此作者给出的一个分支专门预测offset。对于positive position处，标签为,反向传播时，loss function依然只计算positive position处。Loss function 为：

 2.2 Corner Pooling

 整个部分也就是上述图中的部分，具体结构见下图，也就是虚线框框起来的部分。

每一个heatmap有着不同的corner pooling层。

对于top-left corner pooling Module，首先有两个输入feature map，其宽高分别为W和H。如下图所示，如果对红色点(坐标为(i,j))做corner pooling的话，第一个feature map计算(i,j)到(i,H)的最大值；第二个feature map计算(i,j)到(i,W)的最大值，然后将二者相加得到这个红色点的初步特征。最后根据上述图进行特征的计算得到top-left corner pooling Module的特征。

对于bottom-right corner pooling Module，与上述相似，计算(0,j)到(i,j)的最大值和(i,0)到(i,j)的最大值，然后将二者相加得到这个红色点的初步特征。最后根据上述图进行特征的计算得到bottom-right corner pooling Module的特征。

下图是上述top-left corner pooling Module的一个例子。 

2.3 Hourglass Networks

这个地方暂时没有进行研究。

三 总结

在测试过程中，首先会利用3×3的max pooling层进行NMS操作，选择前100个top-left corner和100个bottom-right corner；计算top-left corner和bottom-right corner的embedding vector时使用L1 distances；对于一对corner点，如果距离大于0.5或者属于不同类别的目标，则不能构成一对；使用0填充图像而不是resize；最后使用soft-nms保存前100个预测结果。

本文创新性使用corner来代替anchor-based的检测方法，提高效率并且效果更佳。

参考文献

[1] Law H ,  Deng J . CornerNet: Detecting Objects as Paired Keypoints[J]. International Journal of Computer Vision, 2020, 128(3):642-656.