目录
摘要
以前的基于深度学习的线段检测（LSD）在线段预测上存在巨大模型规模和高计算成本的问题。这限制了它们在计算资源受限的环境中实时推理的能力。在这篇论文中，我们提出了一种名为Mobile LSD (M-LSD)的实时轻量级线段检测器，专为资源受限的环境设计。我们通过最小化骨干网络并去除以往方法中的典型多模块处理过程，设计了一种极其高效的LSD架构。为了在保持竞争性能的同时实现轻量级网络，我们提出了新颖的训练方案：线段分割（SoL）增强、匹配和几何损失。SoL增强将线段分割成多个子部分，这些子部分在训练过程中用来提供辅助线数据。此外，匹配和几何损失使模型能够捕捉额外的几何线索。与之前最佳的实时LSD方法TP-LSD-Lite相比，我们的模型（M-LSD-tiny）在模型大小仅为其2.5%的情况下，实现了推理速度提升130.5%。此外，我们的模型在最新的Android和iPhone移动设备上分别运行于56.8 FPS和48.6 FPS。据我们所知，这是首个在移动设备上可用的实时深度LSD。我们的代码可以在以下地址获得。
1 引言
线段和交点是低层视觉中关键的视觉特征，为姿态估计（Přibyl, Zemčı́k, and Čadı́k 2017; Xu et al. 2016）、运动结构（Bartoli and Sturm 2005; Micusik and Wildenauer 2017）、3D重建（Denis, Elder, and Estrada 2008; Faugeras et al. 1992）、图像匹配（Xue et al