1 算法流程
采用关键点检测+实例分割的思想,完成对车道线点位置的定位,以及每个检测点属于哪个车道线示例。共包含三个检测头:
1. 检测头
1.1 Confidence Branch
预测每一个grid_ceil里车道线点存在的置信度
1.2 Offset Branch
预测车道线点因下采样造成的中心点偏移量
1.3 Feature Branch
约束属于同一实例的车道线点具有相似的feature,从而使网络能够得到车道线实例
2 标签制作
主要包括关键点标签制作+实例分割标签制作
2.1 确定heatmap中是否存在车道线点,以及点的偏移量offset
def make_ground_truth_point(self, target_lanes, target_h):
target_lanes, target_h = util.sort_batch_along_y(target_lanes, target_h)
# GT:[8, 3, 32, 64]
ground = np.zeros((len(target_lanes), 3, self.p.grid_y, self.p.grid_x))
ground_binary = np.zeros((len(target_lanes), 1, self.p.grid_y, self.p.grid_x))
for batch_index, batch in enumerate(target_lanes):
for lane_index, lane in enumerate(batch):
for point_index, point in enumerate(lane):
if point > 0:
x_index = int(point/self.p.resize_ratio)
y_index = int(target_h[batch_index][lane_index][point_index]/self.p.resize_ratio)
ground[batch_index][0][y_index][x_index] = 1.0 # 该位置存在关键点
ground[batch_index][1][y_index][x_index]= (point * 1.0 / self.p.resize_ratio) - x_index # x的偏移量
ground[batch_index][2][y_index][x_index] = (target_h[batch_index][lane_index][point_index] * 1.0 / self.p.resize_ratio) - y_index # y的偏移量
ground_binary[batch_index][0][y_index][x_index] = 1
return ground, ground_binary
2.2 实例分割标签制作
①. 生成[b,c,wh, wh]维度的相似性矩阵
②. 根据点和点之间的实例关系、类别关系生成相似性矩阵的GT,其中相同实例,相同类别标签为1,不同实例,相同类别标签为2,不同实例,不同类别标签为3。
for i in range(self.p.grid_y * self.p.grid_x): #make gt
temp = temp[temp > -1]
gt_one = deepcopy(temp)
if temp[i] > 0:
gt_one[temp==temp[i]] = 1 #same instance, temp中和temp
if temp[i] == 0:
gt_one[temp!=temp[i]] = 3 #different instance, different class
else:
gt_one[temp!=temp[i]] = 2 #different instance, same class
gt_one[temp==0] = 3 #different instance, different class
ground[batch_index][0][i] += gt_one
3 损失函数
①. heatmap损失是否存在关键点:MSE —优化:BCE or focal loss
②. offset损失:MSE —优化:BCE
③. instance损失:MSE
cij = 1, 约束相同类别、相同实例的点越接近。
cij = 2, 约束相同类别、不同实例的点越远离。
4 推理阶段
①. 根据关键点检测与offset还原不同车道线点的位置
②. 利用instance branch的结果计算点与点之间的L2距离,由于instance branch 保证了相同实例的特征点距离较近,通过阈值筛选,可以获得相同实例的车道线点。
5 优化措施:
①. 根据车型,裁减了y>300的背景像素,提升有效分辨率
②. 利用斜率对相同车道线的点、远距离的车道线进行了加权强化学习
③. 将原始的关键点类别损失替换为focal loss,offset 损失替换为BCE