由于以前写的关于冻结层的博客不够详细,给很多读者造成困惑。为补充关于冻结层,训练多个loss的博客,遂给出更详细的过程。
简述
这里我简单的以两个阶段为例,讲解tensorflow框架下,存在两个阶段,每个阶段分别都有一个loss时,如何分步网络。如下图所示,也就是训练这种存在两个阶段的网络和两个loss的网络。
训练这种网络的方式很多。
训练方式一(整体训练)
首先计算总的loss
l o s s t o t a l = λ 1 ∗ l o s s 1 + λ 2 ∗ l o s s 2 loss_{total} = \lambda_1*loss1+\lambda_2*loss2 losstotal=λ1∗loss1+λ2∗loss2
合适选择权重参数 λ 1 \lambda_1 λ