损失函数只是帮助网络算出一个误差的数值,然后反向求导算出误差对所有网络层权重参数的梯度,梯度下降对所有带参数的网络层进行参数更新。一般损失函数并不像BN、Conv等网络层有参数,不需要去存储参数和维护状态信息,直接用nn.functional里面的函数(例如F.mse_loss)或者实例化nn.L1Loss()类做计算就可以。
损失函数只是帮助网络算出一个误差的数值,然后反向求导算出误差对所有网络层权重参数的梯度,梯度下降对所有带参数的网络层进行参数更新。一般损失函数并不像BN、Conv等网络层有参数,不需要去存储参数和维护状态信息,直接用nn.functional里面的函数(例如F.mse_loss)或者实例化nn.L1Loss()类做计算就可以。
道可道,非常道;名可名,非常名。 无名,天地之始,有名,万物之母。 故常无欲,以观其妙,常有欲,以观其徼。 此两者,同出而异名,同谓之玄,玄之又玄,众妙之门。