深度之眼（十八）——偏导数与矩阵的求导 - 悦读

深度之眼（十八）——偏导数与矩阵的求导

文章目录

一、偏导数
二、多元复合函数的求导法则，链式求导法则
三、方向导数与梯度及其应用
四、多元函数泰勒公式与海森炬阵
五、多元角数的极值
六、距阵的求导
七、矩阵的求导在深度学习中的应用

一、偏导数

在这里插入图片描述

对某个变量求偏导，则其余变量看成常数

在这里插入图片描述

可以直接认为成立，不必拘泥条件

二、多元复合函数的求导法则，链式求导法则

在这里插入图片描述

这里举了一个不错的技巧，可以看z到t有几条路径

对多元时求偏导的方法
比如对x求偏导，就看到x的路径，有几条，分别经过什么

在这里插入图片描述

关键是画准链式关系

三、方向导数与梯度及其应用

在这里插入图片描述

在这里插入图片描述

举例

在这里插入图片描述

在这里插入图片描述
梯度的正方向，是梯度增长最快的方向。
梯度的负方向，是梯度减小最快的方向

四、多元函数泰勒公式与海森炬阵

一般用到二阶

在这里插入图片描述

海森矩阵是个对称矩阵

五、多元角数的极值

在这里插入图片描述

六、距阵的求导

在这里插入图片描述

f(x)对其求偏导，就是个列向量，有几个变量，就有行
右值都是看成实数

在这里插入图片描述

解释之前的J

在这里插入图片描述

所以J对a求偏导等于0，过程在上面

在这里插入图片描述

七、矩阵的求导在深度学习中的应用

在这里插入图片描述

悦读

道可道，非常道；名可名，非常名。无名，天地之始，有名，万物之母。故常无欲，以观其妙，常有欲，以观其徼。此两者，同出而异名，同谓之玄，玄之又玄，众妙之门。

让美国最无可奈何的中国公司，拒付20亿天价罚款！一场血与泪的成长史！

useCallback别乱用! 性能优化也是有成本的.

【Linux】环境下部署MedicalGPT模型及成果展示

【数据库运维】MYSQL备份恢复管理（上）

北大核心期刊目录汇总（三）（第1版~第10版）

金融与大模型：引领行业未来的创新融合

论文笔记High-Resolution Encoder-Decoder Networks for Low-Contrast Medical Image Segmentation

httpServletRequest添加header

Ubuntu18.04安装教程

Docker超详细教程——入门篇+实战

;