Pytorch深度学习-理论篇：矩阵运算

矩阵的运算，主要是矩阵求导

基础知识

标量导数

过于简单，不再赘述。

亚导数

将导数拓展到不可微的函数，就是亚导数。
比如$y=|x|$的亚导数：

还有$y=max(x,0)$的亚导数：

梯度

向量的导数一般称为梯度。

标量/标量

结果仍为标量，不赘述。

标量/向量

当$y$是标量，$x$是列向量时，求导的结果会转置为行向量。

如：

可以以该例来理解梯度的本质：
我们可以做出函数$x_1^2+2x_2^2$的等高线图，所谓梯度，就是在等高线作切线后，垂直与切线方向的值，它代表着该点处等高线变化最快的方向。

样例：

向量/标量

当$y$是列向量，$x$是标量时，求导的结果仍位列向量。

这种布局叫做分子布局符号，反过来即为分母布局符号。布局符号不是本教程重点，只要前后统一即可，仅作了解。

向量/向量

当$y$，$x$均是列向量时，求导的结果是一个矩阵。
可以先将一个向量拆分成若干标量，再逐个求导。

样例：

矩阵/矩阵