https://www.bilibili.com/video/BV1KA411N7Px/?spm_id_from=trigger_reload
对于计算复杂度来说，正向传播和反向传播都是O(n)。
但是内存复杂度来说，反向传播因为需要保留正向传播时所有的中间结果，所以需要O(n) ,这也是神经网络特别耗GPU资源（爆显存）的祸源。
正向传播内存复杂度为O(1),但每计算一个变量的梯度都要扫一遍。
反向传播从根节点向下扫，可以保证每个节点只扫一次（在计算一个变量梯度时不用管同层的其他变量）；正向传播从叶子节点向上扫，会导致上层节点可能会计算多次。
（正向中子节点比父节点先计算，因此也无法像反向那样把本节点的计算结果传给每一个子节点）
对于计算复杂度来说，正向传播和反向传播都是O(n)。
但是内存复杂度来说，反向传播因为需要保留正向传播时所有的中间结果，所以需要O(n) ,这也是神经网络特别耗GPU资源（爆显存）的祸源。
正向传播内存复杂度为O(1),但每计算一个变量的梯度都要扫一遍。
反向传播从根节点向下扫，可以保证每个节点只扫一次（在计算一个变量梯度时不用管同层的其他变量）；正向传播从叶子节点向上扫，会导致上层节点可能会计算多次。
（正向中子节点比父节点先计算，因此也无法像反向那样把本节点的计算结果传给每一个子节点）
道可道，非常道；名可名，非常名。 无名，天地之始，有名，万物之母。 故常无欲，以观其妙，常有欲，以观其徼。 此两者，同出而异名，同谓之玄，玄之又玄，众妙之门。