5种神经网络常见的求导！

主要观点总结

本文总结了神经网络中常见的5种求导方法，包括softmax、sigmoid、CNN、RNN和max pooling的导数求解，并附有详细的公式过程。文章介绍了这些求导方法在神经网络训练中的应用，以及如何通过backpropagation求解gradient。

关键观点总结

关键观点1: 神经网络中的求导方法

文章介绍了在神经网络中常见的5种求导方法，包括softmax、sigmoid、CNN、RNN和max pooling的导数求解，并详细阐述了它们的公式过程和在神经网络训练中的应用。

关键观点2: Backpropagation方法

Backpropagation是一种求解gradient的方法，在训练神经网络时，我们需要loss function对各参数的gradient，backpropagation就是根据链式法则求解gradient的一种方法。

关键观点3: 神经网络的正向和反向计算

在神经网络训练中，先进行正向计算得到神经网络的输出，然后根据链式法则进行反向计算，求得各层的gradient。