反向方程能够重复在所有组件中推广梯度值，从顶部（此网络产出预测的地方）开始，一直到底部（外部输入的地方）。一旦计算出这些梯度，就能很简单地算出每个组件权重的梯度了。
许多深度学习的应用都使用了反向神经网络架构，通过学习映射固定大小的输入到固定大小的输出（例如每个分类的可能性）。层与层之间每个单元能计算出来自上一层输入的加权和，并把结果传给非线年代末，神经网络以及反向算法被大多数机器学习研究团体所抛弃，并且计算机视觉和语音识别研究者们也普遍忽略了它。大家都认为用很少的先验知识是不可能得到有用的多阶特征提取器。
GPU）的发明使它得以在生产中得到应用，GPU极大方便了编程，让研究员能够以10到20倍的速度训练网络。
但是，在深度学习重新获得大众的青睐之后，似乎这种训练前算法只对小数据集有用。实际上，存在一种特定的深度反向网络比相邻层之间全连接的网络更加容易训练和应用。那就是卷积神经网络（ConvNet）。
当人们开始对神经网络失去信心时，卷积神经网络取得了许多实践层面上的成功，最近在计算机视觉领域大受欢迎。
卷积层中的单元有组织地出现在特图中，每个单元都通过一个叫做滤波器组的权值组与上一层地图中的局部补丁连接。同一层的不同特图使用不同的滤波器组。
由于图像的一个重要特点——可以在像素级别打上标签，卷积网络在图像上的应用可以在科技领域里发扬光大，包括自主式移动机器人以及自动驾驶车辆。
这个来源于GPU和ReLU的成就在计算视觉领域引发了一项。卷积神经网络现在几乎是所有识别和探测任务的主要方法，以及在一些人类行为分析的任务中也有应用。
RNN常具有优势的动态系统，当时训练这些系统常麻烦的，因为反向算法的梯度在每一时间步都有可能增长或降低，所以经过多次步骤之后，梯度会很明显的增长或消退。
神经图灵机器，它通过使用一个类似于磁带一样的存储器来进行增强，以方便RNN能够从中选择读取或者写入；或者通过一个
集合ConvNets和RNN两种方式，强化学习，精确决策“看哪儿”。集合了深度学习和强化学习的系统仍然在发展初期，但是它们在使用被动视觉系统中进行分类的任务完成上超出了预期，并且在电子游戏中表现出色。
自然语言理解是未来几年另一个机器学习蓄势待发的领域。我们期待着，通过使用RNN去理解句子或整个文档的过程能够变得更加容易，系统能够懂得如何一次选择一个部分进行理解。