自 2012 年大学 Alex Krizhevsky 等人提出 AlexNet 以来，「深度学习」作为一种机器学习的强大方法逐渐引发了今天的 AI 热潮。随着这种技术被应用到各种不同领域，人们已经开发出了大量新模型与架构，以至于我们无清网络类型之间的关系。近日，来自 University of Dayton 的研究者们对深度学习近年来的发展历程进行了全面的梳理与总结，并指出了目前人们面临的主要技术挑战。机器觉得这是一份非常详细的综述论文，既适合从零开始了解深度学习的人，又适合有基础的学习者。
近年来，深度学习作为机器学习的新分支，其应用在多个领域取得巨大成功，并一直在快速发展，不断开创新的应用模式，创造新机会。深度学习方法根据训练数据是否拥有标记信息被划分为监督学习、半监督学习和无监督学习。实验结果显示了上述方法在图像处理、计算机视觉、语音识别、机器翻译、艺术、医学成像、医疗信息处理、机器人控制和生物、自然语言处理（NLP）、网络安全等领域的最新。本报告简要概述了深度学习方法的发展，包括深度神经网络（DNN）、卷积神经网络（CNN）、循环神经网络（RNN）（包括长短期记忆（LSTM）和门控循环单元（GRU））、自 编码器（AE）、深度网络（DBN），生成对抗网络（GAN）和深度强化学习（DRL）。此外，本文也涵盖了深度学习方法前沿发展和高级变体深度学习技术。此外，深度学习方法在各个应用领域进行的探索和评估也包含在本次调查中。我们还会谈到最新开发的框架、SDK 和用于评估深度学习方法的基准数据集。然而，这些论文并没有讨论某些大型深度学习模型和最新开发的生成模型方法 [1]。
自 20 世纪 50 年代以来，作为人工智能子领域的机器学习已经开始革新若干个领域，而诞生自机器学习的深度学习实现了迄今为止最大的原创性突破，几乎在每个应用领域取得了显著成功。图 1 给出了 AI 的谱系。深度学习（学习或分层学习方法的深层架构）是从 2006 年兴起的一类机器学习技术。在深度学习中，学习即是评估模型参数，使学习模型（算法）可执行特定任务。例如，在人工神经网络（ANN）中，参数是权重矩阵。另一方面，深度学习在输入层和输出层之间包含若干个隐层，使得不同阶段的非线性处理单元具有层级结构，以用于特征学习和模式分类 [1, 2]。基于数据表征的学习方法也被称为表征学习 [3]。根据最新文献，基于深度学习的表征学习涉及特征或概念的层次结构，其中高级概念可以从低级概念定义，低级概念可以从高级概念定义。在一些文章中，深度学习也被描述为一种通用学习方法，可以解决不同应用领域的几乎所有问题（不局限于特定任务）[4]。