深度学习和自然语言处理的交叉在实际任务中取得了惊人的成功。语音识别是深度学习深刻影响的第一个工业 NLP 应用。随着大规模训练数据变得可用，深度神经网络实现了比传统经验方法低得多的识别误差。深度学习在 NLP 领域的另一个成功应用是机器翻译。使用神经网络对人类语言之间的映射进行建模的端到端神经机器翻译已经证明可以大大提高翻译质量。因此，神经机器翻译已迅速成为大型科技公司（谷歌、微软、Facebook、百度等）提供的主要商业在线翻译服务的新技术。NLP 的许多其他领域，包括语言理解和对话、词法分析和解析、知识图谱、信息检索、文本问答、社交计算、语言生成和文本情感分析，也通过深度学习取得了很大的进步，掀起了 NLP 发展的第三次浪潮。如今，深度学习是应用于几乎所有 NLP 任务的主导方法。

作者对三大浪潮分析得出的结论是：当前的深度学习技术是从前两大浪潮发展的 NLP 技术在概念和范式上的革命。这场革命的关键支柱包括语言实体（子词、单词、短语、句子、段落、文档等）的分布式表示，通过嵌入、嵌入的语义泛化、语言的长跨深度序列建模、有效地表示从低到高的语言水平的分层网络以及端到端的深度学习方法，来共同完成许多 NLP 任务。在深度学习浪潮之前，这些都不可能，不仅是因为在之前的浪潮中缺乏大数据和强大的计算，而且同样重要的是，近年来我们错过了正确的框架，直到深度学习范式出现。

这本书的主要目的是综述深度学习在 NLP 领域的近期前沿应用。本书会展示当前最佳的 NLP 为中心的深度学习研究，并聚焦于探讨深度学习在主要的 NLP 应用中发挥的作用，包括口语理解、对话系统、词法分析、语法分析、知识图谱、机器翻译、问答、情感分析、社交计算和从图像生成自然语言。本书适用于有计算机技术背景的读者，包括硕士生、博士生、博士后研究员、教学者和产业界研究者，以及任何想快速了解 NLP 深度学习最新进展的读者。

本书由全球知名的 Deep Learning 和 NLP 专家邓力博士领导国内外一批活跃的 NLP 研究人员撰写，全面介绍了深度学习如何解决 NLP 中的基本问题，并汇总了大多数深度学习方法应用于 NLP 领域的最新进展（包括 2017 下半年的最新研究进展）。

本书第一章首先回顾了 NLP 的基础知识以及本书后续章节所涵盖的 NLP 的主要范围，然后深入探讨了 NLP 的历史发展，总结为三大浪潮和未来方向。第 2-10 章对应用于 NLP 的深度学习最新进展进行了深入研究，分为九个单独的章节，每个章节涵盖 NLP 的一个（很大程度上是独立的）应用领域。每章的主体由在各自领域积极工作的主要研究人员和专家撰写。

目录如下：

Chapter 1: 深度学习与自然语言简介（邓力，刘洋）

Chapter 2: 对话理解系统中的深度学习（Gokhan Tur, Asli Celikyilmaz，何晓冬，Dilek Hakkani-Tür, 邓力）

Chapter 3: 语音与文本对话系统中的深度学习（Asli Celikyilmaz, 邓力, and Dilek Hakkani-Tür）

Chapter 4: 语法与词法分析中的深度学习（车万翔 张岳）

Chapter 5: 知识图谱中的深度学习（刘知远，韩先培）

Chapter 6: 机器学习中的深度学习（刘洋，张家俊）

Chapter 7: 问答系统中的深度学习（刘康，冯岩松）

Chapter 8: 情感分析中的深度学习（唐都钰，张梅山）

Chapter 9: 社交计算中的深度学习（赵鑫，李晨亮）

Chapter 10: 看图说话中的深度学习（何晓冬，邓力）

Chapter 11: 后记（邓力，刘洋）

在调查了应用深度学习的 NLP 领域的突出成功之后，作者指出并分析了当前深度学习技术的几个主要局限性，涉及一般以及更具体的 NLP 领域。这项调查为 NLP 指出了五个未来的前沿发展方向：神经 - 符号整合框架、探索更好的记忆模型、更好地利用知识，以及更好的深度学习范式（包括无监督和生成学习、多模态和多任务学习和元学习）。

整本书共有 11 章，包含了深度学习在 NLP 中各个领域的研究与应用，并且在全书的最后一部分，作者们讨论了基于 DL 的 NLP 如何扩展到更为通用领域。泛化的本质是将深度神经网络（如：参数化功能块的计算图表）从静态转为动态。这意味着泛化可以使由许多可微分模型组成的网络架构以数据相关的进行实时创建。正如本书很多章节中使用逻辑表达式、条件、赋值和循环等进行程序化编程，在可微分编程模型中，涉及到存储、注意、堆栈、队列和指针模块的深度神经网络架构亦如此实现。

实际上，当前的深度学习框架（如： PyTorch, TensorFlow, Chainer, MXNet, CNTK 等）更要追求模型的灵活性，因为一旦高效的编译器被开发出来，我们将需采用一个全新的软件实现。以循环和条件判断为主的传统编程逻辑将被淘汰，取而代之的是由神经网络实现的参数化功能模块的组装图表。其中的关键技术在于，基于模型的可微分性，使用高效的梯度优化方法，通过端到端的反向传播学习从数据中自动训练出组装图表中的所有参数，比如神经网络的权重以及定义网络非线性和存储模块的参数。

文章来源：《地质通报》 网址: http://www.dztbzz.cn/zonghexinwen/2022/1212/1324.html