利用自然语言处理NPL可以使人工智能工具与人类进行交流.doc

利用自然语言处理NPL可以使人工智能工具与人类进行交流现如今，在更多情况下，我们是以比特和字节为生，而不是依靠交换情感。我们使用一种称之为计算机的超级智能机器在互联网上进行交易和沟通。因此，我们觉得有必要让机器明白我们在说话时是如何对其进行理解的，并且试图用人工智能，一种称之为NLP自然语言处理技术为它们提供语言。作为一种研究结果，聊天机器人正在成为一种可靠的聊天工具，使用这种非人为依赖的智能工具与人类进行交流。我强烈的感受到：直到我们的机器学会了解行为和情绪，数据科学家和工程师的工作才完成了一半。与深度学习（ML学科领域）融合的NLP将对这种计算机语言的使用起到关键作用。什么是NLP这是一种人工智能方法，给定机器一些人类语言从而使得它们能够与人类进行沟通交流。它涉及使用NLP技术对书面语言进行智能分析，以获取对一组文本数据的见解，如：1.情绪分析2.信息提取和检索3.智能搜索等它是人工智能和计算语言学的交汇点，能够处理机器和人类自然语言之间的交互，即计算机需要对其进行分析、理解、改变或生成自然语言。NLP帮助计算机机器以各种形式使用自然人类语言进行交流，包括但不限于语音、印刷、写作和签名。NLP机器学习和深度学习：它们是如何连接的NLP与机器学习和深度学习密切相关，所有这些都是人工智能领域的分支，如下图所示：它是一个致力于使机器智能化的计算机科学领域。深度学习是一种流行的机器学习技术之一，如回归，K-means等。机器学习的类型很多，像无监督机器学习这样的经常用于NLP技术中，如LDA（潜在狄利克雷分布，一种主题模型算法）。为了能够执行任何一个NLP，我们需要深入理解人类使如何处理语言的情感和分析方面。还有各种各样像社交媒体这样的语言数据源，人们直接或间接地分享他们感受到的内容，而这必须通过使用NLP的机器进行智能分析。NLP机器需要建立一个人类推理系统，借助ML技术，它们可以自动执行NLP过程并对其进行扩展。简而言之，“深度学习与自然语言处理”是相互联系、相互依存的，以构建一个能够像人类一样思考、说话和行动的智能计算机。Meltwater Group的NLP专家John Rehling在自然语言处理是如何帮助揭示社交媒体情绪一文中说，“通过分析语言的含义，NLP系统扮演着非常重要的角色，如纠正语法，将语音转换为文本，以及在多语言之间自动翻译。”NLP如何工作理解NLP的工作原理是非常重要的，因为这样的话，我们就可以将NLP作为一个整体来理解。NLP一般有两个主要组成部分：1.NLU：自然语言理解2.NLG：自然语言生成让我们深入理解NLU自然语言理解：它涉及的是一种方法论，试图了解如何对馈送给计算机的自然语言赋予一定的相关意义。在开始时，计算机获得自然语言的输入（自然语言可以是任何语言，它们通过使用和重复在人类中自然进化，而不是有意识的计划或预谋，自然语言可以采用不同的形式，例如语音或签名）。计算机之后将它们转换成人工语言，如语音识别和/或语音转换文本。在这里我们把数据转换成一个文本形式， NLU过程来理解其中的含义。HMM：隐马尔可夫模型（NLU示例）它是一种统计语音识别模型，它可以在预先构建的数学技术的帮助下，将你的语音转换成文本，并试图推断出你所说的语言。它试图理解你所说的，通过将语音数据分解成一小段特定的时间段，大多数情况下时间是20-20 ms。这些数据集将进一步与预馈语音进行比较，从而进一步解读你在每个语音单位中所说的内容。这里的目的是找到音素（一个最小的语音单位）。然后，机器对一系列这样的音素进行观察，并统计了最可能说出的单词和句子。不仅如此，NLU会深刻理解每个单词，试图理解它是一个名词还是动词，什么是时态（过去或未来）等。这个过程被定义为POS：词性标注部分（Part Of Speech Tagging）。NLP具有内置的词典和一套与语法预编码相关的协议，这些协议被预编码到它们的系统中，并在处理自然语言数据集时使用它，从而在NLP系统处理人类语音时，编译所说的内容。NLP系统也有一个词典（词汇表）和一套编码到系统中的语法规则。现代NLP算法使用统计机器，学习将这些规则应用于自然语言，并推断所说话语背后最可能的含义。在考虑诸如具有多个含义的词语（多义词）或具有相似含义的词语（同义词）时，存在一些挑战，但软件开发者在他们的NLU系统中建立了自己的规则，可以通过适当的训练和学习来处理这类问题。自然语言生成：与第一阶段（NLU做了大量的努力以理解人类的话语）相比，NLG可以很容易的进行翻译工作，即将计算机的人工语言翻译为有意义的文本，并可以通过文字转语音（tex-to-speech）技术将其转化为可听语音。文本转语音（tex-to-speech）技术通过韵律模型（prosody model）来分析文本，从而确定语言的断句、长短和音调。然后，利用语音数据库，将记录的所有音素汇集在一起，形成一个连贯的语音串。简而言之，NLP采用NLU和NLG来处理人类自然语言，尤其是处理语音识别领域的人类自然语言，并试图将传递字符串或可听语言作为输出，来理解、编译并推断所说的内容。NLP在现代语境中的应用：在这个处于数字革命的电脑时代中，大部分任务需要由人类利用链接物联网的机器来完成。NLP在为媒体、出版、