【使用 BERT 的问答系统】第 1 章 ： 自然语言处理简介

     🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎

📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃

🎁欢迎各位→点赞👍 + 收藏⭐️ + 留言📝​

📣系列专栏 - 机器学习【ML】 自然语言处理【NLP】  深度学习【DL】

​

 🖍foreword

✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。

如果你对这个系列感兴趣的话，可以关注订阅哟👋

文章目录

自然语言处理

句子分割

Tokenization

词性标注

词干和词形还原

停止词的识别

短语提取

命名实体识别

共指消解

词袋

结论

随着最近技术的进步，通信是出现革命性发展的领域之一。通信和信息构成了现代社会的支柱，正是语言和通信导致了人类知识在各个领域的这种进步。人类一直对机器或机器人具有类似人类的能力来用我们的语言进行交谈的想法着迷。许多科幻书籍和媒体都讨论过这个话题。图灵测试就是为此目的而设计的，以测试人类是否能够破译通信通道另一端的实体是人还是机器。

对于计算机，我们从计算机可以解释的二进制语言开始，然后根据指令进行计算。然而，随着时间的推移，我们提出了过程语言和面向对象的语言，这些语言使用更自然的语言语法和指令，并且与人类交流的词语和方式相对应。此类构造的示例是 for 循环和 if 构造。

随着计算能力的提高和计算机处理大量数据的能力的提高，使用机器学习 (ML)和深度学习模型来理解人类语言变得更加容易。随着神经网络、递归神经网络 (RNN)和其他深度学习技术的普及以及运行这些模型的计算能力的可用，开发人员可以使用各种自然语言处理 (NLP)平台在云端和其他平台上工作前提。本章将带您了解 NLP 的基础知识。

自然语言处理

NLP 是人工智能(AI)的一个分支， 它使计算机能够阅读、理解和处理人类语言。计算机很容易从电子表格、数据库、JavaScript 对象表示法 (JSON) 文件等结构化系统中读取数据。然而，很多信息都表示为非结构化数据，这对计算机理解和生成知识或信息来说非常具有挑战性。为了解决这些问题，NLP 提供了一套技术或方法论阅读、处理和理解人类语言并从中产生知识。目前，包括 IBM、谷歌、微软、Facebook、OpenAI 等在内的众多公司一直在提供各种 NLP 技术作为服务。一些开源库，如 NLTK、spaCy 等，也是分解和理解语言文本背后含义的关键推动者。

众所周知，文本的处理和理解是一个非常复杂的问题。数据科学家、研究人员和开发人员一直在通过构建管道来解决 NLP 问题：将 NLP 问题分解成更小的部分；使用相应的 NLP 技术和 ML 方法（如实体识别、文档摘要等）解决每个子部分；最后将所有零件或模型组合或堆叠在一起作为问题的最终解决方案。

问答系统、机器翻译、命名实体识别 (NER)、文档摘要、词性 (POS) 标记和搜索引擎等系统是基于 NLP的系统的一些示例。

句子分割

早期的句子分割实现非常简单，只需根据标点符号或“句号”来分割文本。但是，当文档或一段文本格式不正确或语法不正确时，有时会失败。现在，有一些高级的 NLP 方法，例如序列学习，即使句号不存在或文档格式不正确，也能分割一段文本，基本上是通过使用语义理解和句法理解来分解文本来提取短语。

Tokenization

但是，有一些高级标记化方法，例如可以从句子中提取短语的马尔可夫链模型。例如，可以通过应用高级 ML 和 NLP 方法将“机器学习”提取为短语。

词性标注

从这些结果中我们可以看出，有各种名词（即Machine、learning、variety、computer和vision）。因此我们可以得出结论，该句子可能在谈论机器和计算机。

词干和词形还原

在这个结果中，一些词被表示为非字典词；例如，“machine”简化为“machin”，这是一个词干词而不是字典词。

在这些结果中，一些词，如“过滤”，被简化为它们的规范形式，在这种情况下是“过滤”，而不是“过滤”，因为“过滤”这个词在句子中被用作动词。

应根据要求谨慎使用词形还原和词干提取。例如，如果您正在使用搜索引擎系统，那么应该首选词干提取，但如果您正在处理问题回答，其中推理很重要，那么词形还原应该优先于词干提取。

停止词的识别

短语提取

从这两个词的定义可以很清楚地看出，我们的例句应该是在谈论某种机械装置和各种获取知识的媒介。但是，当这些词一起使用时（即“机器学习”），它指的是 AI 的一个分支，它涉及对计算机用于执行特定任务而无需明确编程的算法和统计模型进行科学研究。

为了提取短语，我们需要将多个单词组合在一起，或者识别短语。这里，短语可以分为两种类型，名词短语和动词短语。我们可以定义规则来从句子中提取短语。例如，要提取一个名词短语，我们可以定义这样一个规则：“一个句子中连续出现两次的名词应该被认为是一个名词短语。” 例如，短语“machine learning”在我们的例句中是一个名词短语。以类似的方式，我们可以定义更多的规则来从句子中提取名词短语和动词短语。

命名实体识别

实体被定义为对象或名词，例如人、组织或其他从文本中提供重要信息的对象。此信息可用作下游任务的特征。例如，Google、Microsoft 和 IBM 是Organization类型的实体。

NER 是一种信息提取技术，可根据训练模型将实体提取和分类。例如，英语中的一些基本类别是人名、组织、位置、日期、电子邮件地址、电话号码等。例如，在我们的示例句子中，“机器学习”和“计算机视觉”等短语是AI_Branch 类型的实体，它指的是 AI 的分支。

目前，IBM、谷歌、微软等人工智能领域的大型厂商都提供了经过训练的模型来从文本中提取命名实体。它们还使您能够构建自己的特定于您的应用程序和领域的 NER 模型。spaCy 等开源项目还提供了训练和使用您自己的自定义 NER 模型的能力。

共指消解

NLP 领域（尤其是英语）的主要挑战之一是代词的使用。在英语中，代词广泛用于指代先前上下文或句子中的名词。为了执行语义分析或识别这些句子之间的关系，系统应该以某种方式建立句子之间的依赖关系是非常重要的。

例如，考虑句子“它可以分为两种类型，即监督学习和非监督学习”，其中“它”在第一句和第二句中指的是机器学习。它可以通过在数据集中注释此类依赖关系以训练模型并在看不见的文本片段或文档上使用相同模型来提取此类关系来实现。

词袋

众所周知，计算机只处理数字数据；因此，要理解文本的含义，必须将其转换为数字形式。词袋是将文本转换为数字数据的方法之一。

还有其他方法可以减少以向量形式表示句子的计算和内存要求。词嵌入是我们可以在低维空间中表示词同时保留词的语义的方法之一。稍后我们将详细了解词嵌入如何成为下游 NLP 任务的重大突破。

结论

本章讨论了 NLP 的基础知识，以及一些基本的 NLP 任务，例如标记化、词干提取等。在下一章中，我们将讨论 NLP 领域中的神经网络。