语言类型学

当支持多种语言时，管理复杂性的一种方法是确定预期语言之间的共性。例如，如果您只处理西欧语言，您知道您只需要考虑拉丁字母及其扩展。此外，您知道所有语言都是融合语言，因此词干化或词形还原将起作用。他们也有类似的语法性别系统：男性、女性，也许还有无生命的中性。

让我们看一个假设的场景。

场景：学术论文分类

在这种情况下，您的输入将是文本文档、PDF 文档或文本文档的扫描件。输出应该是带有文本、标题和标签的 JSON 文档。您将接受作为输入的语言是英语、法语、德语和俄语。您已经标记了数据，但它仅来自最近五年的文章。这是出版商开始要求在提交期间标记文章的时候。最初的分类可以是部门级别的——例如，数学、生物学或物理学。但是，我们需要有一个支持子学科的计划。

首先，我们应该考虑不同的输入格式。我们需要有用于将图像和 PDF 文档转换为文本的 OCR 模型。我们在第 16 章看到我们可以为此使用 Tesseract 等工具。如果找不到满意的模型，我们可以使用文本文件创建训练数据集。一些扫描的文档会有问题。例如，文档可能没有很好地与扫描床对齐，因此文本会倾斜。该文件可能已经过时并且文本已被侵蚀。我们的模型需要适应这一点。因此，我们需要找到某种方法来生成腐蚀和倾斜的文本以支持扫描的文档。我们可以转录一些文件，但这是非常耗费人力的。您尝试通过将转录过程分成几部分来简化转录过程。转录的另一个复杂之处是，如果您使用不懂语言的转录员，他们将更容易出错。

其次，我们要考虑分类任务。对于初始模型，我们可能会使用词汇特征和简单的线性分类器。仅使用关键字在部门级别分离论文是非常可行的。您可以使用专家来生成这些关键字，也可以从词汇分析中找到它们。您仍然需要与精通这些语言的领域专家一起查看关键字。将来，简单的词汇特征将有助于分离子学科，尤其是可能没有很多独特关键字的利基子学科。在这种情况下，我们可能希望转向更复杂的模型。首先，我们可以从具有更复杂模型的词袋开始，或者直接使用 RNN。无论哪种方式，我们都必须构建我们的代码，以便我们可以支持不同的预处理和建模框架。

不同语言的文本处理

在我们讨论项目中的模型构建之前，我们需要确定我们将如何处理文本。我们已经在第2章和第5章中讨论了标记化的一些常见注意事项。大多数书写系统使用空格作为单词分隔符。有些使用其他符号，有些根本不分隔单词。另一个考虑因素是词复合。

迁移学习和多语言深度学习

嵌入和迁移学习背后的想法之一是神经网络正在学习更高层次的数据中的特征。这些特征可用于获取在一个数据集上训练的模型或模型的一部分，并将其完全用于不同的数据集或不同的问题。但是，我们必须注意数据有多么不同。如果 Twitter 上的英语和医疗记录中的英语之间的差异足以降低可移植性，那么想象一下英语和另一种语言之间的翻译损失了多少。话虽如此，如果您希望构建一个比随机起点更好的模型，您应该尝试可迁移性。这对某些问题比对其他问题更有意义。例如，在我们之前的场景中，学术文档的分类将取决于在我们所有语言中可能具有相似分布的技术术语。这意味着可转移性可能会有所帮助——当然值得尝试。另一方面，如果我们正在构建一个处理来自不同国家的医疗记录的模型，那么跨语言的可迁移性可能就不那么有用了。不仅根本现象不同（不同地方的常见疾病不同），而且对文件的监管要求也不同。因此，这些文件不仅在语言上有所不同，而且在内容和目的上也有所不同。

词嵌入是一种足够通用的技术，有希望实现可迁移性。这仍然是一个研究课题。这个想法是，虽然相同词的词频可能不同，但概念的分布更加普遍。如果是这样，也许我们可以学习从一种语言的向量空间到另一种语言的转换，以保留语义内容之间的关系。

一种方法是学习基于参考翻译的转换。假设我们有两种语言，L1 和 L2。我们从 L1 中获取一个单词列表，以及它们在 L2 中的翻译。这些参考词中的每一个都将映射到 L2 向量空间中的一个点。假设 L1 是拉丁语，L2 是英语。单词“nauta”w在拉丁向量空间中具有向量，v在变换后在英语向量空间中。英语等价的“sailor”有向量u。u我们可以通过查看和之间的欧几里得距离来定义该词的转换误差v。使这种差异最小化的转换应该可以很好地工作。问题在于不同的文化可以使用等价的话很不一样。此外，多义词因语言而异，这种方法仅适用于静态嵌入。

这是一个活跃的研究领域，并且会有新的发展。这些技术的希望之一是，它将让我们将其中一些高级技术用于没有构建深度学习模型所需的庞大语料库的语言。

跨语言搜索

如果您正在构建跨语言的搜索解决方案，您通常按语言分隔文档并让用户在搜索时选择一种语言。建立多语言索引是可能的，但可能很困难。有多种方法，但最终您需要一些通用的方法来表示语料库中的单词或概念。以下是一些可能的方法。

您可以使用机器翻译将所有内容翻译成单一语言。在我们的场景中，我们可以将所有文档翻译成英文。这样做的好处是您可以查看这些翻译的质量。缺点是非英文文档的搜索质量会受到影响。

另一方面，如果您可以有效地为翻译模型提供服务，您可以在查询时将其翻译成所有可用的语言。这具有不偏向于一种特定语言的好处。缺点是您需要找到一种方法从这些指数中得出一个共同的分数。另一个复杂因素是自动机器翻译是用完整的文本而不是查询构建的。因此，查询可能会被误译，尤其是当它是一个具有多种含义的词时。

如果不能选择自动机器翻译，您还可以考虑使用词嵌入。这将需要前面谈到的转换。这本质上是在构建一个没有序列预测的翻译模型。

清单

考虑有关您的项目的以下问题：

• 我需要支持哪些语言？
• 我需要支持哪些书写系统？
• 我需要支持哪些 Unicode 块？
• 我有可以咨询的语言专家吗？
• 文本处理
  • 我需要支持哪些语言类型？
  • 我是否有必要的参考数据（引理、词干算法）来支持我的语言？
• 多语言分类
  • 我需要多语言模型，还是每种语言都需要一个模型？
  • 不同语言的标签是相同的，还是只是相似的？
  • 我有用于标记数据的标记器吗？
• 多语言深度学习
  • 我使用的语言有何不同？
  • 我工作的文化有多大不同？
• 跨语言搜索
  • 用户是否需要通过单个查询进行跨语言搜索？
  • 我可以使用自动机器翻译模型吗？

结论

处理多语言应用程序可能很复杂，但它也提供了巨大的机会。没有多少 NLP 应用程序是多语言的。也没有多少人有创建此类应用程序的经验。

多语言应用程序如此困难的原因之一是标记的多语言数据的可用性很差。这意味着多语言 NLP 项目通常需要您收集标记数据。我们将在第 18 章讨论人类标签。