BERT 的优秀变体：ALBERT 论文图解介绍

作者：amitness

编译：ronghuaiyang

导读: ALBERT 作为 BERT 的一个变体，在保持性能的基础上，大大减少了模型的参数，使得实用变得更加方便，是经典的 BERT 变体之一。

BERT 的 youxiu 变体：ALBERT 论文图解介绍

考虑下面给出的句子。作为人类，当我们遇到“apple”这个词时，我们可以：

• 把“apple”这个词和我们对“apple”这个水果的表征联系起来

• 根据上下文将“apple”与水果联系在一起，而不是与公司联系在一起

• 理解“he ate an apple”

• 在字符级，单词级和句子级理解它

NLP 最新发展的基本前提是赋予机器学习这些表示的能力。

2018 年，谷歌发布了 BERT，试图基于一些新的想法来学习这个表示：

回顾： BERT

1. 掩码语言建模

语言建模包括预测单词的上下文，作为一种学习表示的方法。传统上，这包括到当给出前面的单词时预测句子中的下一个单词。

相反，BERT 使用了一个掩码语言模型目标，在这个模型中，我们在文档中随机地对单词进行掩码，并试图根据周围的上下文来预测它们。

2. 下一个句子预测

“下一个句子预测”的目的是检测两个句子是否连贯。

为此，训练数据中的连续句被用作一个正样本。对于负样本，取一个句子，然后在另一个文档中随机抽取一个句子放在它的旁边。在这个任务中，BERT 模型被训练来识别两个句子是否可以同时出现。

3. Transformer 结构

为了解决上述两项任务，BERT 使用了多层 Transformer 模块作为编码器。单词向量被传递到各个层，以捕获其含义，并为基本模型生成大小为 768 的向量。

Jay Alammar 有一篇非常好的文章：http://jalammar.github.io/bert/，更深入地阐述了 Transformer 的内部机制。

BERT 的问题

BERT 发布后，在排行榜上产生了许多 NLP 任务的最新成果。但是，模型非常大，导致了一些问题。“ALBERT”论文将这些问题分为两类：

1、内存限制和通信开销：

考虑一个包含一个输入节点、两个隐藏节点和一个输出节点的简单神经网络。即使是这样一个简单的神经网络，由于每个节点的权重和偏差，也会有 7 个参数需要学习。

BERT-large 模型是一个复杂的模型，它有 24 个隐含层，在前馈网络和注意头中有很多节点，所以有 3.4 亿个参数。如果你想在 BERT 的基础上进行改进，你需要大量的计算资源的需求来从零开始进行训练并在其上进行迭代。

这些计算需求主要涉及 gpu 和 TPUs，但是这些设备有内存限制。所以，模型的大小是有限制的。

分布式训练是解决这个问题的一种流行方法。我们以 BERT-large 上的数据并行性为例，其中训练数据被分到两台机器上。模型在两台机器上对数据块进行训练。如图所示，你可以注意到在梯度同步过程中要传输的大量参数，这会减慢训练过程。同样的瓶颈也适用于模型的并行性，即我们在不同的机器上存储模型的不同部分。

2、模型退化

最近在 NLP 研究社区的趋势是使用越来越大的模型，以获得在排行榜上的最先进的性能。ALBERT 的研究表明，这可能会导致收益退化。

在论文中，作者做了一个有趣的实验。

如果更大的模型可以带来更好的性能，为什么不将最大的 BERT 模型(BERT-large)的隐含层单元增加一倍，从 1024 个单元增加到 2048 个单元呢？

他们称之为“BERT-xlarge”。令人惊讶的是，无论是在语言建模任务还是在阅读理解测试(RACE)中，这个更大的模型的表现都不如 BERT-large 模型。

从原文给出的图中，我们可以看到性能是如何下降的。BERT-xlarge 的性能比 BERT-large 差，尽管它更大并且有更多的参数。

从 BERT 到 ALBERT

ALBERT 在 BERT 的基础上提出了一些新颖的想法来解决这些问题：

• 本文地址：BERT 的优秀变体：ALBERT 论文图解介绍
• 本文版权归作者和AIQ共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出

1、跨层参数共享

BERT-large 模型有 24 层，而它的基础版本有 12 层。随着层数的增加，参数的数量呈指数增长。

为了解决这个问题，ALBERT 使用了跨层参数共享的概念。为了说明这一点，让我们看一下 12 层的 BERT-base 模型的例子。我们只学习第一个块的参数，并在剩下的 11 个层中重用该块，而不是为 12 个层中每个层都学习不同的参数。

我们可以只共享 feed-forward 层的参数，只共享注意力参数，也可以共享整个块的参数。论文对整个块的参数进行了共享。

与 BERT-base 的 1.1 亿个参数相比，ALBERT 模型只有 3100 万个参数，而使用相同的层数和 768 个隐藏单元。当嵌入尺寸为 128 时，对精度的影响很小。精度的主要下降是由于 feed-forward 层的参数共享。共享注意力参数的影响是最小的。

跨层参数策略对性能的影响

2、句子顺序预测 (SOP)

BERT 引入了一个叫做“下一个句子预测”的二分类损失。这是专门为提高使用句子对，如“自然语言推断”的下游任务的性能而创建的。基本流程为：

• 从训练语料库中取出两个连续的段落作为正样本

• 从不同的文档中随机创建一对段落作为负样本

像 ROBERTA 和 XLNET 这样的论文已经阐明了 NSP 的无效性，并且发现它对下游任务的影响是不可靠的。在取消 NSP 任务之后，多个任务的性能都得到了提高。

因此，ALBERT 提出了另一个任务**“句子顺序预测”**。关键思想是：

• 从同一个文档中取两个连续的段落作为一个正样本

• 交换这两个段落的顺序，并使用它作为一个负样本

这使得模型能学习到更细粒度的关于段落级的一致性的区别。

ALBERT 推测 NSP 是无效的，因为与掩码语言建模相比，它并不是一项困难的任务。在单个任务中，它混合了主题预测和连贯性预测。主题预测部分很容易学习，因为它与掩码语言建模的损失有重叠。因此，即使 NSP 没有学习连贯性预测，它也会给出更高的分数。

SOP 提高了下游多句编码任务(SQUAD 1.1, 2.0, MNLI, SST-2, RACE)的性能。

在这里我们可以看到，在 SOP 任务上，一个经过 NSP 训练的模型给出的分数只比随机基线略好一点，但是经过 SOP 训练的模型可以非常有效地解决 NSP 任务。这就证明 SOP 能带来更好的学习表现。

3、嵌入参数分解

在 BERT 中，使用的 embeddings(word piece embeddings)大小被链接到 transformer 块的隐藏层大小。Word piece embeddings 使用了大小为 30,000 的词汇表的独热编码表示。这些被直接投射到隐藏层的隐藏空间。

假设我们有一个大小为 30K 的词汇表，大小为 E=768 的 word-piece embedding 和大小为 H=768 的隐含层。如果我们增加了块中的隐藏单元尺寸，那么我们还需要为每个嵌入添加一个新的维度。这个问题在 XLNET 和 ROBERTA 中也很普遍。

ALBERT 通过将大的词汇表嵌入矩阵分解成两个小的矩阵来解决这个问题。这将隐藏层的大小与词汇表嵌入的大小分开。这允许我们在不显著增加词汇表嵌入的参数大小的情况下增加隐藏的大小。

我们将独热编码向量投影到 E=100 的低维嵌入空间，然后将这个嵌入空间投影到隐含层空间 H=768。

结果

• 比 BERT-large 模型缩小了 18x 的参数

• 训练加速 1.7x

• 在 GLUE, RACE 和 SQUAD 得到 SOTA 结果：

  • RACE：89.4%[提升 45.3%]

  • GLUE Benchmark：89.4

  • SQUAD2.0 f1 score：92.2

总结

ALBERT 标志着构建语言模型的重要一步，该模型不仅达到了 SOTA，而且对现实世界的应用也是可行的。

英文原文：https://amitness.com/2020/02/albert-visual-summary/