【论文解读】文本分类上分利器:Bert微调trick大全

iseeyu2年前 (2024-02-21)推广110

Fine-Tuning Strategies：当我们为目标任务微调 BERT 时，有很多方法可以
使用 BERT。例如，BERT 的不同层捕获不同级别的语义和句法信息，哪一层更适合目标任务？我们如何选择更好的优化算法和学习率？
Further Pre-training：BERT 在通用域中训练，其数据分布与目标域不同。一个自然的想法是使用目标域数据进一步预训练 BERT。这个真的非常有效，在微调达到一定瓶颈之后，可以尝试下在比赛语料上ITPT，也就是继续预训练。在海华阅读理解比赛以及基于文本挖掘的企业隐患排查质量分析模型都得到了成功验证~
Multi-Task Fine-Tuning：在没有预先训练的 LM 模型的情况下，多任务学习已显示出其利用多个任务之间共享知识优势的有效性。当目标域中有多个可用任务时，一个有趣的问题是，在所有任务上同时微调 BERT 是否仍然带来好处。

微调策略

1. 处理长文本
我们知道BERT 的最大序列长度为 512，BERT 应用于文本分类的第一个问题是如何处理长度大于 512 的文本。本文尝试了以下方式处理长文章。

Truncation methods 截断法
文章的关键信息位于开头和结尾。我们可以使用三种不同的截断文本方法来执行 BERT 微调。

head-only: keep the first 510 tokens 头部510个字符，加上两个特殊字符刚好是512 ;
tail-only: keep the last 510 tokens;尾部510个字符，同理加上两个特殊字符刚好是512 ;
head+tail: empirically select the first 128and the last 382 tokens.：尾部结合

Hierarchical methods 层级法
输入的文本首先被分成k = L/510个片段，喂入 BERT 以获得 k 个文本片段的表示向量。每个分数的表示是最后一层的 [CLS] 标记的隐藏状态，然后我们使用均值池化、最大池化和自注意力来组合所有分数的表示。

上表的结果显示，head+tail的截断法在IMDb和Sogou数据集上表现最好。后续的实验也是采用这种方式进行处理。

2. 不同层的特征
BERT 的每一层都捕获输入文本的不同特征。文本研究了来自不同层的特征的有效性, 然后我们微调模型并记录测试错误率的性能。

我们可以看到：最后一层表征效果最好；最后4层进行max-pooling效果最好
3. 灾难性遗忘
Catastrophic forgetting (灾难性遗忘)通常是迁移学习中的常见诟病，这意味着在学习新知识的过程中预先训练的知识会被遗忘。
因此，本文还研究了 BERT 是否存在灾难性遗忘问题。我们用不同的学习率对 BERT 进行了微调，发现需要较低的学习率，例如 2e-5，才能使 BERT 克服灾难性遗忘问题。在 4e-4 的较大学习率下，训练集无法收敛。

这个也深有体会，当预训练模型失效不能够收敛的时候多检查下超参数是否设置有问题。
4. Layer-wise Decreasing Layer Rate 逐层降低学习率
下表显示了不同基础学习率和衰减因子在 IMDb 数据集上的性能。我们发现为下层分配较低的学习率对微调 BERT 是有效的，比较合适的设置是 ξ=0.95 和 lr=2.0e-5

为不同的BERT设置不同的学习率及衰减因子，BERT的表现如何？把参数θ \thetaθ划分成{ θ 1 , … , θ L } {\theta^{1,\dots,\theta}L}{θ
1
,…,θ
L
}，其中θ l \theta^lθ
l

ITPT：继续预训练

Bert是在通用的语料上进行预训练的，如果要在特定领域应用文本分类，数据分布一定是有一些差距的。这时候可以考虑进行深度预训练。

Within-task pre-training：Bert在训练语料上进行预训练
In-domain pre-training：在同一领域上的语料进行预训练
Cross-domain pre-training：在不同领域上的语料进行预训练

Within-task pretraining

BERT-ITPT-FiT 的意思是“BERT + with In-Task Pre-Training + Fine-Tuning”，上图表示IMDb 数据集上进行不同步数的继续预训练是有收益的。
2 In-Domain 和 Cross-Domain Further Pre-Training

我们发现几乎所有进一步的预训练模型在所有七个数据集上的表现都比原始 BERT 基础模型。一般来说，域内预训练可以带来比任务内预训练更好的性能。在小句子级 TREC 数据集上，任务内预训练会损害性能，而在使用 Yah 的领域预训练中。Yah. A.语料库可以在TREC上取得更好的结果。