深度学习-18-深入理解BERT实战使用预训练的DistilBERT模型
1 预训练的BERT模型
从开始预训练BERT模型是很耗资源的，所以我们可以下载预训练好的BERT模型。
在BERT-uncased中，所有的标记都是小写的。
在BERT-cased中的标记没有转换为小写，而是直接用来训练。
其中BERT-uncased模型是最常用的。
我们可以以下面两个方式使用预训练模型：
(1)作为抽取嵌入表示的特征抽取器。
(2)通过在下游任务像文本分类、问答等任务的微调预训练的BERT模型。
实战文本分类中的情绪识别任务和自然语言推理中的问答任务。# 2 作为抽取嵌入表示的特征抽取器
学习具体如何从预训练的BERT模型中抽取单词级和句子级的嵌入表示。
2.1 单词级的嵌入表示
考虑一个句子 I love Paris，假设我们要抽取该句子中的每个标记的上下文嵌入。
首先，我们对句子分词然后喂给预训练的BERT模型，它会返回每个标记的嵌入表示。
除了可以获取标记级(单词级)的嵌入表示，我们还可以获取句子级的表示。
假设我们想要完成一个情感分析任务，然后我们有下面的数据集：
原文地址：https://blog.csdn.net/qq_20466211/article/details/142331116
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！