BERT的工作原理
BERT的工作原理
BERT的工作原理：
Transformer的编码器是双向的，它可以从两个方向读取一个句子。因此，BERT由Transformer获得双向编码器特征。
我们把句子A（He got bit by Python）送入Transformer的编码器，得到句子中每个单词的上下文特征（嵌入）。一旦我们将句子送入编码器，编码器就会利用多头注意力层来理解每个单词在句中的上下文（将句子中的每个单词与句子中的所有单词联系起来，以学习单词之
间的关系和语境含义），并将其特征值作为输出。
如下图所示，我们将句子送入Transformer的编码器，得到句子中每个单词的特征值。图中的N表示可以有N个编码器。 R H e R_{He} RHe表示单词He的特征， R g o t R_{got} Rgot表示单词got的特征，以此类推。每个单词的特征向量大小是编码器层的大小。假设编码器层的大小为768，那么每个单词的特征向量大小也是768。为了避免重复，只有编码器1被展开说明。
同样，如果我们将句子B（Python is my favorite programming language）送入Transformer的编码器，那么会得到句子中每个单词的上下文特征，如下图所示。
可见，通过BERT模型，对于一个给定的句子，我们可以获得每个单词的上下文特征（嵌入）。现在，我们已经了解了BERT是如何生成上下文特征的。
原文地址：https://blog.csdn.net/weixin_44144773/article/details/144024113
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！