自学内容网 自学内容网
自学内容网 > 正文

【NLP高频面题 - Transformer篇】Transformer的位置编码是如何计算的？

🕗 发布于 2024-12-26 00:14 深度学习  自然语言处理  nlp  人工智能  

【NLP高频面题 - Transformer篇】Transformer的位置编码是如何计算的？

重要性：★★★

NLP Github 项目：

Transformer 位置编码矩阵究竟是如何计算的呢？如下所示，Transformer 论文“Attention Is All You Need”的作者使用了正弦函数来计算位置编码：
在这里插入图片描述

  • p o s pos pos 表示该词在句子中的位置
  • i i i 表示在输入矩阵中的位置
  • d m o d e l d_{model} dmodel​ 表示嵌入维度

计算实例：对于给定的句子 I am good 为例，嵌入维度为4，计算位置编码。

  1. 根据公式计算位置编码矩阵：
    在这里插入图片描述

  2. 计算位置编码矩阵（简化版）：
    在这里插入图片描述

  3. 继续计算位置编码矩阵：
    在这里插入图片描述

  4. 最终的位置编码矩阵 P P P 如图所示:
    在这里插入图片描述

NLP 大模型高频面题汇总

NLP基础面
BERT 模型面
LLMs 微调面

原文地址：https://blog.csdn.net/weixin_44025655/article/details/144657703

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

自学内容网
Copyright © 2015-2025