深度学习：Masked Self-Attention 详解

Masked Self-Attention 详解

Masked Self-Attention 是 Transformer 架构中解码器的关键组件，特别用于处理自回归任务，如文本生成。该机制确保模型在生成一个序列的每个元素时只能利用之前元素的信息，防止未来信息的泄露。以下是对 Masked Self-Attention 机制的详细、准确和逻辑清晰的解释：

1. 基本概念

在 Transformer 解码器中，自注意力机制允许每个序列位置考虑到其他所有位置的信息。这种全面的注意力机制在编码器中是非常有用的，因为它可以捕获输入序列中的全局依赖关系。然而，在解码过程中，为了保持输出的自回归特性（即在生成第 ( n ) 个词时仅依赖于前 ( n-1 ) 个词），需要修改这种自注意力机制，引入了 Masked Self-Attention。

2. Masked Self-Attention 的工作原理

a. 输入处理

• 每个解码器层的输入首先转换为 Query（Q）、Key（K）和 Value（V）三个向量组。这些向量通过不同的权重矩阵从相同的输入嵌入中线性转换而来。

b. 掩码的创建与应用

• 在计算自注意力时，构建一个掩码矩阵来阻止未来位置的信息影响当前位置的输出。具体来说，掩码矩阵是一个下三角矩阵，其中当前位置之后的所有位置被设为负无穷（或非常大的负数）。这样在应用 softmax 函数时，这些位置的影响被压制为零。

c. 注意力得分的计算

• 注意力得分通过对 Query 与所有 Key 的点积计算得到，然后应用掩码矩阵调整这些得分。得分公式如下：
  [
  $\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}+\text{Mask}\right)V$
  ]
  其中，( \sqrt{d_k} ) 是缩放因子，用于控制 softmax 函数前的得分幅度，防止梯度消失或爆炸。

d. 输出的生成

• 通过 softmax 函数将注意力得分转换为概率分布，然后用这些概率加权求和所有的 Value 向量，生成该层的输出。

3. 自回归属性的重要性

Masked Self-Attention 确保解码器在生成每个输出时，只能访问到该位置之前的信息。这对于自回归生成任务至关重要，因为它保证了生成过程的因果性，即每个输出仅依赖于先前的输出，而不是未来的任何输出。这种机制使得模型能够逐步生成文本或其他类型的序列，而不会“作弊”地看到未来的信息。

4. 应用场景

Masked Self-Attention 主要应用于需要生成新序列的任务，如：

• 机器翻译：生成目标语言文本时，确保每个词的生成只依赖于先前的词。
• 文本生成：如新闻文章、故事生成，确保文本逻辑上的连贯性和语境依赖性。

总之，Masked Self-Attention 是 Transformer 解码器中的核心技术，它通过掩蔽未来信息的方式，支持模型在各种自回归任务中的有效和准确的序列生成。

原文地址：https://blog.csdn.net/m0_73640344/article/details/143579493

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！