Word Embedding
依旧是课堂笔记
语言模型类型 – 神经语言模型 (NLM) 与词嵌入 (Word Embedding)
1. 什么是词嵌入 (Word Embedding)?
- 定义：
词嵌入是一种方法，将每个单词表示为连续向量空间中的实数向量。- 这些向量基于单词的**语义（意义）和句法（用法）**关系，通过数学方式捕捉单词之间的相关性。
- 例如：
- "cat" 的向量可能是
[0.2, 0.8, -0.3] - "dog" 的向量可能是
[0.1, 0.7, -0.4] - 由于 "cat" 和 "dog" 的语义相似，它们的向量在空间中会非常接近。
- "cat" 的向量可能是
2. 在神经语言模型 (NLM) 中的作用
- 词嵌入如何解决数据稀疏问题：
- 传统的 N-Gram 模型需要大量数据，无法处理罕见词语或未见过的组合（数据稀疏问题）。
- 神经语言模型通过将单词转化为向量的方式，能更有效地捕获单词的上下文和语义，从而缓解这一问题。
- 如何作为输入：
- 在神经网络中，词嵌入向量被作为模型的输入，用于训练和预测。
- 每个单词的向量参数在训练过程中被学习，使模型能够动态调整表示，适应不同的上下文。
3. 学习的语义特性
- 神经语言模型中的词嵌入有以下特性：
- 语义相似性：
- 单词之间的语义关系体现在向量的距离上。
- 例如：
- "king" 和 "queen" 的向量在空间中非常接近。
- "king - man + woman ≈ queen" 体现了逻辑关系。
- 上下文依赖性：
- 模型通过词嵌入学习单词在不同句子中的含义和用法。
- 例如，“bank” 在 "river bank" 和 "financial bank" 中的向量表示可能不同。
- 语义相似性：
4. 词嵌入的优势
-
解决传统方法的缺点：
- 不需要像 N-Gram 那样手动设计回退机制或权重。
- 能够处理更大的上下文，而参数量仅线性增加。
-
泛化能力：
- 神经语言模型支持不同上下文的泛化，能适应训练中未见过的单词组合。
-
提升性能：
- 在语音识别、机器翻译、文本生成等复杂任务中表现更优。
词嵌入在神经语言模型中的工作原理
图示架构解析：
-
输入层（Input Layer）：
- 输入的是单词序列，例如 W−1,W−2,Wn−1W_{-1}, W_{-2}, W_{n-1}W−1,W−2,Wn−1。
- 每个单词通过嵌入矩阵 Mn×pM_{n \times p}Mn×p 转换为对应的词嵌入向量：
- nnn 是词汇表的大小，ppp 是嵌入向量的维度。
-
投影层（Projection Layer）：
- 单词的嵌入向量被组合并映射到一个共享空间。
- 这一过程将高维输入降维，生成适合神经网络处理的表示。
-
隐藏层（Hidden Layer）：
- 嵌入向量经过隐藏层，并通过非线性激活函数（例如 tanh）处理。
- 隐藏层的主要作用是学习单词之间的上下文关系，捕捉更复杂的语义和句法模式。
-
输出层（Output Layer）：
- 处理后的表示通过输出层（例如 softmax），预测下一个单词或执行其他自然语言处理任务。
- 示例：输入 "I want to"，输出层可能预测 "eat" 的概率最高。
词嵌入在神经语言模型中的优势
-
语义相似性：
- 语义相关的单词（例如 "king" 和 "queen"）在向量空间中更接近。
- 支持关系运算，例如：
"king - man + woman = queen"
-
高效表示：
- 词嵌入是稠密且低维的表示，避免了传统稀疏表示（如独热编码）的高内存和高计算需求。
-
上下文泛化：
- 词嵌入能够根据上下文调整单词的语义表示，适应未见过的单词组合。
神经语言模型的应用
-
文本预测：
- 基于上下文预测下一个单词。
- 示例：输入 "I love"，模型可能预测 "chocolate"。
-
机器翻译：
- 不同语言的词嵌入映射到统一的向量空间，执行准确的翻译。
-
情感分析：
- 通过捕捉词嵌入中的语义信息，分析文本的情感倾向。
原文地址：https://blog.csdn.net/weixin_67075116/article/details/144038448
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！