自学内容网 自学内容网
自学内容网 > 正文

LSTM结构原理

🕗 发布于 2024-11-07 12:53 lstm  人工智能  rnn  

什么是LSTM

LSTM（长短时记忆）网络是一种特殊的RNN网络，通过门结构，对细胞状态进行删除或者添加信息。门能够选择性的决定让哪些信息通过，其中们结构通过sigmoid曾和一个点乘操作来实现。
LSTM能够处理文本数据或者时序数据。

LSTM 解决了什么问题

LSTM的门结构能够选择性的记忆或者忘记信息，有效避免了梯度消失问题，并保持了长期记忆的能力。

LSTM的实现原理

门的实现

通过Sigmoid层和一个点乘操作的组合，sigmoid函数输出的结构在0-1之间。
在这里插入图片描述

1、遗忘门（forget gate）

遗忘门f：决定遗忘多少前一时刻的记忆
为一个向量（与h 、c有相同的维度）。

  • C表示长期记忆
  • h(t-1)表示上一时刻网络状态，h(t)表示当前时刻网络状态；
    遗忘门的权重和当前时刻的状态输入xt拼接上一个时刻的网络状态h(t-1)相乘，再经过sigmoid函数得到ft（值为0-1之间）
    在这里插入图片描述

2、输入门（input gate）

输入门：决定要记住多少当前输入信息，同时结合遗忘门的输出，计算出新的记忆单元状态。
在这里插入图片描述
Ct^表示短时记忆
在这里插入图片描述

更新Ct

通过遗忘门和输入门的向量更新Ct
在这里插入图片描述

3、输出门（output gate）

输出门：决定哪些值流出
在这里插入图片描述

更新输出

状态ht:LSTM的输出，通过ot计算多少长期记忆用于LSTM的输出。
在这里插入图片描述

整体流程

在这里插入图片描述
LSTM结构中包含：遗忘门、输入门、输出门。图中上方的传输带传递的是长期记忆。

  • 遗忘门计算当前输入向量xt与前一时刻的记忆向量h(t-1)拼接的向量与遗忘门权重向量wf相乘，经过sigmoid激活函数得到ft向量。根据上一个时刻的输出与当前时刻的输入选择需要在单元状态中遗忘的状态。
  • 输入门计算两部分信息，第一部分记住多少当前输入信息，第二部分计算遗忘门输出的信息，结合两部分计算新的记忆单元。根据上一个状态输出和当前输入选择需要在单元状态中新记忆的状态。
  • 输出门计算记忆单元中多少内容作为LSTM 的输出。根据单元状态和当前输入决定LSTM的输出

遗忘门、输入门、输出门中输入门包含两个参数，其他门各包含一个参数。维度是（h, h+x）

感谢：
https://www.bilibili.com/video/BV1i44y1P7J5?spm_id_from=333.788.player.switch&vd_source=91cfed371d5491e2973d221d250b54ae


原文地址：https://blog.csdn.net/weixin_43227526/article/details/143536050

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

相关文章

自学内容网
Copyright © 2015-2024