【AI学习】Mamba学习（九）：HiPPO LegS版本
在上一篇《Mamba学习（八）：HiPPO通用框架定义和方法》中关于时间度量的案例中，论文提出了LegT、LagT、LegS三种时间度量方式。
三种时间度量方式，左边是LegT，就是滑窗的方式，在窗内平均分配权重；中间是LagT，采用了指数衰减的权重；右边是LegS，对整个历史平均分配权重。
HiPPO LegS版本就是基于LegS的时间度量方式得出的闭式解。
HiPPO-LegS: Scaled Measures for Timescale Robustness
HiPPO-LegS具有良好的理论性质：对输入时间尺度不变，计算速度快，并且具有有界梯度和近似误差。
就如苏神所说：“LegS 是我们的重点关注对象。重点关注 LegS 的原因并不难猜，因为从推导的假设来看，它是目前求解出来的唯一一个能够记忆整个历史的 ODE 系统，这对于很多场景如多轮对话来说至关重要。此外，它还有其他的一些比较良好且实用的性质。”
关于这些良好的理论性质，苏神在《重温被Mamba带火的SSM：HiPPO的一些遗留问题》一文中有详尽的阐述。
原文地址：https://blog.csdn.net/bylander/article/details/143064038
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！