【AI学习】Mamba学习（五）：《HiPPO: Recurrent Memory with Optimal Polynomial Projections》
SSM之后，就需要接着学习HiPPO了。
《HiPPO: Recurrent Memory with Optimal Polynomial Projections》
论文地址：https://arxiv.org/abs/2008.07669
摘要
从连续数据中学习的一个核心问题是，随着更多数据的处理，以增量方式表示累积历史。我们介绍了一个通用框架（HiPPO），用于通过投影到多项式基上对连续信号和离散时间序列进行在线压缩。给定一个指定过去每个时间步长重要性的度量，HiPPO会产生一个自然在线函数近似问题的最优解。作为特例，我们的框架从第一性原理中对最近的勒让德记忆单元（LMU）进行了简短的推导，并推广了循环神经网络（如GRU）的普遍门控机制。这种形式化框架产生了一种新的内存更新机制（HiPPO LegS），该机制可随时间扩展以记住所有历史，避免在时间尺度上出现先验。HiPPO LegS具有时间尺度鲁棒性、快速更新和有界梯度的理论优势。通过将记忆动态结合到循环神经网络中，HiPPO-RNN可以经验性地捕捉复杂的时间依赖性。在打乱顺序的基准MNIST数据集上，HiPPO LegS设定了98.3%的最新精度。最后，在一项新的轨迹分类任务中，测试了对分布外时间尺度和缺失数据的鲁棒性，HiPPO-LegS的准确率比RNN和神经ODE基线高出25-40%。
文章翻译
在网上搜索，居然没有这篇论文的翻译，于是，用翻译工具先进行了翻译，后续再进行继续理解。
原文地址：https://blog.csdn.net/bylander/article/details/142708929
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！