Chronos：亚马逊最新的时间序列预测基础模型

时间序列预测领域最近非常活跃，在基础预测模型上做了很多工作。

这一切都始于 2023 年 10 月TimeGPT的发布，这是第一个能够进行零样本预测和异常检测的基础模型之一。

然后，人们做了很多努力让大模型适应预测任务，例如 PromptCast 和 LLMTime。

接下来，我们看到了更多开源基础模型，例如用于概率零样本预测的Lag-LLaMA和重新编程现有现成语言模型以进行时间序列预测的Time-LLM 。

现在，在 2024 年 3 月，亚马逊公司也随着Chronos的发布加入了这场游戏。

在他们的论文中，Chronos：学习时间序列的语言，作者提出了一个零样本概率预测框架，该框架利用现有的基于 Transformer 的语言模型架构。它可以最小化地调整现有的语言模型来执行预测任务。

在本文中，我们将探讨 Chronos 的内部运作方式；它是如何训练的，以及用于预训练大型模型的数据增强技术。然后，我们使用 Python 应用 Chronos 作为我们自己的小实验，看看它的实际效果。

欲了解更多详细信息，请务必阅读原始论文。

让我们开始吧！

探索Chronos

Chronos 背后的动机始于一个非常天真的问题：

好的语言模型不应该只适用于时间序列预测吗？

这并不是我们第一次尝试将自然语言处理（NLP）技术应用于时间序列预测。

毕竟，在这两个领域，模型都试图学习一系列数据来预测下一个标记，无论该标记是单词还是实际值。

然而，在 NLP 中，可供选择的单词数量是固定的，而在时间序列中，从技术上讲，它是无限制的；您的系列可以无限地增加或减少。

因此，直接使用大型语言模型（LLM）进行预测是没有意义的，必须对其进行调整以适应此类任务。

为此，Chronos 是一个适应现有 LLM 进行时间序列预测的框架。该框架允许研究人员预先训练一系列零样本预测模型。

Chronos概述

  Chronos 中有三个主要步骤可以使 LLM 适应预测。

从上图中我们可以看到，Chronos 在生成上下文标记之前首先对数据进行缩放并进行量化。

然后，这些标记可用于训练现有的语言模型，该模型将预测下一个上下文标记。

然后对该预测进行反量化和缩放以获得实际预测。

让我们更详细地看一下每个步骤。

时间序列的标记化

由于 LLM 使用有限词汇表的标记，因此我们需要找到一种方法将时间序列值映射到有限的标记集。为此，作者建议对观察结果进行缩放，然后将其量化为固定数量的箱。

原文地址：https://blog.csdn.net/qq_41929396/article/details/137276521

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！