Chronos:将时间序列作为语言进行学习

2024年04月01日 由 alex 发表 79 0

6


Chronos 是一个框架,用于对时间序列数据上的概率模型进行预训练,方法是对这些值进行标记,以便与 T5 等基于 Transformer 的模型一起使用。它通过缩放和量化为固定词汇表来实现这一点,并在通过高斯过程创建的公共数据集和合成数据集上进行训练。 Chronos 模型的参数范围从 20M 到 710M 不等,在已知数据集上的性能优于传统模型和深度学习模型,并且在新数据集上表现出优于零样本性能的竞争力。


该方法


7


标记化

为使时间序列数据适应基于转换器的语言模型,需要使用两个步骤:缩放和量化。缩放是利用平均缩放将数据归一化到一个共同的范围,其中每个点都根据历史背景下绝对值的平均值进行调整。缩放之后,量化将实值序列转换为离散的标记,方法是将数据范围划分为不同的分区,每个分区由一个标记表示。与量化分档相比,作者更倾向于均匀分档,以适应不同数据集之间的差异性。可能存在的一个局限是,预测范围受限于预先定义的最小值和最大值。此外,还添加了用于填充和序列结束的特殊标记。


目标函数

Chronos 采用分类交叉熵损失函数,将预测视为分类问题,对时间序列数据进行训练。该模型预测代表量化时间序列数据的标记化词汇的分布,并最大限度地减小该分布与地面实况真实分布之间的差异。与距离感知指标不同,这种方法并不直接考虑分仓之间的接近程度,而是依靠模型从数据中学习bin关系。它有两个优势:与现有语言模型架构和训练方法的无缝集成,以及学习任意、潜在多模态输出分布的能力,这使得它可以在不同领域通用,而无需改变模型结构或训练目标。


Chronos 模型通过对未来时间步骤的预测标记分布进行自回归采样,生成概率预测。然后,利用去量化函数和反缩放功能将生成的标记转换回实际值。


数据增强


8


TSMix: 时间序列混合。TSMix 通过组合两个以上的数据点,将最初为图像分类开发的 Mixup 数据增强概念扩展到时间序列数据。它从训练数据集中随机选择一些长度不等的时间序列,对其进行缩放,然后创建它们的凸组合。该组合的权重来自对称的 Dirichlet 分布。


9


KernelSynth: 使用高斯过程生成合成数据。KernelSynth 是一种利用高斯过程生成合成时间序列数据的方法。KernelSynth 利用基核库创建新的时间序列,基核库可用于常见的时间序列模式,如趋势、平滑变化和季节性。通过加法或乘法随机选择和组合这些核,它就能生成多样化的时间序列数据。


实验


10


域内结果。较大的 Chronos-T5 模型(基础模型和大型模型)明显优于基线模型,展示了卓越的概率和点预测能力。这些模型不仅超越了 AutoETS 和 AutoARIMA 等本地统计模型,还超越了 PatchTST 和 DeepAR 等特定任务深度学习模型。较小的 Chronos 变种和 Chronos-GPT2 的表现也优于大多数基线,不过 PatchTST 在某些情况下表现得更强。Seasonal Naive 模型具有竞争力的表现表明,这些数据集主要来自能源和交通部门,具有很强的季节性趋势。


11


零点预测结果。Chronos 模型在概率预测方面超过了本地统计模型和大多数特定任务模型,其中 Chronos-T5 Large 模型在点预测方面排名第三。它们甚至超过了 ForecastPFN(零点预测器)和 GPT4TS(微调 GPT2),显示了作为通用时间序列预测器的显著前景。


12


对小型模型进行微调后,其性能有了显著提高,在 "零样本 "设置下,其性能超过了较大的 Chronos 变体,也超过了最佳任务特定模型。


13


笔记:


  • 不出所料,模型越大越好;
  • 随机权重初始化比使用 LLM 权重更好,因为它们可能与时间预测无关;
  • TSMix 改进了零点学习,但没有改进域内学习;
  • 最好使用 10% 左右的合成数据;


讨论

这项研究证明了 Chronos 在各种数据集上的零点预测能力,表明它有潜力通过微调技术(如低秩适配器或用于特定任务校准的保形方法)超越特定任务模型。特定任务适配器或与 LightGBM 等模型的堆叠集合可用于添加协变量并应用于多变量预测。


14


与针对特定任务的深度学习模型相比,大型 Chronos 模型的推理速度较慢,但不足以妨碍实际部署。Chronos 模型的优势在于其在各种数据集特征中的通用性,无需针对具体任务进行单独训练,从而简化了预测流程。此外,优化计算内核、量化和更快的解码方法等技术也适用于 Chronos,从而有可能提高推理速度和预测质量。处理长上下文数据的方法可进一步提高 Chronos 在处理高频数据集时的性能,而温度调整和采样策略等受 NLP 启发的方法可提高预测的效率和准确性。


文章来源:https://medium.com/@artgor/paper-review-chronos-learning-the-language-of-time-series-edd79dd4fc96
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消