Chronos 是一个框架，用于对时间序列数据上的概率模型进行预训练，方法是对这些值进行标记，以便与 T5 等基于 Transformer 的模型一起使用。它通过缩放和量化为固定词汇表来实现这一点，并在通过高斯过程创建的公共数据集和合成数据集上进行训练。 Chronos 模型的参数范围从 20M 到 710M 不等，在已知数据集上的性能优于传统模型和深度学习模型，并且在新数据集上表现出优于零样本性能的竞争力。

该方法

标记化

为使时间序列数据适应基于转换器的语言模型，需要使用两个步骤：缩放和量化。缩放是利用平均缩放将数据归一化到一个共同的范围，其中每个点都根据历史背景下绝对值的平均值进行调整。缩放之后，量化将实值序列转换为离散的标记，方法是将数据范围划分为不同的分区，每个分区由一个标记表示。与量化分档相比，作者更倾向于均匀分档，以适应不同数据集之间的差异性。可能存在的一个局限是，预测范围受限于预先定义的最小值和最大值。此外，还添加了用于填充和序列结束的特殊标记。

目标函数

Chronos 采用分类交叉熵损失函数，将预测视为分类问题，对时间序列数据进行训练。该模型预测代表量化时间序列数据的标记化词汇的分布，并最大限度地减小该分布与地面实况真实分布之间的差异。与距离感知指标不同，这种方法并不直接考虑分仓之间的接近程度，而是依靠模型从数据中学习bin关系。它有两个优势：与现有语言模型架构和训练方法的无缝集成，以及学习任意、潜在多模态输出分布的能力，这使得它可以在不同领域通用，而无需改变模型结构或训练目标。

Chronos 模型通过对未来时间步骤的预测标记分布进行自回归采样，生成概率预测。然后，利用去量化函数和反缩放功能将生成的标记转换回实际值。

数据增强

TSMix： 时间序列混合。TSMix 通过组合两个以上的数据点，将最初为图像分类开发的 Mixup 数据增强概念扩展到时间序列数据。它从训练数据集中随机选择一些长度不等的时间序列，对其进行缩放，然后创建它们的凸组合。该组合的权重来自对称的 Dirichlet 分布。

KernelSynth： 使用高斯过程生成合成数据。KernelSynth 是一种利用高斯过程生成合成时间序列数据的方法。KernelSynth 利用基核库创建新的时间序列，基核库可用于常见的时间序列模式，如趋势、平滑变化和季节性。通过加法或乘法随机选择和组合这些核，它就能生成多样化的时间序列数据。

实验

域内结果。较大的 Chronos-T5 模型（基础模型和大型模型）明显优于基线模型，展示了卓越的概率和点预测能力。这些模型不仅超越了 AutoETS 和 AutoARIMA 等本地统计模型，还超越了 PatchTST 和 DeepAR 等特定任务深度学习模型。较小的 Chronos 变种和 Chronos-GPT2 的表现也优于大多数基线，不过 PatchTST 在某些情况下表现得更强。Seasonal Naive 模型具有竞争力的表现表明，这些数据集主要来自能源和交通部门，具有很强的季节性趋势。

零点预测结果。Chronos 模型在概率预测方面超过了本地统计模型和大多数特定任务模型，其中 Chronos-T5 Large 模型在点预测方面排名第三。它们甚至超过了 ForecastPFN（零点预测器）和 GPT4TS（微调 GPT2），显示了作为通用时间序列预测器的显著前景。

对小型模型进行微调后，其性能有了显著提高，在 "零样本 "设置下，其性能超过了较大的 Chronos 变体，也超过了最佳任务特定模型。

笔记：

• 不出所料，模型越大越好；
• 随机权重初始化比使用 LLM 权重更好，因为它们可能与时间预测无关；
• TSMix 改进了零点学习，但没有改进域内学习；
• 最好使用 10% 左右的合成数据；

讨论

这项研究证明了 Chronos 在各种数据集上的零点预测能力，表明它有潜力通过微调技术（如低秩适配器或用于特定任务校准的保形方法）超越特定任务模型。特定任务适配器或与 LightGBM 等模型的堆叠集合可用于添加协变量并应用于多变量预测。

与针对特定任务的深度学习模型相比，大型 Chronos 模型的推理速度较慢，但不足以妨碍实际部署。Chronos 模型的优势在于其在各种数据集特征中的通用性，无需针对具体任务进行单独训练，从而简化了预测流程。此外，优化计算内核、量化和更快的解码方法等技术也适用于 Chronos，从而有可能提高推理速度和预测质量。处理长上下文数据的方法可进一步提高 Chronos 在处理高频数据集时的性能，而温度调整和采样策略等受 NLP 启发的方法可提高预测的效率和准确性。