小P学长
小P学长

时间序列防泄漏回测:origin、horizon、gap与基线

免费说明预测时点、特征截止、滚动折、gap、季节性基线和近零MAPE的验收方法,并公开分折指标与验收样例。

先定义你在哪一刻做预测

origin 是预测生成时点,target 是要预测的时点,horizon 是两者间隔。只要特征用到 origin 之后才知道的值,即使代码能跑也已经泄漏。

滚动预测和一次性多步不是同一个问题

滚动预测可在新真实值到达后更新特征;一次性预测未来28天则不能中途使用真实值。回测报告必须写明口径。

为什么要留 gap

当目标标签本身延迟或 horizon 跨越多个时点时,训练尾部与验证头部太近会导致口径混乱。默认模板要求 gap 不小于最大 horizon,但业务上还应同时考虑真实值到达延迟。

预处理只能在训练折内拟合

标准化、缺失值规则、特征选择和超参数如果先看了全部数据,同样会泄漏。应在每一折训练数据内拟合,再用于该折验证。

基线和指标

模型至少要与季节性朴素基线比较。MAPE在真实值接近0时会非常不稳定,应报告排除阈值、覆盖率,并同时查看WAPE和MAE。

先看公开验收

它们来自合成数据,用于核对交付口径,不代表真实销量或业务预测精度。

官方资料