时间序列防泄漏回测:origin、horizon、gap与基线
免费说明预测时点、特征截止、滚动折、gap、季节性基线和近零MAPE的验收方法,并公开分折指标与验收样例。
先定义你在哪一刻做预测
origin 是预测生成时点,target 是要预测的时点,horizon 是两者间隔。只要特征用到 origin 之后才知道的值,即使代码能跑也已经泄漏。
滚动预测和一次性多步不是同一个问题
滚动预测可在新真实值到达后更新特征;一次性预测未来28天则不能中途使用真实值。回测报告必须写明口径。
为什么要留 gap
当目标标签本身延迟或 horizon 跨越多个时点时,训练尾部与验证头部太近会导致口径混乱。默认模板要求 gap 不小于最大 horizon,但业务上还应同时考虑真实值到达延迟。
预处理只能在训练折内拟合
标准化、缺失值规则、特征选择和超参数如果先看了全部数据,同样会泄漏。应在每一折训练数据内拟合,再用于该折验证。
基线和指标
模型至少要与季节性朴素基线比较。MAPE在真实值接近0时会非常不稳定,应报告排除阈值、覆盖率,并同时查看WAPE和MAE。
先看公开验收
它们来自合成数据,用于核对交付口径,不代表真实销量或业务预测精度。