历史验证
回测
这里用当前模型回放 2014、2018、2022 三届世界杯，并使用赛前年末 ELO 与 192 场常规时间赛果来检验模型表现。
Brier 分数
0.589
越低越好 · 随机基准 0.667
Log loss
0.996
越低越好 · 随机基准 1.099
Top-1 准确率
56.3%
192 场比赛 · 随机基准 33%
按赛事统计
| 世界杯 | 场次 | Brier | Log loss | 准确率 |
|---|---|---|---|---|
| 2014 · Brazil | 64 | 0.579 | 0.966 | 57.8% |
| 2018 · Russia | 64 | 0.578 | 0.976 | 56.3% |
| 2022 · Qatar | 64 | 0.610 | 1.047 | 54.7% |
模型校准
当模型给出某个结果的概率时，真实发生频率是否接近这个概率。点越靠近对角线，说明校准越好。
每个圆点代表一个概率分桶，圆点越大表示样本越多。
近期状态权重
回测显示，加入最近一年状态变化的小权重后，Brier 分数变化很小，但 Top-1 准确率提升约 1.6 个百分点。 当前生产模型使用 alpha=0.2、lookback=1 年。
| 回看年限 / alpha | 0.00 | 0.10 | 0.20 | 0.30 | 0.50 |
|---|---|---|---|---|---|
| 1 年 | 0.5892 54.7% | 0.5890 55.2% | 0.5889 56.3% | 0.5889 57.3% | 0.5895 55.2% |
| 2 年 | 0.5892 54.7% | 0.5889 55.2% | 0.5889 55.2% | 0.5891 56.3% | 0.5902 54.7% |
| 3 年 | 0.5892 54.7% | 0.5899 54.7% | 0.5910 55.2% | 0.5922 55.7% | 0.5956 54.7% |
| 4 年 | 0.5892 54.7% | 0.5889 56.3% | 0.5889 56.3% | 0.5893 54.7% | 0.5909 54.2% |
| 5 年 | 0.5892 54.7% | 0.5890 56.3% | 0.5892 55.2% | 0.5899 55.2% | 0.5921 54.2% |
更好更差最优：alpha=0.2, 回看=1 年
点球模型
淘汰赛常规时间打平后，系统不再使用完全随机的 50/50，而是根据历史点球大战胜率做贝叶斯收缩估计。 由于回测样本只有 13 场点球大战，结论仍然偏谨慎。
点球模型准确率
53.8%
Brier 0.2507
随机基准
50.0%
Brier 0.2500
主场加成
当前模型在小组赛给东道主增加 100 ELO。历史回测里主队样本较少，因此这个参数更适合作为可调项继续观察。
仅小组赛小组赛 + 淘汰赛
如何理解这些指标
- Brier 分数衡量概率预测的均方误差，越低代表概率越可靠。
- Log loss会更重地惩罚过度自信但错误的预测，是预测市场常用指标。
- Top-1 准确率表示概率最高的结果最终命中的比例，三选一比赛里平局本身就很难预测。
- 这个回测只评估 90 分钟常规时间结果，进入加时或点球的比赛按常规时间平局计算。