牛津教授Philip Stier:AI模型在分布外极端事件预测上面临根本困难
牛津大学大气物理教授、智能地球中心主任Philip Stier在Man Group播客中解释了AI气候模型为何难以预测训练数据中从未出现过的极端事件,以及再分析数据偏差和大样本集合如何共同制造虚假精确度。
牛津大学大气物理教授、智能地球中心主任Philip Stier在Man Group的"A Sustainable Future"播客中,与该公司责任投资首席投资官Jason Mitchell讨论了AI如何改变气候建模。Stier的核心判断是:纯数据驱动的AI模型在预测分布外极端事件时面临根本性困难,而这一局限并非通过增加训练数据量或运行更多次模拟就能解决。
Stier将气候变化的预测问题定义为"分布外问题":我们需要预测的是训练数据集中从未出现过的状态。传统物理模型通过方程组编码了物理定律,即使遇到前所未有的条件,方程仍然适用;而AI模型从历史观测中学习模式,当未来状态超出训练数据的覆盖范围时,模型缺乏外推的基础。他以当前正在发展的厄尔尼诺事件为例指出,由于观测记录太短,训练数据中可能从未包含如此极端的ENSO事件,纯AI驱动的气候预测在此类情形下可能不可靠。
更深层的问题在于训练数据本身的偏差。Stier指出,目前大多数AI天气模型依赖再分析数据训练——即历史观测与传统物理模型输出的结合。这意味着AI不仅继承了观测数据的缺陷(如发展中国家数据覆盖不足、公共观测系统资金有限),还继承了物理模型自身的参数化偏差。他举例说,再分析数据对降水日循环的表征并不理想,这与对流云的参数化有关,AI模型会同样学到这一偏差。对于天气短期预报,只要预测技巧提升就可以接受;但对于气候预测,这种继承偏差可能影响对云反馈等关键过程的判断。
关于大样本集合的误导效应,Stier的警告尤为具体。他指出,运行"非常非常大"的集合确实制造了一种虚假的确定感——结果常被报告到很高的精度位数,但这并不意味着真实不确定性被缩小了。如果模型本身存在影响尾部分布的偏差,那么即使完美地采样了模型分布的尾部,得到的极端事件估计仍然是错误的。他提到学界正在研究引导生成模型高效采样罕见尾部的方法,但强调这些方法只在模型本身可靠且校准良好的前提下才有意义。
对使用AI辅助投资研究的从业者而言,Stier的论述提供了一条清晰的验证边界:当预测目标属于分布外事件时,模型的输出不应被赋予与分布内预测相同的置信度。金融市场中类似的情形包括前所未有的流动性危机、新型资产类别的尾部风险、或结构性断裂后的市场行为。大样本蒙特卡洛模拟或回测产生的精确概率,如果底层模型未能捕捉到关键机制,其精确度本身就是误导性的。Stier认为,解决这一问题的务实路径是将物理约束与数据驱动方法结合,而非用AI完全替代基于方程的建模。