纽约人寿专家解析1368起AI故障：评估体系如何从真实失败中构建
来自纽约人寿的Vishal Srivastava和Tanmay Sah在AIE Podcast中分享了基于1368起公开AI事故的研究。他们提出将故障分为技术能力、部署控制和业务影响三个维度，并指出薄弱的部署控制（如人工审核）与危害最相关。该期节目展示了如何通过“构建-破坏-修复”循环来验证AI系统，为从业者提供了具体的评估框架参考。
在人工智能快速迭代的背景下，如何有效测试和评估AI系统的可靠性成为行业痛点。本期AIE Podcast邀请了来自纽约人寿（New York Life）的Vishal Srivastava和Tanmay Sah，他们基于对公共AI事件数据库中1368起真实故障的分析，探讨了这些失败案例对AI评估体系的启示。
两位嘉宾提出了一种分类框架，将AI故障归纳为技术强度、部署控制和业务影响三大领域，并细分为13个子领域，覆盖了约98%的事故类型。研究特别强调，导致严重危害的最主要因素往往不是模型本身的技术缺陷，而是薄弱的部署控制措施，例如缺乏充分的人工审核和实时监控机制。
节目中还介绍了实用的评估方法论，包括如何根据潜在风险大小对用例进行优先级排序，以及为何评估者自身也需要被验证。他们展示了一个“构建-破坏-修复”（build-break-fix）的迭代循环，旨在主动证明系统错误而非仅仅确认其正确性，并以一个航空公司聊天机器人提供错误退款政策的实际案例进行了演示。对于关注AI安全落地和评估工程化的读者，这期内容提供了基于实证数据的结构化视角。