模型给理由时，先看它算的是不是这套账

有些预测系统会为每次决定给出理由：这笔贷款被拒，是因为收入这项占比最大。SHAP就是给这类理由定规矩的一套算法，它把每个因素对结果的贡献拆开算清楚。

今天风控、医疗模型给出的解释条形图，背后多半是这套算法。2017年这篇论文证明了：要让理由满足几条常识——每个因素单独说清多少、没人认领的部分有着落、理由不因分组方式而变——只有一种算法能做到。后来的解释工具基本都在它上面修修补补。

如果模型复杂、因素之间互相牵连，精确计算做不到，近似结果就依赖额外假设，别拿它判断牵连很强时的贡献。小规模用户实验也不足以证明它给出的理由人真的更信。

《A Unified Approach to Interpreting Model Predictions》（2017）｜下次复查 2027-09-20