模型给理由时,先看它算的是不是这套账
长期信息 · 《A Unified Approach to Interpreting Model Predictions》(2017)
有些预测系统会为每次决定给出理由:这笔贷款被拒,是因为收入这项占比最大。SHAP就是给这类理由定规矩的一套算法,它把每个因素对结果的贡献拆开算清楚。
今天风控、医疗模型给出的解释条形图,背后多半是这套算法。2017年这篇论文证明了:要让理由满足几条常识——每个因素单独说清多少、没人认领的部分有着落、理由不因分组方式而变——只有一种算法能做到。后来的解释工具基本都在它上面修修补补。
如果模型复杂、因素之间互相牵连,精确计算做不到,近似结果就依赖额外假设,别拿它判断牵连很强时的贡献。小规模用户实验也不足以证明它给出的理由人真的更信。
《A Unified Approach to Interpreting Model Predictions》(2017)|下次复查 2027-09-20
信息源:arxiv.org