长期信息1 分钟阅读·
拆开神经网络读出原理，模型越大越难做到
神经网络是聊天机器人、图像识别背后那类程序，内部是海量互相加权的数字，没人逐条写过规则。
重要性实质性证据E3 可检验写法快讯
神经网络是聊天机器人、图像识别背后那类程序，内部是海量互相加权的数字，没人逐条写过规则。Chris Olah 在一次长访谈里讲他押注的方向：机制可解释性——把网络拆开，读出它实际执行的步骤，并对每一步给出能被检验、可能被推翻的说法。
今天各家AI公司谈安全，常说要「打开模型看内部」，沿用的正是这套纲领。他本人在访谈里最担心的反对理由是：模型规模一大，这套拆解可能跟不上，这一点至今没有定论。看到「我们理解自己的模型」这类说法时，先问：他们真拆开的是多大的模型。
访谈里的话是对研究方向的预期，不是已验证的结论。如果有人拿它断言某个大模型已被读懂、或永远读不懂，就别用它来判断，那超出了访谈能支撑的范围。
《Chris Olah 谈神经网络内部》（2021）｜下次复查 2027-09-20