辛顿AI安全警告
7 节点1 篇7 来源
【背景】杰弗里·辛顿（Geoffrey Hinton）作为2024年诺贝尔物理学奖得主及“AI教父”，自2023年起持续对人工智能发展发出严厉警告。截至2026年11月，他的核心观点已从早期的技术风险延伸至社会结构与伦理层面：他认为当前前沿AI模型可能已具备某种形式的“意识”或主观体验，且由于科技巨头（如OpenAI、Meta、xAI）优先考虑利润而非安全，人类可能仅剩一两年时间来建立有效的监管体系。
辛顿主张AI监管应效仿美国食品药品监督管理局（FDA）的模式，要求企业在发布前证明安全性，并呼吁将更多算力资源投入安全研究。他警告称，若无法确保超级智能对人类福祉的关注，可能导致贫富差距扩大、社会撕裂甚至文明终结。尽管杨立昆等科学家反驳“AI意识说”，但辛顿坚持认为，面对比人类更聪明的系统，现有的权力结构和伦理框架已失效。目前，全球监管机构尚未形成统一标准，而AI在代码生成、自主代理攻击等领域的进展似乎印证了他的部分担忧。
事情怎么走到这一步
辛顿获得诺贝尔物理学奖，并在随后的采访中强调需要大量研究投入以控制AI风险，指出政府可强制大公司增加安全预算。
nobelprize.org ↗辛顿接受CBS采访，估计AI最终夺取人类控制权的风险为10%-20%，批评大型科技公司游说减少监管，并建议将三分之一算力用于安全研究。
cbsnews.com ↗辛顿警告即使目标无害，高级AI也可能因追求子目标而威胁人类，举例说明AI可能视人类为障碍。他呼吁建立类似FDA的独立评估机构。
enterpriseai.economictimes.indiatimes.com ↗辛顿在播客中提出AI公司应在发布前向监管机构证明产品安全性，类比新药审批流程，并推测距离局面恶化仅剩一两年时间。
finance.sina.com.cn ↗辛顿转发论文《如果AI研发自动化引发智能爆炸？》，关注递归自我改进（RSI）。数据显示AI生成代码占比激增，他警告监管窗口期极短。