AI训练爬虫退出标准

2026年10月30日，OpenAI、Google、Microsoft和Anthropic宣布支持一项新的AI训练退出标准。该标准由Anthropic工程师Kevin Kelley起草并提交至互联网工程任务组（IETF），旨在通过统一的“政策令牌”（policy token）简化网站在robots.txt文件中屏蔽生成式AI训练抓取的流程。此前，网站需为每家AI公司的每个爬虫单独配置规则；新标准允许网站通过单一指令向所有参与方表达拒绝训练的意愿。

【背景】随着AI爬虫流量激增，出版商与AI公司间的授权矛盾加剧。Cloudflare数据显示，2026年6月自动化请求占HTML页面访问的57.5%，其中训练类抓取占据主导。现有robots.txt协议无法区分搜索索引与AI训练用途，导致网站面临“要么全开、要么全关”的两难选择。

目前，各巨头实施进度不一：Anthropic已率先部署；OpenAI计划在未来数月内跟进；Google和Microsoft预计于2027年初支持，其中Microsoft明确将于2027年2月1日起生效。Meta虽表示支持建立共通讯号，但未承诺具体执行时间。该标准属自愿性质，不涉及付费授权，其实际效力取决于各方的遵守程度及后续监管介入。