谷歌、微软等四家科技巨头宣布支持统一AI爬虫退出标准

美国科技公司谷歌（Alphabet Inc.）、微软（Microsoft Corp.）、Anthropic和OpenAI于2026年10月30日宣布，计划支持一项即将推出的网站抓取标准。该标准旨在简化网站所有者阻止人工智能开发者使用其内容训练模型的过程。

目前，网站通常通过名为“robots.txt”的文本文件来管理搜索引擎爬虫的行为。若要禁止特定AI公司的训练数据抓取，网站管理员需要为每一家AI提供商及其使用的每一个独立爬虫工具添加单独的排除条目。新标准将允许网站通过一条简单的robots.txt指令，一次性屏蔽所有用于收集生成式AI训练数据的爬虫。这一设置不适用于仅执行非生成式任务的模型。

这四家公司计划将该标准整合进由互联网工程任务组（IETF）维护的“机器人排除协议”（Robots Exclusion Protocol）中，并已向该组织提交了提案草案。此外，微软在其博客中表示，还将提供一项名为“AI Grounding”的设置，允许网站阻止AI模型为了回答用户问题而访问网页（即检索增强生成场景），而不仅仅是阻止训练数据抓取。OpenAI也计划提供类似的控制选项。

根据报道，OpenAI和微软打算在未来几个月内支持这一新的抓取标准，谷歌则计划在明年跟进。Meta Platforms Inc.表示支持该技术背后的理念，但尚未承诺实施。