韩国门户Daum宣布屏蔽AI爬虫后，承载新闻的子域名仍完全开放
Bluedot Intelligence联合创始人李成奎通过HTTP测试和robots.txt文件检查发现：Daum于10月7日仅在www.daum.net和daum.net主域设置了AI爬虫屏蔽规则，但实际承载新闻文章的v.daum.net和news.daum.net子域名既无robots.txt文件，也未在HTTP层面拦截GPTBot、ClaudeBot、PerplexityBot等爬虫，新闻内容仍被AI搜索引擎自由引用。
重要性实质性证据E3 可检验写法标准
韩国门户Daum在10月7日更新robots.txt规则，宣布屏蔽AI爬虫对新闻内容的访问。Bluedot Intelligence联合创始人兼CEO李成奎随后进行了两项测试，结论是：屏蔽只覆盖了主域名，承载新闻的实际路径仍然完全开放。
关键在于robots.txt的作用域规则。根据互联网工程任务组（IETF）发布的RFC 9309标准，robots.txt按host而非按domain生效。www.daum.net、v.daum.net和news.daum.net虽然共享daum.net这个顶级域名，但它们是不同的host。李成奎检查发现，v.daum.net和news.daum.net上根本不存在robots.txt文件。按照RFC ↗ 9309的规定，当爬虫请求robots.txt得到404响应时，该服务器上所有资源均视为可访问。他进一步用GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot等六种主流AI爬虫的User-Agent标识直接请求新闻页面，全部返回200状态码，说明HTTP层面也没有拦截。
这意味着，向Daum供稿的韩国媒体应持续要求Daum在v.daum.net和news.daum.net上分别部署robots.txt以屏蔽AI爬虫。李成奎指出，若这两项要求未得到落实，媒体在自身网站层面单独屏蔽AI学习机器人的措施将不会产生实际效果，AI搜索企业仍可在未经许可的情况下自由使用其新闻内容。
不过需要注意，李成奎所在的Bluedot Intelligence本身向媒体机构出售AI引用监测和生成引擎优化咨询服务，本文的引用率数据即来自该公司自有的B-PAICI指标体系。