AI平台爬虫趋势

【背景】随着用户获取信息的方式从传统搜索引擎转向AI对话平台，企业的数据监控重心正在发生根本性转移。根据Decodo发布的《2026年最常被爬取的网站》报告，ChatGPT和Perplexity首次进入被爬取网站的前五名，标志着“生成式引擎优化”（GEO）监测成为新的行业常态。

过去两年，企业主要通过网络爬虫监控用户在搜索引擎中的行为；而现在，他们直接爬取AI平台以了解“用户被告知了什么”。数据显示，TikTok仍居首位（18%），Google第二（16%），但ChatGPT以14%的占比位列第三，Perplexity以10%位列第五。与此同时，Walmart、eBay等传统零售巨头跌出前十，反映出消费者购物路径向AI推荐和社交媒体内容的迁移。

【存疑】该数据基于Decodo自身客户群的匿名使用记录，虽能反映特定B2B服务商视角下的趋势，但未必代表全网所有爬虫活动的绝对比例。此外，AI答案具有非确定性，同一提示词在不同时间或模型版本下可能产生不同结果，这使得大规模自动化监测的技术门槛高于传统网页抓取。

未来需关注Gemini和Copilot是否也会进入此类榜单，以及AI代理是否会进一步取代人类发起这些监测任务。