Bright Data工程师Yohan Raju演示MCP服务器如何为AI智能体提供实时网页数据
在AI Engineer会议上，Bright Data的Yohan Raju展示了如何利用MCP服务器将Amazon产品列表和Reddit讨论等实时网页数据接入AI智能体。该演示对比了传统爬虫管道与基于智能体的数据采集，突出了获取结构化、新鲜证据以支持决策的工程实践差异。
对于构建需要实时外部信息的AI智能体的工程师而言，如何可靠地获取并结构化网页数据是一个核心工程挑战。在2026年10月11日发布的AI Engineer会议演讲中，Bright Data的Yohan Raju通过一个具体案例展示了这一问题的解决方案：利用Bright Data的MCP（Model Context Protocol）服务器作为统一接口，将实时网页数据接入AI智能体的决策流程。
Raju演示了一个产品情报智能体的工作流，该智能体检查Amazon上的特定商品列表，搜索Reddit上关于同一产品的讨论，并将这两个来源的信息转化为购买建议。他使用Bright Data API和Gemini模型构建了这一流程，旨在说明智能体为何需要新鲜、结构化的证据，而不是完全依赖模型内部存储或检索系统中的信息。演示过程包括收集价格、评分和产品细节，添加客户情绪分析，最后要求模型解释其推荐逻辑。
除了前端的应用演示，Raju还深入探讨了背后的工程实践。他详细讲解了传统爬虫管道的复杂性，包括页面发现、处理变化的选择器、管理浏览器和代理基础设施、验证返回字段以及向下游交付干净记录。随后，他将这一传统过程与由智能体驱动的数据采集进行了对比，引入了Bright Data的MCP服务器作为连接搜索、页面提取和浏览器工具的接口。
演讲中还包含一个Glassdoor访问权限的并行示例，展示了看似简单的请求可能遇到的访问障碍，以及MCP如何处理这些问题。此外，Raju讨论了职位数据用例，其中职位空缺、薪资和地点的变化需要与历史记录一起持续更新。整个研讨会以实时笔记本结果结束，并讨论了这种数据采集和分析模式如何扩展到电子商务之外的领域。