Hostinger

广告

安信SSL证书

广告

Google新增用户代理Google-Agent 抓取器文档更新

美国云服务器推荐

Google在用户触发抓取器官方文档中,新增了一款用户代理:Google-Agent,同时公布了对应的IP地址段,并明确该代理运行于Google基础设施之上,主要用于代表用户浏览网页并执行相关操作。

Google此前表示,Google-Agent将在发布后的几周内逐步放量。目前这一部署进程已正式启动,部分网站的服务器日志中已出现该代理的访问记录。

Google-Agent

虽然现阶段AI代理尚未实现大规模自动化操作,如下单、表单填写等,相关无缝交互所需的协议与标准仍在构建中,但一个明确且加速发生的趋势是:AI代理已开始与真实网站交互,代表用户浏览内容、分析信息并执行页面指引。

目前Google-Agent带来的流量规模仍然较小,但相较发布初期已呈现稳步增长。当前正是建立行为基准数据的最佳时机,若等到流量显著增长后再分析日志,将缺乏可对比的历史数据支撑。

当前网站管理人员需要做:

1、记录Google-Agent访问日志

在服务器日志中筛选并留存Google-Agent访问数据,包括访问URL、完整UA字符串、访问时间及来源IP。即便每日仅有少量访问,也建议持续记录,作为后续分析的基准数据。若已留存近几周日志,可回溯检查是否存在早期访问痕迹。

2、检查CDN与WAF规则,避免误拦截

多数网站会在Cloudflare、AWS WAF、Sucuri等安全平台配置机器人拦截规则,存在误判并屏蔽合法Google-Agent流量的风险。

建议完成两项检查:

  • 确认CDN或WAF未将Google-Agent列入黑名单;
  • 将Google官方公布的IP段加入白名单,相关地址可从官方文件“user-triggered-agents.json”获取。

3、借助工具监测AI代理访问情况

中小型网站可使用Semrush网站审计工具,检查AI代理是否可正常访问站点;也可通过日志分析工具,专门追踪AI代理的访问路径与行为。

企业级用户可使用Semrush Enterprise的代理分析功能,精准识别访问站点的AI代理类型及其交互内容。
核心目标是确保Google-Agent及后续其他AI代理不会被服务器、CDN或防火墙拦截。

点击直达Semrush官网免费试用>>>

Semrush Enterprise

Google-Agent和Googlebot的区别:

Googlebot由系统自动触发的爬虫,用于页面抓取与索引构建,无需用户介入即可独立运行;而Google-Agent由用户行为触发,仅在用户要求AI代理执行某项操作时才会访问网站。

从服务器日志角度来看,包括Googlebot在内的常规爬虫均为后台自动化进程;而Google-Agent的出现,标志着真实用户请求可直接驱动AI代理对网站进行访问与交互。

相关阅读:

Google更新Googlebot文件大小限制文档

Google推出2026年3月垃圾信息更新 全球全语言覆盖

2026年Google首次算法更新:聚焦本地和高原创度内容

(本文由美国主机侦探原创,转载请注明出处“美国主机侦探”和原文地址!)

主机侦探企业微信

微信扫码加好友进群

主机优惠码及时掌握

主机侦探QQ群

QQ群号:164393063

主机优惠发布与交流

温馨提示:

1、本站部分图片来源于互联网,如有侵权请联系删除。邮箱:2942802716#qq.com(#改为@)

2、本文评论没有专人回复,如果您有问题请到美国主机侦探论坛提问!

3、美国主机侦探免费为您提供美国主机购买咨询。

RAKsmart美国服务器
下一篇
Google-Agent
已经没有了
返回顶部