Cloudflare近期推出 “按抓取付费” ，这套机制默认拦截AI爬虫对新域名的访问，并允许内容发布者自主选择对爬虫开放免费访问、按次收费或完全禁止，由此引发SEO圈关于内容可见性与商业化的激烈讨论。
Cloudflare“按抓取付费”规则：
Cloudflare“按抓取付费”功能目前处于测试阶段，对新接入域名默认开启 “阻止AI爬虫” 模式。发布者可在后台为每个爬虫设置三种权限：
- 允许：开放无限制免费抓取；
- 收费：按全站统一价格对每次请求收费，爬虫需通过 HTTP 标头声明付款意图（如携带crawler-exact-price或crawler-max-price字段），否则返回 “402需要付款” 响应；
- 阻止：直接拒绝访问，返回 “403 禁止” 状态码。
从技术层面来看，Cloudflare系统通过Ed25519密钥对和HTTP消息签名验证爬虫身份，防止伪造请求。Cloudflare作为中间方处理计费和收益分成，目前已有康泰纳仕、《时代》杂志、Reddit等头部平台加入测试。
部分SEO专家指出，默认拦截可能导致网站在AI搜索结果中 “隐身”。Yext副总裁Duane Forrester警告，企业若未主动调整设置，可能在不知情下被AI工具排除，失去流量入口；Amsive Digital的Lily Ray提到，需紧急与客户沟通，避免因设置默认阻止而影响内容曝光。
技术SEO顾问Pedro Dias却认为当前AI公司免费使用内容的模式对发布者不公平，该机制是 “必要的权益重置”；Shopify工程师Ilya Grigorik则肯定了加密验证的技术价值，称其解决了合法与恶意爬虫的区分难题。
如果大家担心内容在AI搜索中消失，网站所有者可按以下步骤调整设置：
- 进入Cloudflare管理面板；
- 点击 “安全→爬虫程序”；
- 找到 “阻止AI训练机器人” 选项，将默认的 “阻止所有页面” 改为 “不阻止”。
Cloudflare官方表示，推出该功能的核心目标是让内容创作者掌握主动权，既可以免费开放内容，也能为AI访问定价。按次付费模式通过集成现有Web基础设施（如HTTP状态码、身份验证机制）降低接入门槛，未来还计划推出动态定价等进阶功能。
如何参加Cloudflare“按抓取付费”测试？
参与地址：https://www.cloudflare.com/zh-cn/paypercrawl-signup/
注意：填写该页面底部的表单，明确你是发布者还是爬网程序所有者，即可申请参加封闭测试版的权限。
扩展阅读：
(本文由美国主机侦探原创，转载请注明出处“美国主机侦探”和原文地址！)
微信扫码加好友进群
主机优惠码及时掌握
QQ群号：938255063
主机优惠发布与交流
