Cloudflare CEO：机器人流量已超过人类，互联网未来或全面进入“付费抓取”阶段

网络安全和云服务公司 Cloudflare 首席执行官马修·普林斯近日表示，互联网正站在一个非常重要的转折点上。根据最新统计，目前网络中的机器人自动流量已经正式超过人类产生的流量，成为互联网访问的主要来源。普林斯直言，这一变化的发展速度远远快于业内原先判断，原本预计会在 2027 年底才出现的流量反超，如今在各类 AI 智能体推动下提前到来。

智能体推动流量结构大变局

按照 Cloudflare 监测平台对全球 HTTP 请求的统计数据，目前由机器人、爬虫以及 AI 智能体发起的自动化访问请求，已经占到全球总量的 57.4%，而人类用户发起的访问请求则下降到 42.6%。虽然这类统计仍然存在一定的粗略性，但自动化流量超过人工流量的整体趋势已经难以扭转。普林斯认为，未来互联网的运行规则必然会被重塑，全面迈向“付费抓取”时代几乎已成定局。

为了应对这种变化，Cloudflare 早在去年夏天就推出过一项服务，允许网站运营者拦截 AI 爬虫，并对数据抓取行为进行收费。不过，由于当时缺少完善的配套生态，这个项目此前并没有在市场上得到大范围关注和落地。

基础设施升级面向新生态

面对 AI 流量的快速暴增，Cloudflare 目前正在加快研发新的协议和底层基础设施，用来支撑未来“付费抓取”交易中所需要的高频结算能力和流量管理能力。普林斯表示，不管这些访问方被称作机器人、爬虫还是智能体，本质上都是同类自动化工具，网站所有者需要从根本上改变过去单纯对抗的思路，把它们转变为新的商业化机会。

与此同时，传统互联网大型平台也在加速把用户带入新的 AI 交互模式。比如谷歌推出的 AI 概述和 AI 模式等功能，目前已经吸引全球数十亿用户使用，这也进一步说明，用户获取信息的方式正从过去的网页浏览，快速转向 AI 生成与总结。