Creative Commons转向支持“付费爬取”：AI冲击下，创作者的生路还是新的垄断风险？

当聊天型AI直接给出答案，用户不再点击原始网页——这场由生成式AI引发的“流量断崖”，正把全球内容创作者推向生存危机。在此背景下，长期倡导开放共享的非营利机构Creative Commons（CC）罕见表态：审慎支持“付费爬取”（pay-to-crawl）技术，尝试为内容生态重建可持续的收益机制。

CC以推动知识共享许可（CC协议）著称，今年7月曾提出AI数据共享的法律与技术框架。如今，面对AI爬虫大规模抓取却难以带回流量的现实，CC在最新博客中表示：“如果能负责任地落地，付费爬取或许能帮助网站维持内容创作与开放发布，避免更多内容被迫进入封闭墙内，甚至从网络上消失。”

“付费爬取”的核心思路很直白：当AI公司（如OpenAI、Google、Meta）的爬虫访问网站并用于训练模型时，应向内容提供方付费。Cloudflare率先推动这一模式，其背后是内容产业的共同焦虑——传统“以内容换流量”的互联网契约已然破裂。过去网站乐于被搜索引擎索引，因为搜索能带来访问与广告收入；而现在，用户在AI对话中就拿到答案，几乎不再点开原始页面。多项研究显示，新闻出版业来自搜索的流量大幅下滑，中小媒体首当其冲。

头部媒体尚可凭议价能力与AI巨头签订独家授权——如OpenAI与Condé Nast、Axel Springer，Perplexity与Gannett，Amazon与《纽约时报》，Meta与多家出版商——但数以百万计的独立博客、小型新闻站、教育平台并无此筹码。若付费爬取能够标准化、自动化，或将成为他们一种“普惠型收入来源”。

不过，CC的态度并非盲目乐观。该组织明确提醒：若设计不当，付费爬取可能**进一步集中网络权力**，甚至切断公共利益主体的访问路径。“研究人员、非营利组织、文化遗产机构、教育者等服务公共利益的人群，不应被付费墙挡在门外。”

为此，CC提出一套“负责任付费爬取”原则：  

– 不能设为网站默认项，需由内容方主动开启；  

– 避免一刀切的全网规则，尊重网站自主权；  

– 倾向“限流/限额”而非“一律封禁”，允许低频或非商业爬取；  

– 保障公共利益访问，如学术、教育用途；  

– 系统应开源、可互操作，并采用标准化组件。

值得关注的是，付费爬取生态正在快速成形。除Cloudflare外，微软正搭建面向出版商的AI内容市场；初创公司ProRata.ai、TollBit也在推进类似方案。更关键的是，一个名为**RSL**（Really Simple Licensing）的新标准正获得广泛支持。该标准允许网站声明哪些内容可被爬取、用于何种目的，但**不强制阻止爬虫**——是一条“声明即授权”的中间路径。Cloudflare、Akamai、Fastly三大CDN已采纳RSL，Yahoo、Ziff Davis、O’Reilly Media等内容方也已加入。CC亦宣布支持RSL，并将其纳入“CC信号”（CC Signals）项目，旨在为AI时代开发新型的内容授权与发现工具。

Creative Commons的立场转变，意味着开放网络理念正在与现实的经济压力艰难对齐。付费爬取未必是完美答案，但在AI吞噬流量、创作者声音被稀释的当下，它或许是一场必要的试验：在保护创作激励与维系信息开放之间，寻找一条不至崩塌的窄路。否则，当最后一个独立博客因难以为继而关闭，再精准的AI答案也会失去其赖以存在的真实世界根基。