内容独立日一年后：构建智能体式互联网的商业模式

咕噜早报

AI 总结
• 一年前Cloudflare宣布内容独立日，默认阻止AI训练爬虫，一年后内容变现市场已形成，内容发布者获得控制权与议价优势。
• AI采用速度超智能手机，3.5年内全球30%人口使用生成式AI，开放网络流量下降，智能体流量占互联网总流量超50%。
• 爬虫用途变化显著，52%用于AI训练，传统商业模式瓦解，内容创作者面临流量减少，影响新闻、零售等多个行业。
• Cloudflare工具提供透明度，内容发布者通过稀缺性获得杠杆，已达成超50项授权协议，但市场效率仍待提升。
• Google作为主要流量入口，其AI体验改变内容消费模式，需区分发现与消费爬虫以维护内容价值。

一年前，我们宣布设立 内容独立日 。

当时，我们已能察觉到业内许多人士开始意识到的一个趋势：互联网的基本经济模式正在发生转变。

AI 落地加速，内容发布者所获引荐流量急剧下滑，同时 AI 公司正以前所未有的规模爬取 Web 内容，往往未明确声明其意图，且几乎从不提供补偿。

我们更改了默认设置。

对于所有 Cloudflare 上的新域名，默认将阻止 AI 训练爬虫，除非域名所有者另行选择。

我们此举并非为了将网络封闭起来。

我们之所以这样做，是坚信唯有通过透明度、可控性与稀缺性，才能构建更健康的数字生态，并最终建立一个能让优质内容获得合理定价与公平交易的市场机制。

一年之后，这一市场已然形成。

但互联网的变革速度甚至超出了我们的预期。

本报告将分享若干关键数据，以阐明互联网商业模式的转变速度之快，以及这一新兴内容市场对内容发布者和网站所有者意味着什么。

【第一部分：互联网的变化比任何人预想的都更快】
【垂直的采用曲线】
AI 不是仅仅另一个技术周期。

这是一场平台级转变，其推进速度超过智能手机普及速度的两倍以上。

仅用 3.5 年时间，全球超过 30% 的人口——即 25 亿活跃用户——已开始常态化使用生成式 AI。

这条采用曲线已非单纯陡峭，而是垂直了。



【开放网络的衰落】
人类获取信息、开展工作与线上消遣的方式，从未经历过如此迅猛的变革。



人们使用互联网的模式正发生巨大转变。

如今，人们每花一小时在线检索信息，仅有 15 分钟用于浏览开放 Web。

随着用户转向基于 AI 的信息检索与内容消费模式，传统搜索行为正快速式微。

用户无需访问多个网站搜集、对比信息，只需输入一段提示词，即可近乎即时地获取整合完成的答复。

【智能体式互联网时代已至】
今年，智能体流量首次突破历史性关口：当前互联网超 50% 的流量均来自非人类主体。

这一转变将给内容发布方、内容所有者以及开放 Web 的未来带来深远且惊人的影响。



【爬虫的目的已经变化】
若按照用途查看 Cloudflare 识别出的各类爬虫，爬虫流量的构成便能清晰揭示行业现状：

•

截至 2026 年 6 月，52% 的爬虫请求用于 AI 训练，相比之下，2025 年春季这一数字为 22%。

•

混合用途的爬虫（融合搜索、智能体使用和训练的爬虫）占爬虫流量的 36% 以上。

•

纯搜索抓取现在仅占整体爬虫活动的一小部分，并且份额在下降，尽管这些活动对内容发布方的可见性仍至关重要。



随着 AI 训练成为爬虫活动的主要驱动因素，区分信息检索爬虫与训练爬虫的能力对愈发关键。

混合用途爬虫模糊了二者的界限，令内容持有者陷入两难境地：要么在智能体式时代维持站点的可发现性，要么无偿出让自身极高价值的内容资源。

【传统商业模式已然不复存在】
几十年来，开放 Web 的商业模式一直很简单。

内容创作者以开放自身内容的访问权限，换取搜索引擎中的曝光度，搜索引擎则带来流量。

这一流量是内容发布方、创作者与企业实现商业价值的核心途径。

但如今，这套价值交换模式正在瓦解。

内容仍会被爬虫抓取、收录并加以利用，但平台为源站点提供的引荐的流量则不断减少。

随着 AI 系统可直接解答问题、对比产品、开展调研并完成各类任务，开放 Web 中的信息正越来越多地被纳入 AI 训练与检索体系。

由此引出的核心生存难题十分简单：倘若用户直接取用内容，却从不访问源站点，内容创作者该如何维持自身运营？



【这些影响波及每一个行业】
最早感受到冲击的行业是新闻机构与媒体公司。

当前，类似的影响已蔓延至零售、软件、IT 与金融等多个领域的企业。

部分被爬取最频繁的类别，其人类访问流量在不到一年内降幅高达 40%。



许多内容发布者正为所谓的“Google Zero”做准备——即来自搜索引擎导流的流量微乎其微甚至归零的世界。

其影响实际上波及几乎每一个行业。

任何在互联网上发布专有信息的组织，都需要理解如何在智能体式时代开展运营。

这一动态不仅关乎内容所有者，也关乎我们每一个人。

互联网是全球经济的关键组成部分，也是全球最重要的公共信息资源之一。

维护其健康与可持续性，对所有人都至关重要。
【第二部分：市场已然形成】
【我们构建了什么】
宣布内容独立日时，我们做出了三项承诺：

•

透明度与控制权——帮助网站所有者掌控其内容如何被访问与变现。

•

工具——创造稀缺性，让权力平衡回归内容所有者。

•

市场——其中内容创作者和各种规模的 AI 公司都可以更高效地发现、授权和确定内容的价值。

一年之后，一个面向内容变现的市场已然形成，动态市场的各项条件也正在逐步确立。

【透明度与控制权催生了稀缺性】
长期以来，内容发布者对 AI 公司访问及使用其内容的方式缺乏有效可见性。

随着推荐流量持续下降，这种可见性缺失已演变为经济问题，促使内容发布者寻求新的价值实现途径。

Cloudflare 的归属、商业情报与执行工具，使出版机构得以在网络层面洞察 AI 对内容的消费情况——这一执行机制远比 robots.txt 等自愿性标准更为有效。

发布者首次能够决定其内容的访问方式和变现方式。

这种控制权催生了稀缺性，并推动形成了基于供需关系的内容经济。
【稀缺性创造了杠杆】
通过掌控内容访问权限，内容发布者成功创造了稀缺性，赢得议价优势，进而促成更有利的交易。

出版机构首次获得了运营商级别的归属数据——包括大语言模型（LLM）尝试访问其内容的频率、哪些竞品 LLM 正在抓取其内容、哪些 URL 需求最高，以及抓取量与推荐流量的转化比率。

这减少了许可谈判中的信息不对称，让内容发布者得以在知情的基础上开展谈判。

【杠杆正在改变力量对比】
这一杠杆正在让我们的客户得以掌握主动。

随着对 AI 系统如何访问和使用其内容的可见性不断提升，他们得以更深入地理解对其业务的影响，并更有信心地阐明其所构建的信息、品牌及受众的价值。

随着内容所有者与 AI 公司之间的权力平衡开始发生变化，一个许可经济正在兴起：

•

自 2023 年以来，内容发布者与 AI 公司之间已达成超过 50 项协议。

•

主流 AI 公司如今正积极获取内容授权，日益认识到差异化与优质内容的价值。

•

集体许可模式不断涌现并扩展。

•

大型内容发布者正在达成具有实质意义的授权协议，证明内容在 AI 生态系统中具备真实的经济价值。

当前的议题已不再是内容 “是否” 应当获得补偿”，而是 “如何” 。

【市场日趋成熟，但仍存在效率瓶颈】
早期授权协议已证实市场需求确实存在，但当前的授权模式仍以定制化为主，不太可能完全弥补因推荐流量、广告和联盟营销收入流失所造成的损失。

因此，内容发布者正日益优化面向 AI 消费的内容，以及传统的人类发现路径，同时积极探索新的变现渠道。

供需仍难以高效匹配，尽管各方已认识到并非所有内容都具有同等价值，但内容估值问题仍未解决。

【Google 融合问题】
要全面讨论这一市场，就无法回避 Google 的独特作用。

Google 仍是在线内容发现的主要入口，贡献了约 88% 的推荐流量。

然而，Google 正日益让用户直接在 Google 自有的 AI 体验中消费内容。

                               
登录/注册后可看大图

发现与消费有着截然不同的目的。

搜索将用户导向内容，而 AI 驱动的体验则日益在无需用户访问来源网站的情况下对其进行摘要和复用。

网站所有者对这两类活动持不同看法，因为前者能带来流量，而后者则日益取代了对源网站的访问。

在网站所有者决定谁可以访问其内容、用于何种用途时，这些区别尤为关键。

主流 AI 公司通常区分发现爬虫和训练爬虫，让内容发布者能轻松选择仅对其中一种用途开放内容访问。

Google 并未这样做。

如今，Google 所获取的信息量约为主流 AI 公司的两倍，原因在于 Google 采用混合用途的爬虫，使得客户若要参与其搜索生态，便难以避免同时卷入其 AI 生态。 

与其他 AI 提供商不同，Google 的多用途爬虫也限制了网站所有者的透明度。

由于发现功能与 AI 访问被整合到单一爬虫中，出版机构无法判断 Google 访问其内容的具体目的，也无法区分用于搜索的流量与用于 AI 体验的流量。

他们也因此失去了在网络层面独立允许或阻止这些活动所带来的可见性与证据。

这种局面正推动市场寻求更高的透明度、更强的控制力，以及能兼顾不同规模内容所有者和 AI 公司的新变现模式。

【第三部分：生态系统的独特视角】
Cloudflare 位于新兴智能体经济的交汇点。

逾五分之一的网站由 Cloudflare 网络服务。

在全球访问量最高的网站中，36% 依赖我们的网络，且超过 40% 的《财富》500 强企业是 Cloudflare 客户。

近 80% 的领先 AI 公司，以及数以千计的开发者和新兴 AI 公司使用 Cloudflare。

凭借这一独特定位，我们得以同时掌握市场两端的动态。

我们既能看到内容所有者生产内容，也能看到 AI 公司对其进行消费，还能捕捉到两者之间不断强化的连接信号。

凭借这一视角，我们能够清晰把握市场在过去一年中的演进轨迹，以及现阶段的核心需求。

【第四部分：新兴市场的经验教训】
随着内容发布者和 AI 公司适应新的自主经济，Cloudflare 对当前生态系统的需求有了更清晰的了解。

【透明度必须成为标准】
内容所有者越来越需要了解并控制谁在访问他们的内容、如何使用以及出于何种目的。

AI 公司日益认识到，透明度有助于建立与内容发布者之间的信任，并减少摩擦。

可见性与执行如今不仅是安全问题，更是直接影响授权谈判和商业决策的关键业务要求。

为帮助将透明度立为标准，Cloudflare 继续在增强归属、测量和发布者控制方面进行投入，旨在使内容所有者能够更好地了解和控制其内容的访问和使用方式。

在行业日益追求透明度的背景下，我们认为，可验证的机器人自识别与爬取意图声明是构建可持续生态系统的基石。

目前，我们网络中逾三分之一的爬虫流量依然源自混合用途机器人，导致内容所有者难以辨别其爬取意图。

我们正在积极参与生态系统并投资开发工具，以帮助在明年此时将该数字降至零。
【更好的 AI 需要更好的信号】
过去一年来，一个事实愈发清晰：AI 公司所需要的，远不止是获取内容。

它们需要更优的方法来确定应访问哪些内容、何时访问，以及内容更新的频率。

无差别爬取不仅浪费 AI 公司的计算资源，还给内容发布者带来不必要的带宽负担，从而降低整个生态系统的运行效率。

我们相信，更好的答案需要更好的情报。

我们正致力于打造融合可信度、质量与相关性维度的实时新鲜度信号（real-time freshness signals），助力 AI 公司高效获取差异化信息，并显著降低全网范围内的冗余爬取。

【市场需要更优的发现机制，而后才能形成更合理的定价】
我们相信，唯有先实现更高效的资源发现，才能建立更合理的定价体系。

要推动市场走向成熟，发布者与 AI 公司需要彼此掌握更充分的信息。

我们致力于打造更完善的市场情报、内容标识体系与双向发现能力，为生态系统中各方建立可扩展的市场机制奠定长期基础。

【第五部分：构建智能体式互联网的基础设施】
一年前，“内容独立日”提出了一个简洁的理念：内容所有者应对其信息被 AI 公司访问和使用的方式拥有更大控制权。

在过去十二个月中，这种控制权催生了一个市场。

透明度创造了稀缺性。

稀缺性创造了杠杆。

杠杆加速了许可。

围绕 AI 与内容未来的抽象讨论，现已发展为一个活跃的市场，内容发布者、AI 公司及技术提供商正共同应对一套崭新的经济模式。

市场现已进入一个新阶段，需要新型基础设施。

随着互联网日益由智能体驱动，其底层支撑系统亟需升级，从而在规模层面高效处理权限、许可授权及商业交易。

内容所有者和 AI 公司需要更高效的方式连接并交换价值。

我们相信，这些能力将融合为可编程、可扩展的内容发现与变现机制，在降低摩擦的同时，释放更丰富的价值交换形式。

Cloudflare 致力于打造支撑性基础设施和商业情报，积极参与行业标准建设，从而赋能市场更高效地评估价值，使发布者和 AI 公司能够融入一个更健康、更富活力的内容经济生态。

互联网始终在演进。

这一轮演进比大多数变革来得更快、影响也更为重大。

但凭借正确的基础设施、适当的激励机制以及对透明度的承诺，我们相信智能体式互联网可以变得更加可持续、更高效，并惠及所有参与者。

方法论：
本报告中的数据汇集自 Cloudflare Radar 与 Cloudflare Investor Day 2026 演示材料 。

Cloudflare Radar 是一个展示全球互联网流量、攻击以及技术趋势和洞察的中心。Radar 基于 Cloudflare 全球网络的数据构建，旨在帮助任何人从安全、性能和使用角度了解互联网正在发生的情况。

Cloudflare 对互联网的独特理解源自两大支柱：一是其全球网络——作为全球规模最大的网络之一，覆盖 100 多个国家的 330 多座城市；

二是 Cloudflare 1.1.1.1 公共 DNS 解析器所提供的聚合脱敏数据。

1.1.1.1 得到广泛采用，为用户提供快速、私密的互联网浏览体验。

逾五分之一的网站由 Cloudflare 网络服务。