当前，各大AI机器人根据用户需求大量爬取网站数据，导致用户直接访问原始网站的意愿显著降低。与此同时，网站反而因AI工具的频繁抓取承受了巨大的流量消耗，原本的互利模式被彻底打破。
据Cloudflare和Business Insider的联合调查，Cloudflare自2025年起开始系统性追踪这一现象。该平台通过统计大型科技公司爬虫抓取网站的请求次数，以及这些平台实际为网站输送的访问量，计算得出“抓取与回流比”指标。这一数据直观反映了平台从互联网获取价值与回馈价值的比例。例如，“100:1的比例”意味着平台每抓取网站内容100次，仅为其带来1次访问。
在Cloudflare的统计中，Anthropic的表现尤为突出，其网站抓取量远超为网站带来的访问量，成为“抓取与回流比”最差的公司之一。OpenAI的情况也类似，其指标同样不理想，显示这两家平台正从互联网获取大量价值，但回馈却越来越少。
这一趋势与Business Insider在2024年末的调查结果相互印证。当时的报道指出，Anthropic和OpenAI的爬虫对部分网站的抓取频率“高得惊人”，直接导致这些网站的流量激增，云计算成本大幅上升。一些网站甚至因无法承受成本压力而被迫调整运营策略。
一位开发者透露，其客户的云服务账单在短短几个月内因AI爬虫的暴增而翻倍。这表明，AI公司不仅在减少对互联网的内容回馈，还将更高的运营成本转嫁给了网站所有者，进一步加剧了互联网生态的不平衡。
