网络服务商 Cloudflare 首席执行官马修普林斯日前表示，随着 AI 智能体越来越多地代替用户浏览器浏览网页，部分网站正在面临新的成本压力：智能体访问网站、读取内容并消耗服务器资源，但最终可能直接向用户给出答案，网站没有得到实际访客和真实流量，也没有获得收益。
马修普林斯认为这种访问规模正在改变互联网原有的商业模式，网站运营者和 AI 服务提供商需要探索新的成本分担方式，避免未来越来越多的网站被迫关闭。
马修普林斯举例称，如果用户让 AI 智能体推荐某个餐厅，智能体可能会访问 1000 家餐厅的网站、读取 1000 份菜单，但最终用户只会选择其中 1 家。在这个假设场景中，其他 999 家餐厅网站同样需要处理请求、承担带宽、服务器和其他资源成本，但未必能从中获得顾客。
对于新闻和内容网站也存在类似问题，AI 智能体读取文章后直接生成摘要，用户可能在 AI 界面获得答案，网站则失去原本可能获得的访问、广告展示或付费订阅机会。
Cloudflare 正在提供识别、限制和管理 AI 爬虫及智能体访问的工具，也探索让网站按抓取或使用内容向相关服务收费。Cloudflare 提出两种解决方案：第一是提高抓取效率，例如 Cloudflare 与 OpenAI 合作，在网页内容发生变化时提供提示，减少对未发生变化页面的重复抓取，这可以降低网站和 AI 服务商的资源消耗。
第二项就是 Cloudflare 正在推动的付费机制，AI 服务需要向网站等内容提供商支付费用。不同网站可以根据不同场景设置不同的策略，例如有些智能体代表用户查找资料，有些则可能帮助用户购买商品或预订服务，对于查找资料的类型，网站就可以设置收费获取内容。
目前 Cloudflare 已经将按抓取和按使用量收费作为其产品的方向之一。