Cloudflare将在明年推出新市场 允许AI模型开发商付费获取网站内容的抓取权限

2024年09月24日 14:36 次阅读 稿源:蓝点网 条评论

有着赛博菩萨称号的 Cloudflare 日前宣布了一则重磅消息,该平台计划在明年推出一个新市场,叫做市场是因为这个新平台将帮助内容创作者与 AI 开发商进行交易。

按照 Cloudflare 的描述,网站管理员可以将自己的网站放在市场中,如果有 AI 开发商愿意付费购买内容,则可以抓取网站的内容用于 AI 模型的训练。

该公司称如果 AI 开发商不以某种方式补偿内容创作者,那么内容创作者就会停止创作,这是必须解决的问题。Cloudflare 还提到该公司听到的都是内容创作者沮丧的声音,因为现在各种 AI 公司都在无偿抓取内容,创作者感觉自己的内容被盗了。

AI-Audit-Cloudflare-Scraping-Business.webp

目前 Cloudflare 还提供了防止被盗的功能:网站管理员可以一键屏蔽各大 AI 公司的已知爬虫,直接从 CDN 或防火墙层面拦截这些爬虫,阻止这些爬虫继续抓取网站内容。

今年早些时候知名人工智能搜索初创公司 Perplexity 就被发现无视网站的 robots.txt 协议,即便网站管理员已经明确禁止其爬虫抓取内容,但 Perplexity 仍然会继续抓取内容。

一些网站所有者也对这种情况深感无力,一方面自己的内容被人工智能公司无偿抓取,另一方面这些爬虫还会高频次抓取类似 DDoS 攻击,这导致网站要付出更高的服务器和带宽成本。

Cloudflare 新推出的一键屏蔽功能则可以在一定程度上解决问题,因为 Cloudflare 直接屏蔽访问不需要 robots.txt 文件,该公司称新功能让网站所有者实现只有 Reddit 和 Quora 等大型网站才能做到的事情。

此前 Reddit 和 Quora 也开始禁止 AI 爬虫抓取内容用于模型训练,这些大公司有庞大的团队,通过各种机制拦截未经授权的爬虫,对小型网站来说使用 Cloudflare 的一键拦截确实会更加方便。

对文章打分

Cloudflare将在明年推出新市场 允许AI模型开发商付费获取网站内容的抓取权限

1 (50%)
已有 条意见

    最新资讯

    加载中...

    编辑精选

    加载中...

    热门评论

      Top 10

      招聘

      created by ceallan