早前 OpenAI 推出 ChatGPT Search 网络搜索功能,该功能本质上也属于搜索引擎因此与谷歌搜索有着直接竞争关系。关于数据收集方面 OpenAI 采用的是两方面措施,一方面搜索技术使用微软必应,另一方面 OpenAI 也在自己抓取内容,所有数据被抓取后将按照特定算法进行排序以便在 ChatGPT 中向用户返回结果。
OpenAI 并未在博客中透露搜索技术使用的是微软必应,不过其工程师在 Reddit 论坛中确认确实使用了必应搜索,因此对站长来说如果想要通过 ChatGPT 获得搜索流量,也要针对必应搜索进行 SEO 优化。
爬虫方面目前 OpenAI 共有 3 种不同的爬虫:
GPTBot:用于从互联网上抓取数据训练 OpenAI 的人工智能模型,该爬虫可以屏蔽不会影响到网站的搜索流量;
ChatGPT-User:用于在用户提问时从网络上检索数据以标注来源链接,该爬虫本身不会抓取网页信息;
OAI-Search:这是 OpenAI 用于 ChatGPT Search 搜索功能的爬虫,专门用于抓取网络数据但不会将数据用于 AI 模型训练。
对网站来说如果不想自己的内容被抓取用于训练 AI 但又不想损失来自 ChatGPT Search (尽管目前可能极少),那就可以屏蔽 GPTBot 而允许 OAI-Search 爬虫。
关于 OAI-Search 爬虫的更多信息:
完整 UA:Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot
IP 地址:20.42.10.176/28、172.203.190.128/28、51.8.102.0/24
为防止有恶意爬虫冒充 OAI-Search 抓取数据,你可以对爬虫 IP 地址进行校验,如果爬虫 IP 地址不再上述 IP 段内均为假冒爬虫,可以直接将其 IP 屏蔽。