测试显示知乎解除强制登录后仍屏蔽谷歌和必应搜索 但已经不屏蔽其他搜索

2025年02月26日 09:40 次阅读 稿源:蓝点网 条评论

2024 年 5 月~6 月知乎通过各种技术手段强迫用户登录账号才能查看全文内容,当时知乎还干扰谷歌和必应等搜索引擎,直接输出乱码内容阻止这些搜索引擎继续抓取内容。2025 年 2 月也就是现在,知乎已经解除强制登录,现在普通用户不需要登录就可以查看评论全文、知乎专栏全文以及查看评论区内容等。

为此蓝点网比较好奇知乎当前采取的屏蔽策略,所以我们修改 UserAgent 进行了测试,测试发现知乎仍然屏蔽谷歌和必应搜索,但已经放行其他搜索引擎。

注:测试显示知乎仍然屏蔽百度,但知乎与百度有合作,应该通过专属通过让百度抓取内容,所以直接使用百度爬虫测试还是被封禁的;搜狗(腾讯系)爬虫同理,测试是被封禁的,但应该也有专属爬虫通道,否则不可能百度和搜狗被屏蔽而 360 搜索可以正常抓取。

让我们比较惊讶的是知乎甚至还放行了 OpenAI 用于抓取数据进行训练的 GPTBot 和用于 ChatGPT Search 的 OAI-Search 爬虫,所以那为什么还继续屏蔽谷歌和必应呢?

如果说谷歌和必应是国外搜索引擎,那 Yandex 和 ChatGPT Search 也都是国外搜索引擎,这些测试都没有屏蔽,这就让蓝点网非常好奇了。

另外蓝点网检查知乎的 robots.txt 抓取协议,协议显示诸如百度、谷歌、搜狗、必应是可以抓取知乎问答内容的,但只是协议没有禁止,知乎又通过服务器端进行了阻止,不知道知乎是忘记更新 robots.txt 协议还是怎么回事。

测试结果 1:用户端正常访问 (点击图片可以查看大图)

测试结果 2:随意写的 landian-ua-test  (点击图片可以查看大图)

测试结果 3:测试百度爬虫显示被封禁,百度应该有专属的抓取通道 (点击图片可以查看大图)

测试结果 4:必应搜索爬虫 bingbot 被拦截 (点击图片可以查看大图)

测试结果 5:谷歌搜索爬虫 GoogleBot 被拦截 (点击图片可以查看大图)

测试结果 6:搜狗搜索爬虫 sogouspider 爬虫被拦截 (点击图片可以查看大图)

测试结果 7:微信内置浏览器的 UA 可以正常访问 (点击图片可以查看大图)

测试结果 8:OpenAI GPTBot 也能正常访问 (点击图片可以查看大图)

测试结果 9:ChatGPT Search 爬虫正常访问 (点击图片可以查看大图)

测试结果 10:360 搜索爬虫也正常 (点击图片可以查看大图)

测试结果 11:Yandex 搜索爬虫正常访问 (点击图片可以查看大图)

对文章打分

测试显示知乎解除强制登录后仍屏蔽谷歌和必应搜索 但已经不屏蔽其他搜索

1 (50%)
已有 条意见

    最新资讯

    加载中...

    编辑精选

    加载中...

    热门评论

      Top 10

      招聘

      created by ceallan