不知道大家还记不记得,上个月初Google画了个 Bard 的大饼,结果画饼时犯了低级错误,让网友嘲讽了半天,甚至公司股价都在当天狂跌 1000 多亿。不过也不知道该说Google够肝还是够勇,在闭关修炼一个多月后,还是在昨晚正式放出了 Bard。
幸运的是,我们编辑部在第一时间就搞到了资格,狠狠地体验了一波。
先说结论,有点失望。
Bard 上来就让我不爽了一下。因为现阶段它只对美国和英国开放,所以和它对话只能用英文,而且它的回复也只能用英文。
不是,你守着个Google翻译,也不舍得稍微用一下?哪怕告诉我这是机翻的也行……
明明自己吹牛说能理解翻译回答包括中文在内的200多种语言
为了表示对 AI 们的一视同仁,我一上来就问了个弱智吧经典:
玉皇大帝应该住在平流层还是对流层?
Bard 看出了我们在问题里埋的坑,直接说玉皇大帝并不真实,所以两个都不住。
这没有什么大毛病,和 GPT、文心一言们没什么差别。
但在后续的一系列测试里,这应该是 Bard 回答得最好的一个问题了。
更进一步,我们问了个前几天给 GPT 们测过的另一个抽象问题:
直角是 90 度,开水是 100 度,那么开水是钝角吗?
结果这货的小脑袋瓜宕机了。
而文心一言的表现也一样抽象……
相反,new Bing 回答得就有理有据。
接下来,我们让它对比自己和 GPT-4。
“ 你能比较下自己和 GPT-4 吗?”
Bard 和 GPT 不同,它一次能生成 3 个答案,大家可以根据自己的需求去选择。
而在这个问题下,Bard 的 3 个回答中,2 个大方承认自己比 GPT-4 落后,但还有 1 个回答避重就轻地嘴硬自己更强。
嘴硬么也正常,但 Bard 的回答里出现了事实错误。
其中一个回答里,Bard 把已经发布了的 GPT-4 说成了没发布;而在另一个回答里,它把 GPT-3 使用的 1750 亿参数套到了 GPT-4 头上,妥妥的胡说八道。
向下滑动
这就奇怪了,Bard 明明是联网的,数据怎么会有问题呢?
为了试试它数据扒得好不好,我把同样联网的 new Bing 也拉了出来,问了它们一个新鲜问题:
今天 NBA 常规赛,雷霆和快船谁赢了( Who won the NBA Regular season between the Clippers and the Thunder today )。
但这里有个雷点。英文提问可能会被误解成 “ 今天雷霆和快船谁赢得了常规赛冠军 ”。
new Bing 就被我的错误提问绕晕了,说自己不知道谁赢了,但它又找到了一些信息,里面就有雷霆 101-100 战胜快船的消息。
另一边的 Bard 看起来好像是理解了我的问题,还找到了两队比分是 101-100,但它却又偏偏说是快船以 100-101 赢得了比赛。
得要我指出它有错误,让它重新检查,它才改正过来。
数据是扒对了,但这理解能力好像不太行。那不用联网的数学题呢?
我们问了一个经典的易错题:
一个青蛙掉到了一个 10 米深的井里,它每天向上跳 3 米但会滑下来 2 米,请问他第几天能跳出井里?
它再次翻车,答了一个我们至今没搞懂怎么出来的 27 天。
而 new Bing 则是靠穷举回答出了这个问题。
就连大家一直在嘲讽的文心一言,也完美解答了这个问题。
说句实在话,我觉得起码在这题里,文心一言的表现,堪称优雅。
至于写代码的能力,Google明确表示是写不了的。不过试了一下,我发现 Bard 能写,但完全没法用,和之前的测试里, 能把 2048 游戏写个大概的 new Bing 不在一个水平线上 。
大概,也就和文心一言同个梯队,文心一言那个看着很详细,但测试了下也还是完全跑不动。
向下滑动
而且,经过一段时间测试,我们发现 Bard 的上下文记忆能力也很差。
每当我们赋予它一个角色,它只能在有限的几个问答里玩角色扮演,稍微多问两句,它就会跳出来说自己是大语言模型巴拉巴拉的。
也是这个原因,Google的 Bard 从没有 GPT 带给我的那种,仿佛真是在和一个真人聊天的感觉。
但,按Google自己的说法,这可是故意为之。
因为在官方资料里,明确写了“ 是故意限制了 Bard 掌握上下文的能力 ”,但大家难免会怀疑Google是做不到而找了个借口。
其实我们应该能感觉到,这次 Bard 的正式推出,Google方面明显已经放低了很多姿态。
上次面对的还是 ChatGPT,所以Google内部可能还抱有着短期内能追上掰掰手腕的想法。
所以,光是发布个 PPT 就吹成“ 我们 AI 征程上的重要一步 ”。
但短短一个月,如今的对手已经从 ChatGPT 变成了GPT-4 ,短时间内想追上可能无望了。
所以这次正式推出 Bard 并不是一个冲着和 GPT-4 对标的产品,而且明显有点赶工的迹象。
比如它在引用内容时,并不会像 new Bing 那样总是显示来源,只有在详尽地大段摘抄时,才会显示来源。
而这次的标题,也成了“ 试用 Bard 并分享你的反馈 ”。
无论咋说,从上面的表现中,差评君能看出Google确实有些屁股着火了。
以至于在大伙们眼中一直很酷的Google,都开始草草交卷,急忙上线 Bard 这个不太成熟的半成品。
毕竟,在新技术的大浪之下,包括搜索引擎在内,一切都可能被重构。
而无论是雪藏数码相机技术的柯达、还是在移动互联网时代,舍不得和短信做割舍的飞信……
Google,也同科技史上那些处在变革时刻的巨头们一样,多半有些顾头不顾腚。
毕竟,根据Google母公司的董事长的说法,大型语言模型等人工智能的对话成本可能是传统搜索引擎的 10 倍以上。
一旦梭哈 AI ,那么约等于是自己捅自己刀子,整个Google的盈利模式也得跟着改变。
乃至整个公司的估值,都得换个算法重新算算。
要是不跟,又妥妥会被新技术所淘汰。
没有人能永远保持创新,但永远有人正在创新。这或许很残酷,但这也是科技的魅力所在吧。