在当地时间的周一,Anthropic发布了一组Claude 3系列大模型,称其功能在各种基准测试中均优于OpenAI的GPT4和Google的Gemini 1.0 Ultra。在模型的通用能力上,Anthropic称Claude 3系列“为广泛的认知任务设定了新的行业基准”,在分析和预测、细致内容的生成、代码生成以及包括中文在内的非英语语言对话方面,显示出更强大的能力,在任务响应上也更及时。并且允许用户根据具体的需求选择不同的解决方案,达成智能、速度和成本的最佳平衡。
此次Claude 3一次性发了三个模型:Claude 3 Haiku、Claude 3 Sonnet与Claude 3 Opus,能力从低到高,能让客户有更多选择。为了更直观地看不同模型的特点,官方贴出了Claude 3模型与多个能力基准相当的的同行模型的比较:
从这个对比上可以看到Claude在多项AI系统常用评估标准能力中的领先。三个模型中最强的Opus,所有能力皆表现优异,尤其是在研究生级别专家推理(GPQA)、数学、编码等赛道,算得上遥遥领先,完全碾压GPT-4,以及Gemini 1.0 Ultra。
不过,在关注技术领先性之外,此次Claude3的发布还有哪些值得思考的亮点?
01
出走OpenAI的分歧者
Anthropic再次重点强调了Claude大模型的安全性,这也是Anthropic的价值观。提到这一点,就不得不说Anthopic的创立。
Anthropic的创始人Dario Amodei和Daniela Amodei兄妹俩,二人原本都是OpenAI的员工。在OpenAI刚刚成立时,原来在Stripe担任CTO的Greg Brockman加入OpenAI后,先是从Google将Dario挖了过来负责AI安全,随着OpenAI的发展,Dario一路做到OpenAI研究副总裁的位置。
接着Brockman将妹妹Daniela也从Stripe挖到了OpenAI,Daniela同样也是做到了OpenAI安全和政策副总裁的位置。
兄妹俩是西方社会非常典型的理想主义者,尤其是妹妹,一直关注穷人、腐败、地球环境等等全球议题。他们加入OpenAI的原因,除了Brockman的原因,最重要的是,当初OpenAI的定位是开源的非营利机构,目标是要为人类构建安全的AGI。
不过,随着马斯克的离开和随后微软的加入,OpenAI的定位和价值观都开始发生变化。Dario和Daniela,以及OpenAI的很多员工开始与Altman的理念发生分歧,后来兄妹俩,加上曾在OpenAI负责GPT-3模型的Tom Brown一共7个人从OpenAI离开,并在2021年1月成立了Anthropic。
Anthropic的意思是“与人类有关的”,从名字就可以看到Anthropic的目标和愿景。Amodei兄妹一直强调,他们的团队有着高度一致的AI安全愿景,创始团队七个人的共同特点是重视AI安全,包括语言模型的可解释性、可控可靠,想让模型更安全,更符合人类价值观,目标是“建立有用、诚实和无害的系统”。
这些话术听上去并不陌生,因为这就是OpenAI最初广为人知的愿景的2.0版。但在卖身微软后,商业变成了OpenAI的第一要义,加上对于AI风险不加节制的态度,和宫斗后组织结构上的巨大变化,也让OpenAI和Altman的形象逐渐变得负面。
虽然Anthropic的成立时间要比OpenAI晚很多,但Claude的发布时间并不比ChatGPT晚多少,甚至开发完成的时间比ChatGPT更早。根据外媒的报道,Claude之所以没有在第一时间对外发布的最重要原因,是因为Amodei兄妹担心安全问题,认为还需要时日,确保模型安全后,才能真正向世人发布。这也给了ChatGPT和OpenAI率先引发全球关注的机会。
不管怎样,目前Claude已经成长为ChatGPT最大的对手,即便是Google,以及作为OpenAI发起人马斯克的大模型,与GPT4和Claude3还是有一段距离的。
02
安全对策:宪法AI技术
从成立之初,Anthropic就有专门的AI安全团队,专门负责降低虚假信息、生物安全滥用、选举干预、隐私等方面的风险,尽可能增强安全性的透明度。
Amodei兄妹曾经提到现有的大型语言模型“会说一些可怕、有偏见或不好的话”,比如教用户自杀或杀人,种族主义或性别歧视等等,AI安全研究需要降低甚至排除它们做坏事的可能性。
为此,他们在Claude训练中引入了一种叫做“宪法AI(Constitutional AI,CAI)”的技术。根据Anthropic的官方解释,在训练过程中,研究人员会定义一些符合人类公序良俗的原则来约束系统的行为,如不得产生威胁人身安全的内容,不得违反隐私或造成伤害等。这些原则包括联合国人权宣言、Apple服务条款的一部分、Anthropic的AI研究实验室原则等等。确保为大模型提供正确的价值观。
当然,和世界上任何一种号称要秉持公序良俗的大模型价值观一样,这些原则的选择完全是主观的,并且一定会受到训练它的研究人员的影响。Anthropic也承认这一点,但也表示绝对的公平、正确的价值观肯定是不存在的,只能是尽可能纳入更多元的文化和价值观。
该技术的关键在于,研究人员会先训练一个价值观正确的AI,再用它监督训练其他AI,通过AI模型之间的互动与反馈来优化系统,而不是人与模型的互动。该方法被称为基于AI反馈的强化学习(Reinforcement Learning from AI Feedback,RLAIF),理论上对人类更加可靠与透明。
该技术一定程度上牺牲了语言生成的自由度,但理念无疑却是比较受欢迎的,毕竟如今全球对AI的警惕也是越来越高,以马斯克为首的很多人都要求政府严格监管 AI,而且这种趋势也正在逐渐形成,各种法规也在陆续出台。
值得注意的是,RLAIF在提高大模型安全性的同时,其实还解决了生成式AI互动中的拒绝或回避的问题。
在RLAIF之前,行业训练生成式AI的方法都是“基于人类反馈的强化学习”(Reinforcement Learning from Human Feedback,RLHF),也就是我们熟知的外包人工给AI做人工筛选、标识、排序等等。但这种人工训练也会产生很多问题,比如人类普遍缺乏积极处理负面要求的能力,这就会导致AI在面对很多负面的问题,和人类的反馈一样,会说,我不知道,我不理解,或者干脆拒绝回答。
这也引发一个新问题,不能给出答案意味着没有用,但若是给出答案,又意味着有害,价值观不正确。这也是Anthropic提出RLAIF,并在此基础上训练出“宪法AI”的缘由。
在此次Claude3发布时,Anthropic解释说,此前Claude模型经常因为理解不到位,而不必要地拒绝回答。而这一次的Claude 3系列,已经在这方面取得了显著改进。在面对可能触及系统安全边界的询问时,大大减少了拒绝回应的情况。
如图所示,Claude 3模型对请求表现出更细致的理解,能够识别真正的危害,并且因为对上下文理解的增强,拒绝回答无害的提示的频率要要少得多。
03
OpenAI会收复失地吗
作为成立不过两年多的初创公司,眼下无论是规模、估值、收益等等方面,Anthropic都完全无法与OpenAI相提并论。不过,AI安全和人类的利益作为最大的亮点和卖点,这或许会帮Anthropic走出一条与OpenAI不一样的路。
虽然短期内难以全面超越OpenAI,但Anthropic的目标并不小,不包括前几轮的投资在内,Anthropic计划在未来筹集50亿美元,以与OpenAI竞争,并进入十几个行业。
Anthropic的投资人团队非常强大,包括Skype联合创始人Jaan Tallinn、Google、Salesforce、Zoom、SK和其他投资方。其中Google用3亿美元换取了该公司10%的股份。
这种关系被很多人看作最初微软和OpenAI之间的合作关系,即微软出资,用来支持OpenAI的研究。后来的事情大家也都清楚了,如马斯克的诉状中所说,GPT4本质已经变成微软的产品,OpenAI已经变成了微软的闭源子公司,OpenAI在开发且不断完善AGI以最大化微软的利润,而不是造福人类。
不过目前Google与Anthropic的关系,仍仅限于Google是Anthropic的技术支持和资金提供方,而且双方在大模型领域还是竞争对手。至于未来是否会朝微软和OpenAI的方向发生变化,一切都很难料。
Claude3发布后,立刻吸引了全球的关注,并被称行业称作“全球最强AI模型”,一夜之间就取代了GPT4的位置。有人在狂欢,为AI技术的飞速进步欢欣鼓舞;也有人为AI领域出现了另一个价值观正确、能制衡OpenAI的巨头而欣慰;当然,更多人将目光投向OpenAI,并且对GPT5寄予了很大的希望,认为GPT5极有可能收复失地,在大语言模型主战场扳回一局。
GPT5到底能有多强大?去年Altman在公开的演讲中,提到OpenAI已经开发出了比GPT4更强大、更难以想象的东西,远超人们的期待。
按Altman的说法,该模型的能力将彻底改变我们生活方式、经济和社会结构以及其他可能性限制。到时候所有人会发现眼下所发布的这些东西都一钱不值。
行业内很多人认为Altman所说的就是GPT5,当然,也有人认为他谈的是此前OpenAI宫斗中被意外暴露的Q*。其实,无论究竟是5还是Q*,都能证明OpenAI有极大的可能,已经在AGI上实现了突破。届时,Anthropic与OpenAI的竞争,就不是谁响应更快、准确性更高、记忆更好等等层面的比拼,而是不同维度的高下立见了。
当然,Anthropic也表示Claude3并不是它能力的极限,在未来几个月内还会不断发布对Claude 3模型家族的更新。届时,我们也只能以羡慕的心态隔岸看热闹,看看谁跑得更快了。