OpenAI又改写了一次历史,在今日凌晨上线了一款能接受文本、音频、图像多模态输入与输出,表达自然流畅、并能读懂情绪起伏的智能助手GPT-4o。更重要的是,它可被放入桌面和手机端,并完全免费。压力被急剧转移到了Google、苹果身上;未来几天,“科技春晚”还将轮番上演。
最近一周,科技行业热闹非凡,大型“脸对脸”开打的“科技春晚”,更将轮番上演。5月14日凌晨,OpenAI 2024年春季发布会上线。如今这家巨头的每次动向,都存在再度“颠覆”一个行业的可能,既让AI创业者们翘首以盼,更让大家紧张万分。
虽然这场OpenAI的发布会仅持续了28分钟,业内也早有剧透——不会有传说中的ChatGPT 5,也不会直接对标Google做AI搜索;但发布会的效果,仍然震惊四座。
此次OpenAI推出的是一款桌面版ChatGPT,该模型被称为GPT-4o。其中“o”代表着“omni”(全能)。在演示中,这一“全模态”模型不仅能接受文本、音频、图像的任意组合输出,并可跨领域进行推理与展示——最重要的是,其反应速度最短达到了232毫秒,完全可做到与人类在正常对话中同频。
演示中,GPT-4o像个真实的人类一样,可以被打断,也可做到语态联想。当它被装入手机时,能通过喘气听懂用户的叹息、疲惫,使用体验易用自然、功能强大。
OpenAI同步宣布了“获客”大杀器:GPT-4o可以被安装至桌面和手机端,并向所有人免费开放,API定价只有GPT-4 Turbo的一半,速度达到GPT-4 Turbo的2倍,付费的ChatGPT Plus用户将获得5倍调用额度。
压力被急剧转移到Google、苹果等巨头身上。北京时间5月15日凌晨,Google也将上线“I/O大会”,据传Google将在会上公布大模型最新进展,并将发布类似GPT-4o,在Gemini加持下的、名为“Pixie”的个人数字助理。
本月21日,微软也将召开“Build开发者大会”,市场猜测其大概率会将OpenAI最新能力集成到自家产品线中。
另据外媒报道,苹果在此次发布会前,已与OpenAI达成合作。在6月的苹果“WWDC大会”上,ChatGPT会不会被塞入iPhone之中,以取代“招人恨”的Siri,也非常值得期待。
28分钟,干翻所有语音助手
一场大范围预热,将OpenAI发布会的悬念提前拉满。
发布会前,OpenAI创始人、CEO山姆·奥特曼先早早否定了对标Google,上线AI搜索的传闻。他称,“(新功能)对我来说就像魔法一样”。OpenAI语音AGI研究领导Alexis Conneau更直接将自己的社交媒体主页背景,改成了一张电影《Her》中的剧照——这是一部讲述人与AI助手“萨曼莎”相恋的科幻电影。
外界甚至为奥特曼编排出了一个与AI助手相爱的浪漫故事。发布会结束后,山姆也顺水推舟地,在自己的X账号上,只发表了一个单词——“Her”。
不过当看过OpenAI的最新产品后,观众们惊呼,《Her》中的剧情真的进入了现实。
发布会上展示的GPT-4o,仿佛是一个真实的“朋友”坐在身边。它反应迅速,语调流畅自然,情绪饱满,会跟随着你的情绪兴奋起来,也能根据上下文给出丰富的对话细节,揣摩对话者的情绪。
例如,当OpenAI的研发负责人Mark Chen上台时,他对着GPT-4o说:“我站在台上有点紧张,该怎么办?”GPT-4o回答:“你太棒了,深呼吸一下吧,记得你可是个专家。”Mark Chen随之大声喘气,问GPT-4o接下来还能给些什么建议,对方回答:“放松点Mark,呼吸得慢一点,你又不是吸尘器。”
接下来,GPT-4o被要求给大家讲个睡前故事。没讲几秒,它就被Chen打断,要求能不能多点情绪和戏剧性。随即,GPT-4o语调更加起伏和夸张。Chen又对其要求:能不能再来点情感,最戏剧化的表达可以吗?GPT-4o显然读懂了“戏剧化”的含义,随即拿出了戏剧演员一样夸张的语调——有趣的是,当GPT-4o又被要求唱歌时,它甚至自己先叹了口气。
在此过程中,GPT-4o的反应速度也令人深刻。据计算,它对音频输入的响应时间最短为232毫秒,平均为320毫秒,这与人类在对话中的响应时间相似。
语音聊天外,GPT-4o还表现出了多模态理解和输出能力。它能够跨声音、文本和视觉进行智能推理,可以就用户给出的截图、照片,或含有文本和图像的文件展开对话。
此外,GPT-4o也能生成任何文本、音频和图像的组合。并能在输出中,识别人类的感情,根据感情做出“有情绪的反应”。
为了快速“获客”,这样强大的助手,OpenAI准备交给用户免费使用,并可在电脑桌面运行。据官方介绍,OpenAI优化了用户界面,用户只需要关注如何与ChatGPT协作。可想而知,这样一位免费的AI助手,可以随时陪你聊天、看图表、写日程,它将爆发怎样的巨量使用场景。
打到Google、苹果家门口
尽管OpenAI此次没有亮出GPT-5这样的大招,从业界反馈看,其展现出的技术能力升级足以令人再度感到震惊。
据腾讯科技报道,根据OpenAI官网最新博客文章显示,在GPT-4o上线之前,使用语音模式与ChatGPT对话,平均延迟为2.8秒(GPT-3.5)和5.4秒(GPT-4)。为实现这一点,ChatGPT语音模式是由三个独立的模型组成的流水线:一个简单的模型将音频转录为文本,GPT-3.5或GPT-4接收文本并输出文本,第三个简单的模型将该文本再转换回音频。
在这个过程中,GPT-4会丢失很多信息,它不能直接观察语调、多个说话者或背景噪音,也不能输出笑声、歌唱或表达情感。
而GPT-4o之所以能表现出更自然、更贴近人类的情感,源于其是单独训练的新模型。因此,可以端到端地处理文本、视觉和音频,这意味着所有输入和输出都由同一个神经网络处理。
▲
这款被OpenAI能力强大优化了的桌面App与手机端助手,其所打开的想象力,也威胁到了一众巨头的蛋糕。例如,许多人最直接的反应是:它已经达到了全面“吊打”Siri的水平。
有趣的是:据外媒报道,发布会前一天,苹果与OpenAI的合作已秘密达成。虽然合作方式尚不可知,但不少人猜测:OpenAI的技术将会在苹果新品中集成亮相。
另外多模态人工智能助手的赛道里,最大的玩家本来还站着Google。
2023年12月,Google发布了Gemini模型1.0版本,开始便定义其为“原生多模态大模型”,希望打通语言、听力、视觉信息的输入输出能力。2024年2月,Gemini上新了1.5版本。
5月15日,OpenAI发布会一天后,Google“I/O大会”即将举办,Gemini的更新发布本是关注重点。但OpenAI爆冷发布语音助手,无疑会将关注度从Gemini身上夺走不少。
不过这种在发布会前被抢风头的“糟心事”,Google已经不是第一次经历。2023年12月,Google原定上线Gemini时,OpenAI便在11月抢先举办了首届开发者大会。为此,Gemini的上线时间一度被传,要被延后到2024年初。
这一次,面对OpenAI“骑脸”开打,Google也不甘示弱地做出了反击,很快在官方账号里放出了语音助手的demo实时演示。
Google旗下人工智能研究机构DeepMind的CEO和联合创始人Demis Hassabis、GoogleAI工作室产品负责人及Gemini API研究人员Logan Kilpatrick纷纷下场表示,自己将在本届I/O大会上“首秀”。
两大巨头在实时语音助手战场正面交锋,让看客直呼精彩。但也有人给Google先泼了凉水,评价道:“Sorry Google but we got it one day earlier(对不起Google,但我们一天前已经得到这个了)。”
竞争对手们怎么办?
十年前,“科技春晚”还是苹果发布会的代名词。十年之后,主角已然轮换。
不得不承认,“百模大战”国内外已胶着对战了一年多,但每每在市场中扛起“议程设置”标杆角色的,仍非OpenAI莫属。接下来,围绕GPT-4o多模态功能更新的交互体验,也势必将掀起市场中的新一轮攻防大战。
此前,市场在曝光了OpenAI可能发布AI搜索产品、硬刚Google之时,已有各路大V下场,激辩“AI搜索”的未来。GPT-4o的最新体验,也为还在苦苦追赶的国内AI创业市场,平添了许多紧张气氛。
不过,从业界的综合观察来看,国内创企亦不必觉得节奏被OpenAI追逐得难以喘息。比如,OpenAI没有选择上线GPT-5,本身亦是大模型训练“卷”至高阶,也逐渐进入到瓶颈期的反映。
作为目前在研的OpenAI最新一代大模型,GPT-5被视为有望对现有模型形成碾压级超越的产品。其性能、售价等因素,也将直接影响市场的发力方向。
而从2022年11月到2023年3月,OpenAI很快完成了从ChatGPT(基于GPT-3.5)到GPT-4的跨越,但GPT-5的发布目前还没有具体时间表。
有关GPT-5的亮相时间,市场已经存在多个版本。此前,OpenAI官网曾预计GPT-5将在2023年第四季度推出,随后发布时间推迟。如今市场传闻称,GPT-5有望于年中、今夏发布;亦有媒体援引内部人士消息称,GPT-5或将于2024年11月份亮相。
而就在刚刚过去的4月,还有许多人在网上晒出了OpenAI发出的“红队测试邀请”邮件截图。在AI行业,“红蓝对抗测试”是保证大模型安全性的重要方式,测试人员通过不断地挑战模型,以便提前对漏洞“查漏补缺”。因此,市场猜测虽然OpenAI未标明模型版本,但GPT-5或许已经接近发布。
也有业内人士猜测,GPT-5的“姗姗来迟”,或因OpenAI研发遇到某种天花板。与此同时,OpenAI在今年2月16日发布的重磅文生视频模型Sora,虽然看起来技惊四座,但OpenAI至今仍未开放使用Sora,更遑论商业落地。
在专业人士看来,Sora越快开放使用,就能提早完善问题、重塑商业流程。
音视频协作软件“分秒帧”创始人程刚对“市界”讲道:“我们目前看到Sora存在幻觉问题、精准度问题、对物理世界的理解,以及模拟不准确所带来的逻辑问题、版权溯源和版权保护问题,以及有人滥用工具去生成虚假内容的问题等等。这些问题当然会影响Sora在商业场景中的使用。”
但他判断:“Sora迭代的速度,基本可以参照ChatGPT的迭代速度。Sora对现实模拟不准确的问题,比如手有六指,(如果放开使用)应该半年左右就能得到比较大的优化。”
作者 |董温淑
来源 | 市界