今天凌晨,OpenAI又给ChatGPT的高级语音模式发布了全新视觉功能——实时视频和屏幕共享。没错,你可以直接跟ChatGPT打视频电话了,还可以分享自己的手机屏幕让ChatGPT帮你解决各种棘手问题。新增的圣诞老人语音模式也是圣诞氛围感拉满:
视频可以在高级语音模式中打开,在视频通话过程中,现场4个嘉宾分别做了自我介绍,而ChatGPT可以记住每个人的名字以及他们对应的样貌特点。
比如ChatGPT可以迅速回答出戴着驯鹿角的是谁,或者戴着圣诞老人帽子的人是谁,这种“实时视觉上下文”能力还是比较惊艳的。
整个视频通话沟通的过程还是相当流畅的,工作人员介绍,这一功能背后是原生多模态大模型GPT-4o。
后续高级语音功能的对话都会有更自然的对话节奏、更丰富的情感和50多种语言的支持。
除了普通聊天,ChatGPT还可以一边视频一边教你怎么泡咖啡,通过摄像头,它可以识别出面前的物体,并进行指导。
比如第一步要做什么、第二步要做什么,什么时候拿起杯子倒水,以及每个步骤是在做什么、有什么效果、有哪些步骤可以做得更好。
另一个新功能是屏幕共享,这个功能也是在高级语音模式中开启,开启后,ChatGPT会看到我们屏幕上正在显示的内容。
能做什么?比如当你收到一个消息不知道该怎么回复,就可以让ChatGPT帮你想想对策,它可以识别到你正在使用消息App并分析对方发来的信息,然后给出一个合理的回复。
最后OpenAI还带来了一个彩蛋,就是在ChatGPT的对话中加入了“圣诞老人模式”,你可以问圣诞老人各种问题,比如北极生活情况、精灵们在做什么、如何留一个漂亮的大胡子,甚至是“你最喜欢的驯鹿是哪一只?”这样的刁钻问题。
//oss.zhidx.com/uploads/2024/12/675b329c2ec53_675b329c2a2a6_675b329c2a284_圣诞老人2.mp4
值得一提的是,在聊天过程中你可以随时打开视频模式,让“圣诞老人”看到摄像头所记录的内容并进行相关互动,整个过程是比较流畅的。
视频和共享屏幕新功能都会马上在新的ChatGPT App中推出,不过只有Plus和Pro版用户可以使用。圣诞老人语音模式在支持ChatGPT语音的地方都可以用,并且是免费的。