在过去的 10 个月里,人工智能生成的视频正以令人瞠目的速度向前发展,而Google非凡的新时空扩散模型 Lumiere 则再次改变了目标。Lumiere 可以制作非常逼真或高质量的超现实主义视频片段,最长可达 5 秒钟。它还能根据自然语言文本提示,将静态图像或部分图像制作成动画,让您了解自己想看什么。
它可以截取一张图片,克隆出该图片的风格,然后利用这种风格制作出大量其他主题的视频,这些视频看起来和感觉上都非常相似,简直就像是从一家品牌代理公司制作出来的。
它可以使用你自己的源视频,把所有东西都变成乐高、折纸或花朵--你只需要告诉它。
从上面的演示中可以看出,Lumiere 拥有迄今为止我们所见过的最先进的视频内画功能。你只需在不喜欢的画面部分涂上颜色,Lumiere 就会自动填充该区域,效果美轮美奂,如果你不仔细看,可能根本不会注意到。前男友出现在你最喜欢的视频中?不会太久的。
相关研究团队表示,Lumiere 的"时空 U 型网络架构"能一次性构建视频的整个长度--而以前的模型通常是先生成起始帧和结束帧,然后再猜测中间会发生什么。
不管怎么做,结果不言自明--这是生成式人工智能视频的新技术水平。
Inpainting功能令人难以置信;只需空白部分画面,它就会帮你补上。
目前,这只是一个研究项目--这样Google就不必为了版权、虚假信息、安全、仇恨言论、裸体、隐私和其他各种政策而大力阉割系统--这一过程必然会导致这些生成模型的输出质量下降。