Google刚刚推出了一款新的生成式人工智能工具 Lumiere,它将帮助你通过基于文本的命令创建更逼真的图像和视频。Lumiere 的一大亮点是,它能够制作出看起来逼真的动作,而且不会出现不连贯的情况。之所以能做到这一点,是因为该软件能在同一时间创建所有视频帧,而不是先实际使用关键帧,然后再对其进行训练,以学习动作应该如何进行。
这听起来可能并不令人印象深刻,但有了最新的生成式人工智能工具的帮助,我们就能走得更远,创造出令人惊叹的作品。
Lumiere 还使用扩散概率模型来帮助生成图像。这与时空 U-Net 相结合。对于那些不了解的人来说,U-Net 是一种架构,它能带来时间上的放大和缩小,以及添加到图像中的注意力区块。最棒的是,这种新的生成式人工智能工具可以与许多其他模型一起使用,这将有助于创建比我们之前看到的任何图像和视频都更加逼真的图像和视频。
Lumiere 可用于创建以下内容:
电影胶片将图像的单一部分制作成动画
动画视频中的一个物体可以被另一个物体取代
风格化生成:任何创作的艺术风格都可以改变为其他风格
图像到视频:帮助制作任何所需图像的动画
视频到视频:允许用户创建不同艺术风格的视频
在撰写本文时,Lumiere创建的视频长度最长仅为 5 秒,而且还不具备创建视频转换和多角度摄像的功能。另外值得注意的是,如果你想试用 Lumiere,仅靠标准 GPU 是不行的。PC本身必须有强大的图形处理能力,否则该工具根本无法运行。
访问试用: