Meta推出Movie Gen 旗下迄今最先进的视频生成AI模型

2024年10月04日 22:28 次阅读 稿源:cnBeta.COM 条评论

Meta 今天发布了 MovieGen 系列媒体基础AI模型,该模型可根据文本提示生成带声音的逼真视频。 MovieGen 系列包括两个主要模型: MovieGen Video 和 MovieGen Audio。

1728049605_meta_movie_gen_models.jpg

MovieGen Video 是一个具有 300 亿个参数的变换器模型,可根据单个文本提示生成高质量、高清晰度的图像和视频,生成的视频可长达 16 秒,每秒 16 帧。

MovieGen Audio 是一个 130 亿参数的变压器模型,可以接收视频输入和可选的文本提示,并生成与输入视频同步的长达 45 秒的高保真音频。 这种新的音频模型可以生成环境音效、器乐背景音乐和 Foley 音效。 Meta 声称它在音频质量、视频与音频对齐和文本与音频对齐方面都能提供最先进的效果。

ai_label__1_.webp

这些模型不仅仅用于创建全新的视频。 它们可用于使用简单的文本提示编辑现有视频。 MovieGen 还允许用户进行本地化编辑,如添加、删除或替换元素,以及进行背景或样式更改等全局更改。 例如,如果您有一段某人扔球的视频,并配有简单的文字提示,您可以将视频改为某人扔西瓜,同时保留原始内容的其余部分。

MovieGen 模型将允许用户创建个性化视频。 通过使用人物图像和文字提示,这些模型可以生成保留人物特征和动作的个性化视频。 Meta 声称,这些模型在视频中的人物保护和自然运动方面提供了最先进的成果。

ai_label.webp

Meta 声称,与其他视频生成模型(包括 OpenAI Sora 和 Runway Gen-3)相比,这些模型能生成更好的视频。 Meta 目前正与创意专业人士合作,在公开发布之前进一步改进该模型。

了解更多/Meta

对文章打分

Meta推出Movie Gen 旗下迄今最先进的视频生成AI模型

1 (50%)
已有 条意见

    最新资讯

    加载中...

    编辑精选

    加载中...

    热门评论

      Top 10

      招聘

      created by ceallan