中国首个AI短剧视频生成模型面世 昆仑万维开源SkyReels-V1

2025年02月18日 15:27 次阅读 稿源:凤凰网科技 条评论

2月18日,昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1、中国首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1。据悉,SkyReels-V1是一款专注于AI短剧创作的开源视频生成模型,能够实现影视级人物微表情和动作的生成。

SkyReels-V1不仅是全球极少数开源的视频生成模型,还是围绕人物表演、开源视频生成模型中性能最强的,其支持33种细腻人物表情和400多种自然动作组合,高度还原真人情感表达,并具备电影级光影美学。其基于高质量影视数据训练,支持文生视频和图生视频功能,参数规模在开源模型中领先。



SkyReels-V1文生视频指标对比(来源:昆仑万维SkyReels)

在自研推理优化框架“SkyReels-Infer”的加持下,大幅提升推理效率,实现544p分辨率,推理基于单台4090只需80s,还支持分布式多卡并行,支持Context Parallel,CFG Parallel,和 VAE Parallel。此外,采取fp8 quantization以及parameter-level offload,满足低显存用户级显卡运行需求;支持flash attention、SageAttention,模型编译优化等,进一步优化延迟;基于开源diffuser库,提升易用性。

在同等RTX4090资源情况下对比(4卡),SkyReels-Infer版本比HunyuanVideo官方版本端到端延迟减少58.3%(293.3s vs 464.3s);SkyReels-Infer版本具备更鲁棒的部署策略,支持用户级别显卡1卡-8卡的推理部署。


图2丨推理生成544p视频,使用相同卡数的RTX 4090,SkyReels-Infer版本端到端延迟优于HunyuanVideo官方(xdit) 58.3%

在同等A800资源情况下对比,SkyReels-Infer版本比HunyuanVideo官方版本端到端延迟减少14.7%~28.2%,SkyReels-Infer版本具备更鲁棒的多卡部署策略。


图3丨推理生成544p视频,SkyReels-Infer版本具备更鲁棒的多卡部署策略,支持8卡部署

据悉,SkyReels-A1是中国首个SOTA级别表情动作可控算法,支持视频驱动的电影级表情捕捉和高保真微表情还原。该算法能够基于任意人体比例生成逼真的人物动态视频,支持侧脸表情控制和眉眼微表情生成,并可实现更大幅度的人物动作驱动。相比同类算法,SkyReels-A1在表情动作的复杂性和自然度上更具优势。

开源地址:

SkyReels-V1:https://github.com/SkyworkAI/SkyReels-V1

SkyReels-A1:https://github.com/SkyworkAI/SkyReels-A1

对文章打分

中国首个AI短剧视频生成模型面世 昆仑万维开源SkyReels-V1

1 (50%)
已有 条意见

    最新资讯

    加载中...

    编辑精选

    加载中...

    热门评论

      Top 10

      招聘

      created by ceallan