科技魔方

Meta推全新视频生成模型FlowVid 保持视频高度一致性

AI视频

2024年01月02日

  近期,Meta与清华校友合作提出的FlowVid视频生成模型在AI领域引起了瞩目。该模型采用V2V技术,在短短1.5分钟内生成一段4秒的视频,标志着AI视频生成领域的新突破。

  FlowVid通过利用空间条件和源视频中的时间光流信息,解决了V2V合成面临的时间连贯性难题。其核心思想是通过光流技术,对首帧进行扭曲以匹配后续帧,结合空间-时间条件,纠正光流估计的不足,实现视频合成的高度一致性。

  用户研究表明,FlowVid在及时对齐和整体视频质量方面表现出色。相较于其他V2V模型如CoDeF、Rerender和TokenFlow,FlowVid获得了显著的偏好率,达到45.7%。这一优越性归功于FlowVid的解耦设计,通过编辑-传播过程,使用先进的I2I模型编辑第一帧,并在整个视频中编辑内容,从而实现了更长视频的生成。

  研究人员还对FlowVid进行了与其他模型的定性比较,显示其在视频生成中的强大效果。这标志着AI视频生成模型迎来了元年,而FlowVid则在其中扮演着改变游戏规则的重要角色。总体而言,FlowVid的出现为AI视频生成领域带来了新的可能性,使得生成高一致性视频变得更加轻松和高效。

+1

来源:站长之家

延展资讯