Meta推全新视频生成模型FlowVid 保持视频高度一致性

要点:

Meta清华校友联手提出的视频生成模型FlowVid，通过V2V模型在1.5分钟内生成一段4秒的视频，标志着AI视频生成领域的新进展。

FlowVid采用空间条件和源视频中的时间光流信息，实现了视频合成的高度一致性，通过对第一帧进行光流变换编码，使得视频帧之间保持时间连贯性。

在用户研究中，FlowVid在及时对齐和整体视频质量方面表现出色，取得了45.7%的偏好率，远超其他V2V模型如CoDeF、Rerender和TokenFlow。

近期，Meta与清华校友合作提出的FlowVid视频生成模型在AI领域引起了瞩目。该模型采用V2V技术，在短短1.5分钟内生成一段4秒的视频，标志着AI视频生成领域的新突破。

FlowVid通过利用空间条件和源视频中的时间光流信息，解决了V2V合成面临的时间连贯性难题。其核心思想是通过光流技术，对首帧进行扭曲以匹配后续帧，结合空间-时间条件，纠正光流估计的不足，实现视频合成的高度一致性。

论文地址:https://arxiv.org/pdf/2312.17681.pdf

项目地址：https://top.aibase.com/tool/flowvid

用户研究表明，FlowVid在及时对齐和整体视频质量方面表现出色。相较于其他V2V模型如CoDeF、Rerender和TokenFlow，FlowVid获得了显著的偏好率，达到45.7%。这一优越性归功于FlowVid的解耦设计，通过编辑-传播过程，使用先进的I2I模型编辑第一帧，并在整个视频中编辑内容，从而实现了更长视频的生成。

研究人员还对FlowVid进行了与其他模型的定性比较，显示其在视频生成中的强大效果。这标志着AI视频生成模型迎来了元年，而FlowVid则在其中扮演着改变游戏规则的重要角色。总体而言，FlowVid的出现为AI视频生成领域带来了新的可能性，使得生成高一致性视频变得更加轻松和高效。