阿里推I2VGen-XL模型 双阶方法实现更高清的文本视频生成

在视频合成领域，尽管扩散模型的迅速发展带来了显著的进步，但语义准确性、清晰度和时空连续性仍然是关键挑战。这些问题根源于缺乏良好对齐的文本-视频数据以及视频复杂结构的挑战。为解决这些问题，阿里巴巴提出了I2VGen-XL方法，通过创新性的两阶段级联扩散模型，有效分离了语义和质量，同时通过静态图像的引导实现了数据的对齐。

项目地址:https://i2vgen-xl.github.io/

首先，基础阶段利用两个分层编码器，确保了生成视频的一致语义，并保留了输入图像的内容。这为模型提供了坚实的基础，解决了语义的关键问题。接着，精化阶段引入了简短的附加文本，提高了视频的细节，并将分辨率提高到1280x720，增强了生成视频的质量。这两个阶段的结合，有效地解决了先前挑战的复杂性。

为了优化模型性能，研究团队收集了庞大的数据集，包括约3500万个文本-视频对和60亿个文本-图像对。这种大规模数据的使用增加了模型的多样性和泛化能力，从而提高了生成视频的质量和多样性。

最后，通过广泛的实验证明，研究团队深入剖析了I2VGen-XL的基本原理，并将其与当前领先方法进行了比较，充分证明了其在各种数据上的有效性。为促进学术研究和开发，研究团队承诺公开发布源代码和模型，为学术界和开发者提供了宝贵的资源。