李飞飞携斯坦福联袂谷歌推出比肩Pika的视频生成模型W.A.L.T

要点:

谷歌与李飞飞的斯坦福团队合作推出了基于Transformer的视频生成模型W.A.L.T，在图像和视频生成领域取得了媲美Gen-2的逼真效果。

W.A.L.T采用因果编码器和基于窗口注意的变压器架构，将图像和视频压缩到共享潜在空间，实现联合训练和生成，为自然语言提示生成逼真且时间一致的视频。

通过两个关键决策，W.A.L.T成功解决了视频生成建模难题，采用潜在视频扩散模型，利用Transformer处理潜在空间，实现了在多个基准测试上的SOTA性能。

近日，谷歌与李飞飞的斯坦福团队携手推出了基于Transformer的视频生成模型W.A.L.T，标志着2023年成为AI视频元年。该模型利用因果编码器和窗口注意的变压器架构，成功将图像和视频压缩到一个共享的潜在空间，实现了联合训练和生成。这一创新性的模型不仅在已建立的视频和图像生成基准测试上取得了SOTA，还展示了在文本到视频生成任务中的卓越性能。

论文地址:https://walt-video-diffusion.github.io/assets/W.A.L.T.pdf

W.A.L.T的两个关键决策使其在视频生成建模中脱颖而出。首先，因果编码器用于在统一的潜在空间内联合压缩图像和视频，实现了跨模态的训练和生成。其次，基于窗口注意的变压器架构提高了记忆和训练效率，使得模型能够生成逼真且时间一致的视频，响应自然语言提示如"一只泰迪熊在时代广场上优雅的滑冰"。

该模型的突破性在于解决了视频生成建模的难题。传统方法主要采用U-Net架构，而W.A.L.T则采用潜在视频扩散模型，通过在低维潜在空间中运行自动编码器，降低了计算需求。这一设计选择不仅优化了网络复杂性，还让Transformer在视频生成领域表现出卓越的质量和参数效率。

W.A.L.T的出现标志着视频生成进入一个新的时代，突破了传统模型的限制，为AI视频技术带来了更为广阔的发展空间。李飞飞与谷歌的合作成果彰显了Transformer在不同领域的广泛适用性，为模型设计创新和改进带来了新的契机。在视频生成建模方面，W.A.L.T以其卓越性能和创新性设计成为当前研究的焦点，为学术界和工业界提供了有力的参考和启示。