视频转视频框架AnyV2V 可修改源视频主题、风格等

近期，一项名为AnyV2V的全新视频转视频框架引起了广泛关注。这一框架的独特之处在于，它不仅支持对源视频进行深度修改，还能加入附加的控制元素，如文本提示、主题或风格，以生成一个既与原视频相符，又与所提供的控制内容相匹配的新视频。

论文地址:https://arxiv.org/html/2403.14468v1#S6

AnyV2V的核心目标是将复杂的视频编辑过程简化为两个主要步骤。首先，利用现有的图像编辑模型，如InstructPix2Pix和InstantID等，对视频的第一帧进行修改。这些模型已被广泛应用于图像编辑领域，能够根据用户的需求进行精确的图像调整。

其次，AnyV2V使用现有的图像转视频生成模型，例如I2VGen-XL，进行所谓的DDIM反转（DDIM Inversion）和特征注入(Feature Injection)。这两个过程确保了新生成的视频在外观和动态上与原始视频保持一致。DDIM反转是一种先进的技术，能够将图像转化为视频，而特征注入则确保了新视频在视觉特征上与原视频相匹配。

更为引人注目的是，AnyV2V能够整合各种现有的图像编辑工具，从而支持从传统的基于提示的编辑到更为新颖的视频编辑任务。这包括基于参考的风格迁移、以主题为驱动的编辑和身份操纵等，这些都是先前的方法无法实现的。

AnyV2V通过整合各种现有的图像到视频的模型，实现了在外观和动作上与原视频保持一致的新视频生成。这一框架的推出，无疑为视频编辑领域带来了新的创新和可能性。