视频生成新突破！PixelDance还可以做复杂动作和特殊效果

要点:

PixelDance是一项新的视频生成技术，相较于其他模型，它在生成高度一致性和丰富动态性的视频方面取得了显著的进展，引起了广泛关注。

PixelDance提供基础模式和高级魔法模式两种生成模式。基础模式仅需一张指导图片和文本描述，而高级魔法模式则需要两张指导图片，为用户提供更大的创造空间。这两种模式均能产生复杂、生动的视频效果。

PixelDance在视频生成中的创新在于采用文本指导和首尾帧图片指导的方法，使模型更关注学习视频的动态信息。值得注意的是，PixelDance在公开的WebVid-10M数据集上，只使用1.5B大小的模型就取得了出色的效果，相对于其他方法，不依赖于复杂的数据集和大规模的模型训练。

近期，视频生成技术取得了显著的进展，其中PixelDance成为焦点。相较于其他模型如Runway的Gen-2、Meta的Emu Video、Stability.ai的SVD等，PixelDance在生成高度一致性和丰富动态性的视频方面表现出色。

PixelDance分为基础模式和高级魔法模式两种，前者只需一张指导图片和文本描述，而后者需要两张指导图片，为用户提供更大的创造空间。

体验地址:https://top.aibase.com/tool/make-pixels-dance

从官方展示的效果来看，PixelDance能够处理不同风格和复杂度的指导图片，包括真实风格、动画风格、二次元风格和魔幻风格。不仅如此，它能够完成人物动作、脸部表情、相机视角控制、特效动作等，展现了出色的生成效果。

PixelDance的技术创新在于采用文本指导和首尾帧图片指导的方法。这使得模型更专注于学习视频的动态信息，克服了视频生成中动作多样性和特征空间显著更大的挑战。

此外，PixelDance在公开的WebVid-10M数据集上，只使用1.5B大小的模型就取得了出色的效果，相较于其他方法，这显示了其对数据集和模型规模的简洁性。

在展示的3分钟故事短片中，PixelDance展现了出色的能力，无论是真实场景如埃及、长城，还是虚幻场景如外星球，都能生成细节丰富、动作丰富的视频。这为用户提供了创作空间，使得长视频生成不再依赖于拼凑弱相关的短视频片段。

PixelDance的突破意味着人们可以更轻松地生成复杂动作和炫酷特效的视频，为视频生成领域带来了新的可能性。未来，PixelDance将进一步迭代模型效果，并在2-3个月内放出供人们试用的模型，为创作者提供更多可能性。