AI为涂鸦注入生命:一句话让涂鸦变动画!人人都是“神笔马良”
你有没有想过,自己随手画的火柴人能栩栩如生地跳舞,像被赋予了“生命”一般?
现在,只需要简短的一句文本提示,LiveSketch就能让寥寥几笔涂鸦成真,输出生动活泼的的SVG动画片段,而且易于编辑和调整,可以通过文本控制动画的动作和幅度。
人人都是“神笔马良”的时代到了!
来看看Demo效果:
LiveSketch上周发布之后,腾讯AI实验室直接反其道而行之,推出Sketch Video Synthesis,主要功能是将视频中的主体转换为草图线稿风格的动画🥲,并且可以调整大小、填充颜色,还允许用户进行再编辑创作,比如叠加其他图像和涂鸦。
Live Sketch这类技术的背后原理是什么?与当下最流行的图像到视频的扩散模型Runway Gen-2有何不同?应用前景怎么样?“头号AI玩家”进行了一番探究。
一句话让涂鸦变动画,怎么做到的?明明是随意的涂画,AI竟然能准确分辨出人和动物的胳膊和腿,还能有节奏地活动,这些涂鸦是怎么“活”过来的🤔?概括来说,有两个核心逻辑:一是文本驱动视频生成。这依赖大型预训练的文本到视频模型的运动知识,比如哺乳动物和人类应该在地上行走和跑,鸟应该扇动翅膀飞,鱼应该在水里摆尾游动,各得其所。二是提升动作流畅性。为确保动作的自然流畅并保持涂鸦的原本质感,需要从两方面入手:精细的局部形变、涂鸦整体的仿射变形,以此来模拟和学习动作的细节。具体的工作原理,涵盖了以下几个精细化的步骤:1. 草图解析这一步可以理解为给涂鸦加上骨架和关节。每张涂鸦都会被解析成置于白色背景上的一组笔画,每条笔画由一个二维贝塞尔曲线(蓝色)组成,该曲线又由4个控制点(红色)定义。
这样就能够通过预测每一帧每个点的偏移量(绿色),使草图变形,以创建动态效果。即便线条非常潦草抽象,也依然能够准确识别并预测其运动轨迹。
从左到右线条越来越抽象
2. 动态预测那么系统是如何实现动态预测的呢?换句话说,骨架和关节有了,怎么才能让机器看懂并且控制涂鸦做出正确动作呢?这就需要利用嵌入在预训练的文生成视频模型中的动作知识,训练一个多层感知机(Multilayer Perceptron, MLP),又名“神经位移场”,通过调整草图控制点的位移来构建视频的所有帧,并对帧进行渲染。
而草图控制点的位移,会被分至两条路径处理——局部路径和全局路径。局部路径关注草图的细节和微调,通过多层感知机(MLP)预测每个控制点的位移。全局路径处理整体的运动和变化,如旋转、缩放或平移,通过预测全局变换矩阵实现,应用于所有控制点。这使得模型既能够专注于小的局部变化(如弯曲手臂),同时又能够创建大的全局运动或同步效果,例如当物体远离相机时缩小物体。3. 动画合成与输出结合两条路径的处理结果,加上用户的文本输入,系统会生成一连串代表草图变化的帧,形成平滑的动画序列,展示从初始至终态的过渡,最终输出为一段动画。从生成结果来看,如果在提示词中添加“A sketch of”(…的草图),或者“Abstract sketch / Line Drawing”(抽象素描/线条画),动态效果很可能会更好。
和Runway Gen-2比,怎么样?
同样是让图像动起来,LiveSketch的表现与市面上的其他视频生成模型有什么不同?
针对这个问题,LiveSketch团队与4种图像到视频扩散模型,包括Runway的Gen-2、ZeroScope、ModelScope、VideoCrafter1,以及一种为动画儿童人物画而定制的方法进行了比较。
可以看到,同一张静态素描画,不同模型或方法生成的视频效果大相径庭,但有一个共同点是都逊于LiveSketch,就连大名鼎鼎的Gen-2也败下阵来。
以跳舞的芭蕾舞者为例,Gen-2生成的视频出现了明显的风格和动作脱节,上一秒还是素描简笔画,下一秒就直接变成了写实的人体,且动作毫无连贯性可言。其他几种方法生成的视频效果更是抽象🥲。
总体来看,图像到视频的扩散模型无法保持草图的独特特征,且容易受到视觉伪影的影响。
Animated Drawings是专为人形骨骼和固定动画设计的方法,因此不太擅长处理简单抽象的草图,以及非人生物,比如鱼。
值得一提的是,最近,来自阿里的研究团队提出了一种名为Animate Anyone的方法,只需一张人物照片,再配合骨骼动画引导,就能生成动画视频。以往图像动画化与姿态迁移视频的局部失真、细节模糊等问题,也得到很大改善。
正如下面这张动图所展示的,无论是真人还是纸片人,都做着整齐划一、自然流畅的舞蹈动作。
就算是梅西来了,也得乖乖跳“科目三”。
不过,LiveSketch也并非没有局限性。
首先,目前,它只能通过简单地修改描述运动的提示,对生成结果进行一定程度的控制。这些修改和控制仅限于模型可以创建的小动作,且文本提示需要与初始草图的语义一致。
举个例子,你可以让猫摇尾巴、蜷缩成一团、走路,但可能很难让它进行后空翻。
其次,LiveSketch通常会将输入的草图描绘为单个对象,当主体包含多个对象时,则无法进行区分。
比如,我们期望篮球与玩家的手分离,以实现自然的运球动作,但目前还无法实现,因为平移参数是相对于篮球所属的对象的。这一限制或许可以通过进一步的技术发展来解决。
同样地,当被应用于场景草图时,由于系统对单个对象的假设,整个场景的移动显得很不自然。
虽然可以通过更改参数来平衡运动质量和草图保真度之间,但有时草图原本的特征依然会受到损害。比如,这里松鼠的动作没问题,但身体的纵横比却发生了明显的变化。
应用与商业化前景如何?
实际上,让随手画的涂鸦动起来,这种堪比“神笔马良”一样的功能,早就已经证明自己的商业化可行性了。
前微软人机交互专家曹翔博士创立的小小牛科技就是这样一家公司,他们自研的Wonder Painter技术,可以把静态2D图像自动转换为交互式3D动画。
比如,在绘画界面随便画一个穿裙子的姑娘,然后她就可以摇身一变成为动画中的人物,直接开始跳舞:
这项技术已经以游戏的形式,应用在了一些线上营销活动中。
未来,这类技术或许还能在艺术创作、儿童教育等领域大放异彩,大大降低艺术创造的门槛,提升教育的趣味性和互动性。
它允许设计师和创作者将静态图像转化为动画片段,仅通过更改描述动作的文本提示,就可以精细调整动画的动态效果,而无需传统动画的繁琐流程。
如此一来,不仅能提高动画创作的效率,还能拓宽非动画专业人士实现视觉叙事的可能性,让设计师能够将静态的草图或概念以更加生动和动态的方式呈现,从而加深受众的沉浸感和情感联结。这对于讲故事、插图、网站、演示文稿等领域都非常有用。
在生成式AI引导的这一轮产业变革中,动画是最早受到影响的行业之一。
但从目前来看,技术投入成本和方向不够明朗,相关人才缺乏,尚未形成成熟的商业模式;有很多流程使用AI可能比人工更贵,或是更低效等因素,也在制约着AIGC技术在动画行业的应用。
(LiveSketch还处于Paper阶段,没有Code可以部署,GitHub传送门:https://livesketch.github.io/)
- 0000
- 0000
- 0000
- 0002
- 0000