让马斯克和扎克伯格跳“科目三”，这可能是最懂社会摇的AI视频工具

AI视频领域又火了一款工具。

只需上传一张照片，就能让马斯克跳TikTok社会摇。（强烈推荐配合视频食用，注意⚠️有音乐）

这段视频由最近悄悄走红的MagicAnimate生成。这一股扑面而来的社会摇味儿，背后原因无他，靠着短视频发家的字节跳动也下场做起了AI视频生成工具。

MagicAnimate是新加坡国立大学和字节跳动联合推出的一款“人体图像动画生成工具”，它能够根据用户指定的人物图片和动作序列，生成对应的动效视频。

上周二一经发布，X（前推特）仿佛遭到了抖音TikTok入侵，一刷满屏都是社会摇。

先是官方demo刷屏。

静态图片变TikTok小姐姐热舞⬇️

如果单人不够带劲，MagicAnimate还支持把多人照片变成动作视频，主打一个多人群舞，目不暇接:

以往依靠专业创意人士才能实现的“天马行空”，现在普通人也能用MagicAnimate，轻松制作名画二创。

让蒙娜丽莎跑步、做瑜伽都不在话下。

官方称在挑战性极高的TikTok舞蹈数据集上，MagicAnimate生成的视频真实度比最强基线提高了超过38%。

这意味着使用这个工具，你可以制作出更加逼真和流畅的舞蹈视频。

因为MagicAnimate项目已经开源可用，网友纷纷加入共创，晒出自己的社会摇作品。

《玩具总动员》胡迪摇:

来源:X博主“s3nh”

离大谱的“佛像”摇:

来源:X博主“コイズミヒロカ”

X博主“BlaineBrown”甚至第一时间部署了MagicAnimate，调侃自己马上可以变成赚数百万美元的TikTok网红。

技术大佬HuggingFace首席技术官Julien也没忍住，用自己的头像做了一个跑步的动态视频，打笑称“这周可以不去健身房了。”

看到这里，相信很多玩家也想自己上手试试。总的来说，目前想玩上MagicAnimate有三种主流方法（相关链接🔗已整理放在文末）:

第一种，因为项目已经开源可用，硬件能顶，想畅快体验的玩家可以部署到本地运行;

第二种，通过谷歌Colab设置运行MagicAnimate;

第三种，HuggingFace上有MagicAnimate在线体验网页，适合大多数没有技术背景的普通玩家，只需进入项目主页，操作一目了然。

以HuggingFace为例，首先，在界面左下方拖入或上传一张，你想整活的图片;其次你可以选择官方动作demo，也可以上传视频作为动作参考;接着在最右侧调整参数，点击“Animate”即可生成视频。

不过，MagicAnimate发布后，火到直接冲上HuggingFace热门榜第一，由于排队体验的人太多，“头号AI玩家”苦蹲了一天都没顺利用上。

好在多番尝试下，我们通过谷歌Colab用上了MagicAnimate，立刻让马斯克来了段TikTok社会摇。

虽然舞是跳了，但可以看到生成的马斯克脸部实在拉垮，马斯克亲妈来了都不一定认得这是自己的儿子。

和官方demo比更是相形见绌。

难道是上传的图片人物不太清晰?于是，我找来了马斯克的高清证件照，测试了一波。

稍稍瞥一眼，AI似乎把老马整年轻了20岁，体态精瘦，头发还有点日本动漫风。不过，舞跳着跳着MagicAnimate版马斯克就把衣服脱了，露出腹肌，面部表情管理也逐渐失控……

那么，多人社会摇效果如何呢?不如让马斯克和扎克伯格一起跳段“科目三”。

我上传了海底捞版双人齐舞“科目三”作为参考视频，参考图片则是数字艺术家@julian_ai_art用AI制作的恶搞图片:马斯克与扎克伯格在海边牵手漫步。

等待良久，第一版视频画面直接糊到看不出来谁是谁，无奈之下还是用了官方给的动作示例，虽然顺利生成了两人海边跳舞的场景，但效果也不尽如人意。

多轮实测下来，可以说，MagicAnimate目前生成的视频效果算不上惊喜（甚至有些惊吓），用来网上玩梗还行，离实际落地应用还有很大一段距离。

长期关注AI视频领域的X博主“Benjamin De Kraker”花了几个小时体验MagicAnimate后，给出的评价也不是太高，认为“MagicAnimate偏向生成非常女性化的结果，甚至去除面部和衣服”，并猜测它是在音乐视频上进行的训练。

国内大厂齐下阵，AI视频下一个战场已开打

最近图生视频赛道上，频频闪现国内大厂的身影。

除了字节跳动的MagicAnimate，阿里近期也发布了一款功能类似的AI视频生成工具名叫Animate Anyone，双方项目论文上线时间仅相差一天，引得网友直呼有种“淘宝买家秀 vs 抖音舞蹈秀”的感觉。

同样只需一张图，不管是真人照片还是动漫人物，只要你想，Animate Anyone就能让它“动起来”。

虽然功能类似，但从技术层面上来说，两者大有不同。

如果把Magic Animate想象成一个智能动画师，它有两个工具帮助自己制作动画。一个工具叫“视频扩散模型”，负责捕捉时间信息;一个工具叫“外观编码器”，负责模仿参考图片生成流畅的画面，最后通过视频融合技术，确保长视频动画过程中的平滑过渡。

Animate Anyone这个动画师呢，则强调用程序算法提升模型在时间、空间、交叉维度上的能力，来让生成的视频更加逼真。

可惜Animate Anyone目前尚未公开源代码，无法比较双方在不同的技术思路下，谁的实际生成效果更好。

但不得不说，AI视频生成领域的进步“有目共睹”，对比之前技术，Magic Animate在基准测试中已经有了很大的提升。

与此同时，字节跳动早就在布局AI视频生成领域。

实际上，Magic家族不止有MagicAnimate，还有今年8月底一起上线的MagicAvatar和MagicEdit。

MagicAvatar主打文生视频，也支持上传参考视频/图片，辅助AI视频生成;MagicEdit则定位为视频编辑修改，用户可以通过文本提示词修改视频内容，甚至实现1秒扩大视频画幅。（对这两个项目感兴趣的玩家，可以拉到文末查看项目链接，自行前往查看更多）

MagicEdit提示词指令扩图

如今主流的内容传播载体之中，视频是唯一能够同时结合文字、图片、声音、动作等多种元素，用更直观、生动的方式呈现信息的媒介形式。

正因为如此，随着AIGC大潮卷完文生文和文生图，视频生成自然成了下一个兵家必成之地。

今年下半年，尤其是进入11月之后，越来越多的AI视频初创公司开始崭露头角，如大火的Runway、Pika;之前以AI绘画走红的Stable Diffusion背后母公司也转向视频领域发布了第一个开源AI视频生成模型。

如今国内不仅大厂阿里、字节跳动加入了AI视频混战，诸如Hidream、Morph Studio、右脑科技、爱诗科技等初创公司也陆续推出AI视频产品并快速迭代。一向主打图像的美图公司，近日推出AI模型MiracleVision4.0版本，火速补齐了“AI视频”能力，支持使用提示词及图片生成视频。

无论各家业务目的如何，相信最终会加快AI视频生成技术更快地传播开来。就像近期网上走红的抖音AI扩图一样，不妨让更多人先玩上AI，再谈AI变革生产力。

MagicAnimate项目及演示:https://showlab.github.io/magicanimate/

论文:https://arxiv.org/abs/2311.16498

Colab地址:https://t.co/bbgtr7HCLy

Huggingface在线测试:https://huggingface.co/spaces/zcxu-eric/magicanimate

MagicAvatar项目主页:https://magic-avatar.github.io/

MagicEdit项目主页:https://magic-edit.github.io/