首页站长资讯让马斯克和扎克伯格跳“科目三”,这可能是最懂社会摇的AI视频工具
14185

让马斯克和扎克伯格跳“科目三”,这可能是最懂社会摇的AI视频工具

站长网2023-12-11 16:02:485

AI视频领域又火了一款工具。

只需上传一张照片,就能让马斯克跳TikTok社会摇。(强烈推荐配合视频食用,注意⚠️有音乐)

这段视频由最近悄悄走红的MagicAnimate生成。这一股扑面而来的社会摇味儿,背后原因无他,靠着短视频发家的字节跳动也下场做起了AI视频生成工具。

MagicAnimate是新加坡国立大学和字节跳动联合推出的一款“人体图像动画生成工具”,它能够根据用户指定的人物图片和动作序列,生成对应的动效视频。

上周二一经发布,X(前推特)仿佛遭到了抖音TikTok入侵,一刷满屏都是社会摇。

先是官方demo刷屏。

静态图片变TikTok小姐姐热舞⬇️

如果单人不够带劲,MagicAnimate还支持把多人照片变成动作视频,主打一个多人群舞,目不暇接:

以往依靠专业创意人士才能实现的“天马行空”,现在普通人也能用MagicAnimate,轻松制作名画二创。

让蒙娜丽莎跑步、做瑜伽都不在话下。

官方称在挑战性极高的TikTok舞蹈数据集上,MagicAnimate生成的视频真实度比最强基线提高了超过38%。

这意味着使用这个工具,你可以制作出更加逼真和流畅的舞蹈视频。

因为MagicAnimate项目已经开源可用,网友纷纷加入共创,晒出自己的社会摇作品。

《玩具总动员》胡迪摇:

来源:X博主“s3nh”

离大谱的“佛像”摇:

来源:X博主“コイズミヒロカ”

X博主“BlaineBrown”甚至第一时间部署了MagicAnimate,调侃自己马上可以变成赚数百万美元的TikTok网红。

技术大佬HuggingFace首席技术官Julien也没忍住,用自己的头像做了一个跑步的动态视频,打笑称“这周可以不去健身房了。”

看到这里,相信很多玩家也想自己上手试试。总的来说,目前想玩上MagicAnimate有三种主流方法(相关链接🔗已整理放在文末):

第一种,因为项目已经开源可用,硬件能顶,想畅快体验的玩家可以部署到本地运行;

第二种,通过谷歌Colab设置运行MagicAnimate;

第三种,HuggingFace上有MagicAnimate在线体验网页,适合大多数没有技术背景的普通玩家,只需进入项目主页,操作一目了然。

以HuggingFace为例,首先,在界面左下方拖入或上传一张,你想整活的图片;其次你可以选择官方动作demo,也可以上传视频作为动作参考;接着在最右侧调整参数,点击“Animate”即可生成视频。

不过,MagicAnimate发布后,火到直接冲上HuggingFace热门榜第一,由于排队体验的人太多,“头号AI玩家”苦蹲了一天都没顺利用上。

好在多番尝试下,我们通过谷歌Colab用上了MagicAnimate,立刻让马斯克来了段TikTok社会摇。

虽然舞是跳了,但可以看到生成的马斯克脸部实在拉垮,马斯克亲妈来了都不一定认得这是自己的儿子。

和官方demo比更是相形见绌。

难道是上传的图片人物不太清晰?于是,我找来了马斯克的高清证件照,测试了一波。

稍稍瞥一眼,AI似乎把老马整年轻了20岁,体态精瘦,头发还有点日本动漫风。不过,舞跳着跳着MagicAnimate版马斯克就把衣服脱了,露出腹肌,面部表情管理也逐渐失控……

那么,多人社会摇效果如何呢?不如让马斯克和扎克伯格一起跳段“科目三”。

我上传了海底捞版双人齐舞“科目三”作为参考视频,参考图片则是数字艺术家@julian_ai_art用AI制作的恶搞图片:马斯克与扎克伯格在海边牵手漫步。

等待良久,第一版视频画面直接糊到看不出来谁是谁,无奈之下还是用了官方给的动作示例,虽然顺利生成了两人海边跳舞的场景,但效果也不尽如人意。

多轮实测下来,可以说,MagicAnimate目前生成的视频效果算不上惊喜(甚至有些惊吓),用来网上玩梗还行,离实际落地应用还有很大一段距离。

长期关注AI视频领域的X博主“Benjamin De Kraker”花了几个小时体验MagicAnimate后,给出的评价也不是太高,认为“MagicAnimate偏向生成非常女性化的结果,甚至去除面部和衣服”,并猜测它是在音乐视频上进行的训练。

国内大厂齐下阵,AI视频下一个战场已开打

最近图生视频赛道上,频频闪现国内大厂的身影。

除了字节跳动的MagicAnimate,阿里近期也发布了一款功能类似的AI视频生成工具名叫Animate Anyone,双方项目论文上线时间仅相差一天,引得网友直呼有种“淘宝买家秀 vs 抖音舞蹈秀”的感觉。

同样只需一张图,不管是真人照片还是动漫人物,只要你想,Animate Anyone就能让它“动起来”。

虽然功能类似,但从技术层面上来说,两者大有不同。

如果把Magic Animate想象成一个智能动画师,它有两个工具帮助自己制作动画。一个工具叫“视频扩散模型”,负责捕捉时间信息;一个工具叫“外观编码器”,负责模仿参考图片生成流畅的画面,最后通过视频融合技术,确保长视频动画过程中的平滑过渡。

Animate Anyone这个动画师呢,则强调用程序算法提升模型在时间、空间、交叉维度上的能力,来让生成的视频更加逼真。

可惜Animate Anyone目前尚未公开源代码,无法比较双方在不同的技术思路下,谁的实际生成效果更好。

但不得不说,AI视频生成领域的进步“有目共睹”,对比之前技术,Magic Animate在基准测试中已经有了很大的提升。

与此同时,字节跳动早就在布局AI视频生成领域。

实际上,Magic家族不止有MagicAnimate,还有今年8月底一起上线的MagicAvatar和MagicEdit。

MagicAvatar主打文生视频,也支持上传参考视频/图片,辅助AI视频生成;MagicEdit则定位为视频编辑修改,用户可以通过文本提示词修改视频内容,甚至实现1秒扩大视频画幅。(对这两个项目感兴趣的玩家,可以拉到文末查看项目链接,自行前往查看更多)

MagicEdit提示词指令扩图

如今主流的内容传播载体之中,视频是唯一能够同时结合文字、图片、声音、动作等多种元素,用更直观、生动的方式呈现信息的媒介形式。

正因为如此,随着AIGC大潮卷完文生文和文生图,视频生成自然成了下一个兵家必成之地。

今年下半年,尤其是进入11月之后,越来越多的AI视频初创公司开始崭露头角,如大火的Runway、Pika;之前以AI绘画走红的Stable Diffusion背后母公司也转向视频领域发布了第一个开源AI视频生成模型。

如今国内不仅大厂阿里、字节跳动加入了AI视频混战,诸如Hidream、Morph Studio、右脑科技、爱诗科技等初创公司也陆续推出AI视频产品并快速迭代。一向主打图像的美图公司,近日推出AI模型MiracleVision4.0版本,火速补齐了“AI视频”能力,支持使用提示词及图片生成视频。

无论各家业务目的如何,相信最终会加快AI视频生成技术更快地传播开来。就像近期网上走红的抖音AI扩图一样,不妨让更多人先玩上AI,再谈AI变革生产力。

MagicAnimate项目及演示:https://showlab.github.io/magicanimate/

论文:https://arxiv.org/abs/2311.16498

Colab地址:https://t.co/bbgtr7HCLy

Huggingface在线测试:https://huggingface.co/spaces/zcxu-eric/magicanimate

MagicAvatar项目主页:https://magic-avatar.github.io/

MagicEdit项目主页:https://magic-edit.github.io/

0005
评论列表
共(0)条