本文转载自 量子位,作者 金磊,杨净
当互联网大佬们集体唱歌,会擦出怎样的火花?
现在,火爆抖音的AI特效,一键就可以实现梦幻联动。
瞧!马云、马化腾、马斯克等大佬们,正在集体演唱神曲《蚂蚁呀嘿》。
不光演唱,表情也是十分的卖力(傲娇的小眼神很是传神啊)。
完全看不出是被迫的样子呢。(手动狗头)
效果之魔性,引得网友直呼:
短短的几秒,要用一生去治愈…..
还有网友表示,最近是咋滴啦?!一打开抖音,好像捅了蚂蚁窝。
温馨提示:听音乐读本文,效果更佳哦!
大家一起《蚂蚁呀嘿》!
这款AI特效,只需要一张照片,就可以火速让anyone“蚂蚁呀嘿”。
正因为这么便捷,果不其然,马上成为了抖音网友们的“新宠”。
各路名人开始搞起!
首先登场的是四大天王:刘德华、张学友、郭富城和黎明!
或许天王们太久没有同框过了,网友们用这种方式将他们“召集”在一起,也是别有一番风味。
“永不过时”的《还珠格格》,也赶上了这趟潮流列车。
王者峡谷里的英雄们,网友们也是没有放过。
不得不感慨二次元的颜值,不论怎么恶搞、变形,还是能保持俊美的样子(程咬金除外)。
除了上面这种九宫格模式外,高端的操作还可以实现集体同框。
于是,“爱玩”的德云社就以这种方式亮相了。
不知道是不是因为特效太过逼真、还是脖子有点短(不是),竟然还有人以为是真的。
第一眼我以为是特效。
OK,各种效果、各种玩法已经展示完毕。
接下来,是时候上手实操了!
如何制作专属的“蚂蚁呀嘿”?
首先需要准备三个工具:
Avatarify、任意一款加速器APP、剪映(可有可无)。
第一步,打开加速器,启动加速模式。
第二步,打开这款软件Avatarify,选择一张照片即可进入选择特效页面(脸正一点食用效果更佳)。
然后向下拉,找到布拉德·皮特的特效即可。
是不是很简单?
不过有点遗憾的是,暂时只有苹果手机才OK(安卓用户泪目)。
一个人演唱“蚂蚁呀嘿”的效果就已经实现了。
如果想要多人演唱、九宫格那样式儿的,那就需要剪映来加持了,这里就不详细展开了。
当然,这款软件除了《蚂蚁呀嘿》之外,还有很多模板可选。
例如,李开复老师便友情上演了一首《Only You》。
随着这波潮流,Avatarify及其他相关软件,已经超过微信、拼多多、抖音的下载量,登顶苹果App Store免费榜“前三甲”!
最初竟还有编程门槛
不错的人脸呈现效果,魔性洗脑的动图模板,大受欢迎的短视频导流,三者共同发力让 Avatarify 做出的视频在全时间都建起了「蚂蚁窝」。但要去看产品的源头,你会发现这个 app 其实也是疫情期间在家隔离,保持社交距离的「副产品」。
居家办公让很多人不得不以上身西装革履,下身睡裤拖鞋的造型和同事们在 Zoom 上相聚。这种方式社交压力还挺大,所以有不少技术专家给出了自己的解决方案。其中有一个就决定用 AI 让照片里的人脸(恶搞一下)动起来,让人们可以用一张照片走 Zoom。
当时作者在 GitHub 上写出了具体的安装方法,用户在 PC 端添加完成后在 Zoom 中设置摄像头使用 Avatarify 就可以将生成的图像通过 OpenCV 实时推送到视频流了。由于 PC 端和使用场景的限制,再加上使用者需要具备一定的编程知识,所以这个方法没有得到广泛传播。
▲ 当时 Avatarify 显示的动作效果
Avatarify 的开发者也明白这个方法对小白太不友好了。为了让自己的产品拥有更大的影响力,他几个月后就上架了 Avatarify 这个 app,让普通用户也能轻松让照片上的人物动起来。
从需要自己上手搞代码到今天上传照片得成品,整个过程变得更简单了,也拥有了更多的用户。
什么原理?
那么问题来了。
AI,是如何搞定各位大佬来唱歌的呢?
让一张照片动起来,人脸跟着音乐一起挤眉弄眼,需要一个叫做一阶运动模型 (First Order Motion Model)来搞定。
技术原理借鉴了去年意大利特伦托大学的一项研究,入选了NIPS 2019。
当时的例子是这样的。
以川建国同志为参考,来自《冰与火之歌》的演员照片瞬间做到了神同步。
不光是脸动,一个模特换pose、奔腾的马也都不在话下。
模型框架主要由2部分构成,运动估计模块和图像生成模块。
运动估计模块的目的,是预测一个密集的运动场。研究人员假设存在一个抽象的参考框架,并且独立估计两个变换,分别是「从参考到源」和「从参考到驱动」,这样就能够独立处理源帧和驱动帧。
而这两种变换,通过使用以自监督方式学习的关键点来获得。利用局部仿射变换对每个关键点附近的运动进行建模。
随后,密集运动网络结合局部近似得到密集运动场。
这个网络还能输出遮挡的mask,指示哪些图像的驱动部分可以通过源图像的扭曲(warping)来重建,哪些部分应该被绘制(根据上下文推断)。
在生成模块按照驱动视频中,提供的源对象移动的图像进行渲染。
此处,研究人员还使用一个生成器网络,根据密集的运动对源图像进行扭曲,并对源图像中被遮挡的图像部分进行着色。
训练阶段,研究人员采用了大量的视频序列集合来训练模型,这当中包含了相同类别的对象。
随后在测试阶段,研究人员将模型应用于由源图像和驱动视频的每一帧组成的对,并执行源对象的图像动画。
最终在质量评估中,这一方法在所有基准上都明显优于当前先进技术。
此前类似研究也很火爆
这种AI特效能够如此火爆,甚至“破圈”,让大家玩得不亦乐乎,最主要的原因是方便——不需要任何编程知识,便可完成。
但在此之前,其实这种AI特效在圈里也是有火过,但都需要一定的计算机能力才可以实现。
比如,一张名人照片和一个你说话的视频,就可以让梦露学你说话。
还有,印度程序员开发的实时动画特效。你一动,蒙娜丽莎跟着你一起动~
那么现在,你被“蚂蚁呀嘿”洗脑了吗?
快去体验下吧。
参考链接:
[1] https://avatarify.ai/
[2] https://github.com/AliaksandrSiarohin/first-order-model
转载:https://blog.csdn.net/m0_46163918/article/details/114262994