变身漫画 一键变身漫画！抖音特效火上热搜 背后技术揭秘

昨天，李荣浩因为他的小眼睛又去找了。

在名为#特效对李荣浩的眼睛来说不够大#的主题下，有一段李荣浩和杨丞琳结婚照的变脸视频。看到变脸后的眼神完全变成了一条线，孙也转发了微博“锅说壶黑”:

这个特效太厉害了，李先生，有人黑你！

对此，网友的评论都变成了“哈哈哈哈”。

细心的人可能已经注意到了视频中的颤音APP logo。没错！以上功能，对小眼睛组不是很友好，是颤音新推出的“变形漫画”特效。

这样一个真人一键变成漫画的效果背后，是生成性对抗网络GAN。

一个键打破尺寸墙

目前，颤音的特效《变身漫画》已被列入热门挑战榜“本周实时榜”前1名，已被约867.2万用户使用。

其中很多明星拍的都是同一个视频，玩法多种多样。

例如，陈赫拿出一把看起来像苍蝇拍的“神秘钥匙”，揭开了二级密封。

G.E.M .擦了擦玻璃，变了脸。

不知道LAY用手势在维度之间穿梭了多少次。

进入二次元后，明星的发型、五官等细节。“被上帝恢复了”，同时，更加有趣和聪明。

但是，把真人变成漫画式的并不稀奇。近年来，特效照片应用层出不穷。用户想把图片和视频变成漫画风格、古风风格、手绘风格、油画风格，甚至想改变自己的性别和年龄。

生成性对抗网络

说到变脸，我们无法回避一个技术——生成性对抗网络(GAN)。

雷锋。com此前报道，GAN作为深度学习模型，在机器学习中是一个相对较新的概念。最早出现在2014年10月之前，著名谷歌大脑科学家伊恩·古德费勒(Ian Goodfellow)和他的团队发表的论文《对抗一代网络》中。

机器学习的模型可以分为两种:生成模型和区分模型。顾名思义，它们各自的功能是根据数据集生成和判断。

伊恩·古德费勒之所以能成为“甘斯之父”，在于创造性地提出了通过对抗估计生成模型的概念，训练生成模型和判别模型相互对抗，生成模型应该尽可能多地生成真实的图片来欺骗判别模型，而判别模型应该尽可能地将生成模型生成的图片与原始数据集区分开来。

这个过程就像一个游戏中两个玩家之间的战斗。一开始他们的脸是被迫的，最后“真相越来越清晰”。这种机器自发的互相学习，可以说是非常聪明的。

GAN有很多种，最常见的是Cycle GAN。

其实CycleGAN是人脸转换前期的一个重要尝试，可以实现从源到目标的转换，反之亦然，从而方便地学习两类之间的转换关系，更好地保证转换后的图像质量。

如上图所示，你可以把斑马变成马，所以即使你改变动作，马也可以再次转换成斑马；同理，夏天可以换成冬天，冬天换了场景也可以换成夏天。

虽然在上述用晃动动画变脸的特效中没有披露具体的技术信息，但之前尝试把脸变成漫画形象的确使用了CycleGAN，相关论文也在2019年7月放在预印平台arXiv上。

值得一提的是，本研究使用了所谓的地标辅助CycleGAN。

论文中说，这里的“地标”并不是我们常说的“地标”，而是指五官，所以我们可以把这项技术理解为CycleGAN的特殊版本——“五官辅助的CycleGAN”。

技术，还是看效果。

现实中的美女变成了二级少女。

2型男生做的动漫形象也好看。

此外，一些研究团队已经使用面部特征将低分辨率图像转换成基于GAN的高分辨率图像。感觉自己的老近视好多年了！

你想在这里看到就惊呼很神奇吗？

其实还有更神奇的事情，比如改变活人。

这是西班牙互联网棋盘制造商REGIUM网站上员工的个人信息页面。好像没什么异常。但实际上，列出的四个工程师都是“假人”，在现实生活中并不存在。

雷锋了解到，这些“人造人”来自这个人不exist.com，一个外国的整容网站，而这些照片都是基于GAN。

然而，变脸技术仍然存在许多问题——例如，一度一夜爆红、凉了三天的ZAO APP，以及全球臭名昭著的Deepfake，这引起了各界的关注。

如何合理利用这种变脸手法，是一个需要考虑的问题。