表情识别 有人把iPhone X面部表情识别数据导入Maya 结果……

iPhone X上市后，相信很多用户的朋友圈里已经有了一轮“独家定制”的Animoji。雷锋曾发表《苹果背后的敌意表情:面部识别技术是如何一步步进化的？文章称，面部动作识别和跟踪最初用于电影拍摄，比如大家最熟悉的《阿凡达》。然后，通过机器学习，使用大量的表情训练算法来创建三维模型。直到今天，苹果已经将它们集成到手机中。

那么，如果将iPhone X的前置摄像头视为面部捕捉系统，其捕捉到的面部表情数据能否用于游戏的虚拟人物？雷锋。com获悉，一个月前，Kite & Lightning游戏工作室创始人科里·斯特拉斯伯格大胆尝试，将iPhone X捕捉到的面部表情植入到Maya软件中，从而快速将虚拟动画图像与表情进行匹配。

说起风筝&闪电，有些VR爱好者并不陌生。这家游戏工作室在去年沉浸式期间发布了一部迷你歌剧《森扎·比索》，该剧也使用了眼球追踪技术。同时，他们还开发了一款名为Beblon Battle Royle的VR游戏。

对于这次大胆的尝试，科里想看看能否通过iPhone X的人脸捕捉系统，快速便捷地为游戏中的角色添加个性化的色彩。

经过一些实验，“我目前的结论是，iPhone X生成的面部数据震撼稳定，属于正常操作。它可以准确捕捉非常细微的动作，甚至是很小的抽搐，数据可以完全使用。”

根据科里的说法，这是一种相对便宜的捕捉人脸的方法。同时，手机移动终端的形态更容易设置，实现了人脸捕捉的应用。苹果之前收购的Faceshift似乎对此贡献很大。虽然科里也注意到Faceshift的原方案还有其他很酷的功能，但iPhone X收集的面部表情数据已经足够了。

此外，他还宣布了自己在玛雅的操作方式:

在Unity中导入一个“Beblon Battle Royle”的游戏角色，将ARKit输出的面部捕捉数据混合到这个角色中。

为了将面部表情数据导入到Maya中，添加录制功能，将面部表情数据录制到文档中，保存到iPhone本地。每次启动和停止时，你都会在手机中生成一个独立的文档，并对其进行重命名。

从iPhone X复制这些文档，通过USB传输到桌面。

为了将面部数据导入到Maya中，需要重新格式化，所以我重新发布了一个桌面应用程序来格式化数据，并将其转换为Maya.anim文档。

将这些文档导入到Maya和游戏角色中，您在手机上呈现的表情就会出现在游戏角色上。

但是数据处理过程中还是有一些小问题，他认为可能是代码问题。同时，捕捉面部表情时刷新率为每秒60帧，但导入到Maya时为每秒30帧，这就造成了一定的折扣。

他认为，“iPhone X的TrueDepth系统最大的好处就是它的表情捕捉简单快捷，然后数据就可以导入游戏引擎。手机捕捉到的数据完全可用。”

雷锋。com了解到，这次成功尝试后，科里想把iPhone X戴在头盔上，然后用Xsens运动捕捉系统同时捕捉身体和脸部的运动。

他说:“我对下一步非常有信心。通过添加动作捕捉数据，游戏角色将得到极大的提升。我还会加上皱皮，搭配相应的表情，会让动画人物更加生动。”