科技魔方

谷歌如何通过机器学习实现逼真AR实时自拍效果

AR/VR

2019年03月11日

  2019年03月09日,增强现实可以在物理世界之上叠加数字内容与信息,从而增强你的感知。例如,谷歌地图的AR功能可允许你直接看到叠加在现实世界视图的方向。借助Playground,你就可以通过AR并以不同方式浏览世界。对于最新版本的YouTube Stories,以及ARCore全新的Augmented Faces API,你可以为自拍添加动画面具,眼镜,3D帽子等滤镜。

  实现这种AR功能的关键挑战之一是合理地将虚拟内容锚定在现实世界。这个过程需要一套独特的感知技术,需要能够追踪千差万别的表面几何,每一个微笑,每一次皱眉都要准确识别。

  为了实现这一切,谷歌采用机器学习来推断近似的3D表面几何形状,只利用一个摄像头输入而无需专用的深度传感器。利用面向移动CPU界面的TensorFlow Lite或可用的全新移动GPU功能,这种方法带来了实时速度的AR效果。所述解决方案与驱动YouTube Stories全新创作者效果的技术相同,并已经通过最新的ARCore SDK和ML Kit Face Contour Detection API向广泛的开发者社区开放。

  1. 用于AR自拍的机器学习管道

  谷歌的机器学习管道由两个协同工作的实时深度神经网络模型组成:一个在整张图像上运行,并计算面部位置的探测器;在所述位置上运行,并通过回归预测来近似表面几何的通用3D网格模型。精确地裁剪面部可以大大减少对相同数据增强的需求,比方说由旋转,平移和比例变化组成的仿射变换。通过精确地裁剪面部,这允许系统将大部分性能用于预测坐标,而这对于实现虚拟内容的正确锚定至关重要。

  一旦裁剪了感兴趣位置,网格网络一次仅应用于单个帧,利用加窗平滑(windowed smoothing)以减少面部静止时的噪点,同时避免在显著移动期间出现延迟。

  对于3D网格,谷歌采用了传递学习,并训练了一个具有多个目标的网络:网络同时利用合成渲染数据预测3D网格坐标,以及利用注释的真实世界数据来预测2D语义轮廓。因而产生的网络为谷歌提供了合理的3D网格预测,这不仅体现在合成上,同时体现在现实世界数据上。所有模型都接受来自地理不同的数据集数据培训,随后在平衡的,多样化的测试集上进行测试,从而获得定性和定量性能。

  3D网格网络接收裁剪的视频帧作为输入。它不依赖于额外的深度输入,因此同时可以应用于预先录制的视频。所述模型输出3D点的位置,以及输出在输入中存在并合理对齐的可能面部。一种常见的替代方法是预测每个地标的2D热图,但这不适合深度预测,而且如此多的数据点需要高昂的计算成本。

  通过迭代引导和细化预测,谷歌进一步提高了模型的准确性和鲁棒性,并允许他们就将数据集扩展至越来越具有挑战性的案例,如鬼脸,斜角和遮挡。数据集增强技术同时扩大了可用的ground truth数据,开发出对摄像头缺陷或极端光照条件等问题的模型稳定性。

  2. 专为硬件打造的界面

  谷歌利用TensorFlow Lite实现机载神经网络推理。在可用时,新推出的GPU后端加速能够提升性能,并显著降低功耗。另外,为了涵盖广泛的消费类硬件,谷歌设计了具有不同性能和效率特性的一系列模型架构。对于较简单的网络而言,最重要的区别是残差块(Residual Block)布局和有效的输入分辨率(最简单的模型为128×128像素,而最复杂的模型中为256×256)。谷歌同时改变了层数和子采样率(随网络深度的输入分辨率减少速度)。

  对于这一系列的优化,结果是更简单的模型能够实现大量的提速,同时对AR效果质量的影响维持在最低幅度。

  谷歌的努力成果驱动着YouTube,ARCore和其他客户端的逼真自拍AR效果。

  通过环境映射模拟光反射,实现眼镜的逼真渲染

  通过将虚拟对象阴影投射到面部网格,实现了自然光照效果

  建模面部遮挡以隐藏面部后面的虚拟对象部分,如虚拟眼镜

  另外,谷歌实现了逼真的妆容效果,方式是:

  建模应用于嘴唇的镜面反射

  利用亮度感知材质来实现面部妆容

  谷歌表示:“我们很高兴与创作者,用户和开发者的分享这一全新的技术。如果有兴趣,你可以马上下载最新ARCore SDK。在未来,我们计划将这项技术扩展至的更多的谷歌产品之中。”

+1

来源:yivian

推荐文章