PlayStation VR面部追踪专利旨在提供更真实的体验

索尼互动娱乐公司的多项新专利刚刚公开，揭示了索尼正在尝试的一些潜在工作，其中包括一项 PlayStation VR 面部跟踪专利，该专利将跟踪面部特征，为用户提供更真实的体验。

第一部分“在虚拟现实环境中集成 VR 用户跟踪面部特征”专利它讨论了面部跟踪的能力，可以密切关注面部运动。这包括眼睛和嘴巴的动作，在该公司使用的示例中，它显示了一个屏幕上的头像，模仿 HMD 佩戴者的相同面部表情，并处理给另一个未使用 HMD 的用户。

提供了一种用于渲染可通过头戴式显示器（HMD）观看的虚拟现实（VR）场景的方法。该方法包括使用设置在HMD的显示器外壳中的一个或多个眼睛注视传感器来检测用户的眼睛注视。并且，使用设置在HMD上的一个或多个相机捕获用户的嘴部图像，其中嘴部图像包括嘴部的运动。然后，该方法包括生成用户的虚拟脸部。虚拟脸部包括从用户的眼睛注视获得的虚拟眼睛运动和从所述捕获的嘴部图像获得的虚拟嘴部运动。该方法包括在VR场景中以虚拟脸部呈现用户的化身。用户的化身可由有权从允许查看具有用户的虚拟脸部的化身的视角观看VR场景的另一用户看到。佩戴HMD的用户的面部表情和嘴部动作可以被所述其他用户看到，并且在没有HMD的情况下呈现用户的虚拟面部。

更重要的是，该公司在专利中详细介绍了识别用户鼻子的能力。是的，我们知道这很奇怪，但从提供的解释来看，这似乎确实有道理，因为它可以为用户提供更真实的体验。

本公开的以下实现提供了用于将虚拟现实（VR）视图渲染成VR场景以呈现给头戴式显示器（HMD）的方法、系统、计算机可读介质和云系统。一种方法包括当用户佩戴HMD时感测用户鼻子的位置。该方法包括基于感测到的位置来识别用户鼻子的模型。鼻子模型的尺寸基于佩戴 HMD 时用户鼻子的位置。该方法还包括将图像渲染到HMD的屏幕以呈现VR场景。图像被增强以包括来自鼻子模型的鼻子图像数据。在一个示例中，HMD被配置为捕获用于生成用户的化身面孔的面部特征表情，并传达面部表情和/或情感。
因此，本文描述的实施例使得HMD的系统能够在佩戴HMD时跟踪用户空间的特征。这些特征可以包括识别用户鼻子的特征并使用该信息在呈现给HMD的屏幕的图像中渲染用户鼻子的至少一部分以用于观看虚拟现实内容。通过在正在观看的场景的图像中呈现用户鼻子的图像，用户鼻子的图像或部分图像将类似于用户在不佩戴HMD时通常看到的视图。这样，用户观看图像的大脑将习惯于在场景中看到至少部分用户自己的鼻子，并且用户的大脑将自动过滤掉鼻子的存在。
然而，通过在场景中提供用户的鼻子或用户鼻子的部分视图，用户可以在观看虚拟现实内容时感受到更真实的体验。如果在图像中至少部分地没有提供用户的鼻子，则用户对虚拟现实场景的外观或感知将不太自然。因此，通过将这种集成提供到图像中，在用户期望看到至少部分用户鼻子的位置，虚拟现实内容的视图将更加自然，并且正如用户的自然大脑反应所期望的那样来过滤掉鼻子里的东西。本文描述的实施例提出了用于识别鼻子、表征鼻子物理特征、然后生成用于至少部分地在场景中呈现的鼻子模型的方法。

下面是一些图像，其中一张显示了这在游戏中如何工作，中心点是鼻子本身。您可能还会注意到耳机（大概是 PSVR）的设计与原始型号略有不同。不要将此视为如果索尼继续在 PlayStation 5 中支持新 VR 耳机的样子。