今天,美国专利商标局公布了苹果公司的一项专利申请,该专利涉及将用户头部的"虚拟化身"提升到新的水平,以供用户在处于扩展现实(XR)环境中的未来混合现实头显上使用。除了创建用户头部的虚拟化身(Animoji)外,下一代虚拟化身创建将允许用户扫描他们的手和/或全身,以便他们可以在扩展现实(XR)的3D环境中移动。
苹果公司在专利中指出,扩展现实(XR)环境是指完全或部分模拟的环境,人们通过电子系统感知和/或与之互动。在XR中,一个人的物理运动或其代表的子集被追踪,作为回应,在XR环境中模拟的一个或多个虚拟物体的一个或多个特征以符合至少一个物理定律的方式被调整。例如,一个XR系统可以检测到一个人的头部转动,并作为响应,以类似于这种观点和声音在物理环境中的变化方式,调整呈现给该人的图形内容和声场。
在某些情况下(例如,出于无障碍的原因),XR环境中虚拟对象特征的调整可以根据物理运动的表现(例如,声音命令)来进行。一个人可以使用他们的任何一种感官,包括视觉、听觉、触觉、味觉和嗅觉来感知和/或与XR对象互动。例如,一个人可以感知和/或与音频对象互动,创造一个三维或空间的音频环境,提供三维空间中的点音频来源的感知。
在另一个例子中,音频对象可以实现音频透明化,它有选择地将来自物理环境的环境声音与计算机生成的音频结合起来。在一些XR环境中,人可以只感知和/或与音频对象互动。
苹果公司的专利涵盖了与至少包括一些虚拟元素的三维环境(例如,应用程序、AR环境、MR环境和VR环境)进行互动的方法和界面。
图源:patentlyapple
苹果公司的专利图7A说明了一个类似于设置Face ID的注册过程,然后继续让用户扫描伸进来的手(图7H),这样就可以用来与VR环境中的虚拟物体互动;图9B、9C、9E和9F说明了用户扫描的手现在能够与虚拟物体互动。
图源:苹果专利
苹果公司的专利图12A说明了用户注册创建一个完整身体的虚拟化身。苹果公司进一步指出,用户可以戴上头显设备(如HMD),并使用头显及其多个摄像头来收集用户的其他身体特征的图像和/或深度数据,如用户的手、脚、躯干、手臂、肩膀等。
在专利图12A中,iPad下部显示的虚拟化身#1220包括部分1220-1、1220-2、1220-3和1220-4,这些部分被显示为用户(#700)的虚拟代表(在iPad上方)。部分#1220-1形成化身的左前臂和手,并具有外观(例如,位置、姿势、方向、颜色、形状等),该外观是基于用户的左前臂和手的各方面(例如,位置、姿势、方向、颜色、运动等)确定的,这些方面是由iPad的相机#904检测的。
同样,#1220-2部分形成虚拟化身的右前臂和手,并具有基于用户的右前臂和手#700-2的各方面确定的外观。
1220-3号部分形成虚拟化身的头部和肩部区域,其外观是根据用户的头部#700-3和肩部的各方面情况确定的。
第1220-4部分形成虚拟化身#1220的其余部分,并具有与第1220-1至1220-3部分不同的视觉外观。例如,如图12A所示,#1220-4部分具有由元素#1225形成的外观,该元素具有各种颜色和可选的形状(可选的不同形状;可选的重叠或不重叠),而#1220-1至#1220-3部分具有视觉上代表(例如,类似于、具有一个或多个人类特征的形状)用户的相应部分的外观。
该专利更深入地研究了完整的虚拟化身的每一个细节。
要想深入了解更多内容,请查阅苹果公司的授权专利20220262080。