上月微软于2019年度世界移动大会上正式发布HoloLens 2混合现实设备,搭载高通骁龙850处理器。其包含全新的全息处理单元(HPU)和人工智能协处理器,将在今年发售,定价为3500美元。此前科技媒体记者对早期版HoloLens 2进行了体验评测,认为其使用方便,佩戴舒适,用户交互较上一代产品大有改观。
以下是文章内容
我现在位于微软华盛顿州雷德蒙德总部地下室的一个小房间里,戴着早期版的HoloLens 2混合现实头戴设备。浮现在我面前的是一辆非常真实的全地形车,不过它缺了一个螺栓。但在我视线的角落,也就是我的侧面,我看到一个发光的指示器指向盛满螺栓的桶。我走过去,弯下腰更仔细地看了看,然后抓起一个螺栓。
回到全地形车这里,随即出现了一组全息指令并盘旋在上面,告诉我该做什么,并指出螺栓需要安装的确切位置。几分钟后,我用全息图成功地修复了这个东西。我点击指令上的一个全息按钮来关闭说明。
对于像我这样的科技记者来说,这种演示很快就变得司空见惯。而新一代的HoloLens 2混合现实头戴设备有三个关键的技术创新。
我看到了一个全息图,这表明HoloLens 2的视野比以前大得多;我弯下腰来,不用担心设备的移动,因为它稳稳地待在我的头上;我只需要按一下按钮,不需要学习复杂的手势来操作HoloLens 2。
这三件事对你来说可能不太重要,但这正是问题的关键。微软需要让使用HoloLens的感觉更自然。如果说微软真的打算让人们使用HoloLens 2,它已经做到了。
还有一件值得注意的事情:尽管这只是一个演示,但我扮演的是一个工人角色,因为HoloLens 2是专门为工人而不是消费者设计的。
目前微软HoloLens 2已经开始预售,价格3500美元,预计今年晚些时候可以发货。然而,微软已经决定只向那些想要将混合现实设备部署至员工的企业客户销售。到目前为止,微软甚至还没有发布开发版的HoloLens 2。
与我们四年前首次看到的HoloLens相比,第二代混合现实设备在几乎所有重要方面都更胜一筹。它佩戴更舒适,视野更大,能更好地检测到房间里的真实物体。其新配置包括Azure Kinect传感器、ARM处理器、眼球追踪传感器和一个完全不同的显示系统。
HoloLens 2有两个扬声器,遮阳板能够向上翻转,可以比以前更准确地看到你的手在做什么。其还配置了可用于视频会议的800万像素前置摄像头,整个设备可以进行6个角度的全方位跟踪,使用USB-C充电。简而言之,HoloLens 2充满了新技术。但毕竟这是四年后,也应该不足为奇。
用户对第一代HoloLens最大的抱怨很简单:你只能在一个相对狭小的视野里看到正面的全息图。稍微转动你的头,它们就会从你的视野中消失。更糟糕的是,即使你正盯着它们看,它们的边缘也会被切掉。这就像通过一个小矩形框观察一个数字世界。
而HoloLens 2的视野是以前的两倍大。它并没有完全占据你的整个视野,图像也仍然有剪切,但已经足够大了,用户不再为一个狭小的矩形框而烦恼。微软表示,相当于每只眼睛前面有一个2K分辨率的显示器。确切的说,HoloLens 2拥有“每度47像素的全息密度”,这意味着像素密度高到足以让你看清楚8磅的字体。
通常,当一个技术产品获得像这样更好的规格时,完全是通过技术迭代来实现的:更快的处理器、更大容量的电池、更多的内存等等。但这种策略并不适用于HoloLens 2的显示功能。它需要变得更轻,而不是更重。所以微软不得不转为采用一种完全不同的显示技术。
激光和镜子
基于激光的显示器已经成为头戴设备的标配。英特尔的Vaunt项目使用了激光显示器,而North Focals智能眼镜也是如此。尽管微软正在使用一些相同的基本组件,但方向不同,而且在开发激光显示器的功能方面走得更远。
HoloLens 2中的激光器照射到一组以每秒54000周速度振荡的镜子上,这样反射的光就可以绘制出一个显示屏。这两个部件一起构成了微机电系统(MEMS)显示器的技术基础。这一切听起来就很棘手,但对于MEMS显示器来说,真正麻烦的问题在于将它所绘制的图像映射到用户的眼球中。
North Focals公司所使用的一种解决方案是在镜头上使用全息胶片将图像直接反射到视网膜上。这种方法有很多缺点,比如说显示面积小,分辨率较低。但最大的问题在于需要显示器对准你的眼睛。North Focals公司必须为每一位用户量身定做智能眼镜,如果对不准,图像可能会从视野里完全消失。
微软不希望出现这些问题,所以它转向了与第一代HoloLens相同的技术:波导。这是一种你眼前被精心蚀刻的玻璃片,被仔细蚀刻,能在用户眼前反射全息图。HoloLens 2上的波导结构更轻薄,因为微软现在所使用的是两个夹层玻璃板,而不是上一代的三个。
当你把激光器、镜子和波导等整个系统组合在一起时,你可以得到一个更亮的显示器,有更宽的视野,还不需要精确对准你的眼睛。微软光学工程总经理佐菲阿拉姆(Zulfi Alam)认为,微软在这个系统上遥遥领先,波导绝对是混合现实的发展方向。他说:“在未来的两三年里,波导的保真度不会有任何竞争对手。”
你想要更开阔的视野吗?简单。只需要增加反射激光的镜子角度。更大的角度意味着更大面积的图像。
你想要更明亮的图像吗?更简单。调整激光,产生更多点光。当然,你必须面对波导将过滤大量光线这样一个事实。我看到的显示器设置为500奈特,在我看来已经很亮了。微软认为最终版的HoloLens 2可能会更亮,这取决于其功耗平衡。
你想看全息图而不需要量身定制设备吗?一样很简单。波导不需要特殊的拟合或测量。你只要戴上设备就行了。全息图的显示位置还可以离你的眼睛足够远,让你感觉足够舒适
听起来一切都很简单,但事实上它非常复杂。微软不得不为波导设计一个全新的蚀刻系统。它必须找出如何将一个又一个的光子引导到波导中正确的位置。“我们正在模拟来自激光器的每一个光子,”阿拉姆说。来自激光的光不仅仅是反射,它还会被分解成多种颜色,通过显示系统中的多个“瞳孔”,然后在波导上的正确位置进行“重组”。阿拉姆说:“需要计算每个光子的预期位置。”这需要大量的计算能力,因此微软不得不开发定制芯片来对所有光子的去向进行计算。
虽然波导更容易校准,但这并不意味着它是完美的。这就是为什么鼻梁上有两个直接对准用户眼球的小摄像头。在这两个摄像头的帮助下,HoloLens 2能够自动测量瞳孔之间的距离,并相应地调整图像。这些摄像头还可以让HoloLens 2在图像倾斜或人眼不完全平视的情况下垂直调整图像。
这些摄像头还有一种额外的用处,它们可以扫描你的视网膜,让你安全登陆HoloLens 2。要知道,HoloLens 2运行Windows操作系统,因此支持Windows Hello。摄像头还没能够跟踪用户正在查找的位置,这将支持一些新的用户交互功能。
然后HoloLens 2的第二个亮点是功耗。激光,振荡镜和定制芯片的工作都需要电的驱动。但阿拉姆告诉我,即使有了这么多复杂的东西,HoloLens 2需要的电量比其他产品更少。镜子主要通过共振振动,所以移动其需要的能量更少,可以说它们是有史以来最快的节拍器。激光器的功耗也比LED要小,而定制芯片可以根据其特定任务进行优化。
“我们对产品的改进是朝着一种真正的眼镜形式发展,”阿拉姆说,“所有这些都是这一过程中的重要步骤。”
所有这些技术都令人印象深刻,但我不想过于夸大图像质量。我用的不是成品。确实在一些全息图周围看到一个小光圈,它们有时会跳来跳去。基于鼻桥式眼睛扫描仪的大多数功能也没有启动。尽管如此,我认为“如果软件真的有用,我觉得人们会持续用上几个小时。”而在体验第一代HoloLens时,我只是“看了20分钟的炫酷演示,结果很不爽”。
但如果你要使用“几个小时”,首先它佩戴起来必须足够舒适。
舒适度
你可以这样佩戴HoloLens 2:你把它像棒球帽一样戴上,拧一下后面的旋钮来收紧头戴,然后就可以看到全息图了。
它远没有HoloLens或我尝试过的其他任何贴面显示器更复杂。由于显示系统上的所有工作,您可以跳过“为确保能看到图像而对佩戴位置进行调整”的步骤。整个设备也更简单。只有一根带子用最小的压力固定在你的后脑勺和前额上。
所有这些设计都很好,但如果头戴式设备戴起来不舒服,那就毫无意义可言。虽然我体验HoloLens 2从来没有超过20分钟,但我认为完全可以坚持使用更长的时间。
微软有一个“人的因素”(human factors)实验室,它喜欢在那里展示所收集的一系列仿真人头和高速相机。微软设备设计团队的高级设计总监卡尔·莱德贝特(Carl Ledbetter)向我介绍了微软开发最终产品时考虑到的所有原型和材料。他解释了微软是如何用不同的设计和材料进行试验,最终使用碳纤维来减轻重量的。
“现实是(我们必须)适应世界各地的儿童、成人、男性、女性和不同种族。每个人的脑袋都不一样。”莱德贝特如是指出。微软有一个大约600个头部的数据库,用来追踪头盖骨形状、眼睛深度、鼻梁大小和相对位置以及其他变化。莱德贝特的研究小组在人的脖子上安装了传感器,以测量肌肉张力,以确保佩戴后的设备重心是正确的。
结果是HoloLens 2具有更宽泛和更灵活的适应性。其在适应人体工程力学方面做得更好。你可以在使用中翻转遮阳板,这样全息图就不在视线范围内,这样就可以在不摘下设备的情况下与他人进行眼神交流。额头上的记忆泡沫垫是可拆卸的,可以清洗,散热效果也经过了彻底的重新设计,热量可以从用户头部排出。
所有这些都很有帮助,但微软做的最重要事情是将设备重心从眼睛上方移到用户的耳朵后面。HoloLens 2并不比原来的HoloLens轻太多。它之所以感觉更轻,因为它在佩戴者的头上更为平衡。这种平衡产生了巨大的影响,使得佩戴者感觉很轻,也不会对用户脖子造成太大的压力。
莱德贝特研究团队通过移动设备最重的部分来移动重心:主处理器和电池现在位于设备后部的一个模块中,头带内的导线一直延伸到显示板和前面的组件。值得注意的是,HoloLens 2所采用的是基于ARM的高通骁龙850芯片,功耗更低,这意味着整个设备所配置的电池更小。
第一代HoloLens搭载的是英特尔处理器,运行的是Windows操作系统。从那以后,微软做了大量的工作来让Windows在ARM架构处理器上运行良好。虽然英特尔在那些处理速度胜过电池续航寿面的笔记本电脑上仍是主流,但这些努力正在微软的笔记本电脑上慢慢取得成效。据报道,英特尔甚至不得不游说微软在其Surface Go上继续使用英特尔芯片。
那么HoloLens 2呢?亚历克斯·基普曼(Alex Kipman)是整个HoloLens项目的负责人。他说,“ARM架构处理器在移动设备中占据主导地位。采用ARM芯片的决定变得相当容易。如果你要使用电池,很难找到一款不在ARM架构上运行的产品。”
当我指出有很多Windows笔记本电脑使用英特尔芯片时,他变得更加直言不讳。“英特尔目前甚至还没有针对这类使用电池产品的SoC(片上系统)。他们之前确实有一个,但后来停止了。采用ARM芯片的这个决定是明智的。”
目标是工人,而不是消费者
HoloLens 2只卖给企业,并不卖给消费者。它是为基普曼所说的“一线工人”设计的,这些人是汽车商店、工厂车间、手术室的操作人员,以及修理东西的外勤人员。它是专门为那些用手工作,却发现很难将电脑或智能手机融入日常工作的人设计的。基普曼想要用HoloLens 2替换掉办公室角落里那台沾满油污的Windows 2000电脑。谷歌对谷歌眼镜的概念一样如此。
基普曼回答说:“如果你想想世界上有70亿人,而像你我这样的知识工作者到目前为止都是少数。”对他来说,使用基普曼的工人“可能是修理我们喷气推进发动机的人。也许是在零售领域工作的人,也许他们是在手术室给你做手术的医生。”
他继续说,HoloLens 2是为“在某种意义上被忽视的人,或者还没有在实际工作中接触到技术的人设计的,因为个人电脑、平板电脑、手机并不能真正让他们获得这些体验。”
这完全符合微软的新业务重心,即服务于企业和企业的需求,而不是试图推出受欢迎的消费产品。这是笔者去年采访首席执行官萨蒂亚·纳德拉(Satya Nadella)时得出的结论之一,如今依然如此。这种产品理念体现了“一种不同于我们习惯思考的微软”。它没有那么浮华,但更有可能成功。
此外,基普曼认为,HoloLens 2并不足以成为真正面向大众市场的消费技术产品。“这是在混合现实技术中所能达到的最好最高的水平,但我在这里告诉你,它仍然不是一种消费品,”他如是指出。
基普曼表示,“为什么它不是消费品?它不像你想的那样让人身临其境。它的沉浸感是前一款的两倍多,但仍不足以让市面上的消费者去使用它。我想说的是,除非这些东西比目前最具沉浸感的产品更能让人身临其境,比目前最舒适的产品更能让人感到舒适,而且价格在1000美元或不到1000美元的时候,我开玩笑认为才可以说这些产品已经准备好推向大众市场。”
基普曼说微软没有参与这类产品的消费者炒作。“我们不是那个大肆宣传虚拟现实的公司。我们肯定也不是那个大肆宣传混合现实的公司。自从我们将这两家公司合并到混合现实和人工智能领域以来,我们也没有大肆宣传。”
当然这并不完全正确。我们已经看到了来自微软的大量演示,其中包括游戏《我的世界》(Minecraft)以及其他消费者应用程序。因此,向企业市场的业务转型绝对是产品的一个支点。
但这是微软更大企业战略的一个重要组成部分。仅仅因为它不再被定位为消费产品并不意味着它不是一个重要的产品,微软似乎也在致力于并正在为之开发软件。
可以佩戴的更好用户界面
第一代HoloLens要求用户学习一些笨拙的手势,比如“Air Tap”和“Bloom”。你必须做出这些非常具体的手势,因为这种手势才能让HoloLens的传感器能够检测到并理解。
HoloLens 2能够检测并理解更多东西,这是因为其中一种名为Azure Kinect的新传感器阵列能够读取房间信息。“Kinect”是指微软的摄像头可以扫描整个房间,而“Azure”是因为微软现在做的每一件事都会将其与云服务扯上联系,并进一步表明这是一款商业产品,而不是Xbox的附加组件。
“HoloLens 1只是一个大网格。这就像在现实世界里放了一张毯子,”基普曼说。“在HoloLens 2中,我们增加了从空间映射到空间的语义理解。你知道什么是沙发,什么是坐在沙发上的人,以及窗户和墙壁的区别是什么。”
我不知道Kinect是如何能够识别对象的,微软也没有进行演示,但其在理论上是可行的,因为Azure Kinect探测房间的分辨率更高,此外连接到云服务能够帮助它弄清楚具体事物是什么。
有一点我可以肯定地是,HoloLens 2能够更容易地识别我的手以及它在做什么。它可以在空间中追踪双手的25个关节点,这意味着你不需要再用具体的“Air Tap”来与全息图进行互动。
在一个演示中,我在房间里踱来踱去,看着桌子上显现的各种全息图。当我把手伸过去的时候,每个全息图周围都出现了一个盒子,盒子的边缘和角落都有一个小把手。我可以把手伸进去,抓住整个盒子,移动全息图。我也可以选择抓住一条边来旋转它,或者捏住两条边来调整全息图大小。出现按钮的时候,我可以伸出手指去按。当你在虚拟QWERTY键盘上打字,我一度怀疑其准确性,但它比第一代的虚拟键盘进步了一大步。
眼动追踪技术也在你如何与全息图互动中发挥作用。HoloLens 2可以检测到您正在查看的位置,并将这些信息当作一种用户界面。在一些演示中,我只是盯着一个小气泡,让它转换成全息制图,但最有用的是其中有一个自动滚动器。越接近页面底部,单词就滚动得越快,但当我回头时,它就停止了。
我没有看到完整的顶级用户界面,所以我不知道这是否还会有所调整。但有一件事可以肯定的是它仍然会运行Windows。它使用Windows OneCore中的共享代码,这意味着您不会获得传统的Windows桌面,但您将能够在其上运行任何通用Windows应用程序。它还具备必要的驱动程序,可以通过蓝牙连接外接键盘和鼠标。
微软混合现实首席团队项目经理柴坦尼亚·萨林(Chaitanya Sareen)解释说,他们正试图“让机器围绕着人工作,而不是人围绕着机器工作。”萨林称这种现象为“本能互动”,而不是“直觉互动”,因为它可以基于我们对现实世界中真实物体所做的事情而进行。“有人天生就会说‘(窗口的左上角)有一个关闭按钮’吗?不,”他说。“我们使用的很多接口都是学习得来的。”
萨林仍在思考用户界面的一些细节,但目标是使用许多你早在蹒跚学步时学会的自然手势,而不是让你学习一种全新的界面语言。
微软还为开发人员提供了新的软件工具。其中最重要的是Dynamic 365 Guides。这种混合现实技术的应用程序与模板能够指导开发人员创建关于真实物品的代码。其他工具主要依赖于微软的云服务。一种是Azure远程渲染,它允许HoloLens将一些计算负载加载到云服务上。它的存在是因为HoloLens 2只能存储和渲染局部引擎的3D渲染等有限细节。通过远程渲染,一些细节可以实时从云中获得,这样相关应用就可以显示潜在的无限层次细节。
最后还有Azure Spatial Anchors。它能够让用户把全息图钉在现实世界的真实地方。在基本层面上,它与苹果和谷歌在混合现实中已经做的事情并没有太大的不同:让多个设备看到同一个虚拟对象并与之交互。不过,微软的雄心要远大得多:它希望为一组“世界规模”的全息图创建基础设施,而且它正在开发工具,让开发人员能够跨操作平台使用这些基础设施,其中也包括iOS和Android操作系统。
解决这个问题需要的不仅仅是GPS定位和目标识别。基普曼谈到了很多关于如何区分位于同一地点不同楼层、同样特点会议室的问题。利用光学跟踪空间中国的物体异常困难。绕着建筑物走上一圈,你的位置就会出现偏移。目前还不清楚微软在解决这些问题上到底走了多远,但它正在积极地解决这些问题。
基普曼相信我们正处在“第三个计算时代”的边缘。首先是拥有开放式架构的个人电脑,其次是带有封闭式应用商店的手机,现在他希望混合现实技术能够重回开放。微软也打算让HoloLens保持开放。HoloLens可以与微软的云服务合作,但也可以与其他生态系统进行合作。基普曼说HoloLens和Azure是“松散耦合,但也是紧密结合”。
无论如何,微软认为混合现实技术将是一件大事。而HoloLens 2是一个技术奇迹。虽然其病不是作为一种消费设备来销售的,但并不意味着它不是一项重要的技术,它可以改变我们对计算机应该是什么样子的理解。
但我们已经习惯了消费类电子产品公司竭尽全力将这些技术奇迹摆上货架,将这些炒作转化为我们口袋里和身上的小玩意。
对于HoloLens 2来说,炒作不是关于个人技术。这只是生意。