改进VR和3D沉浸式通讯一直是微软在这一技术领域进行长期投资的基石,并因此带来了众多的创新。微软表示,通过3D应用实现更加身临其境的交流需要在3D几何的捕获和交换上实现巨大的飞跃,而这只有通过持续的信号处理才能实现。这项工作的核心是微软与学术合作伙伴的合作研究(CORE)项目,包括日本国立情報学研究所副教授Gene Cheung博士。
使用诸如Kinect传感器的深度感测设备,研究人员开发了一种可更好地降低噪声并恢复图像中缺失细节的方法。至关重要的是,他们发现了一种在增强自然图像(见图1)和深度图像之前利用图形信号平滑度的方法。
左图为原始4位图像;右图为使用新方法后的效果图像。
微软研究亚洲院的高级研究员Dinei Florencio一直在与Cheung教授研究“rate-constrained 3D Surface estimation”和“precision enhancement of multiple 3D depth maps”。
Florenicio说:“这两条研究线是我们最近合作中最活跃的项目。当我们在沉浸式通讯中取得所需的进展时,我相信Gene的研究将会带来一些核心的贡献。”
该项目的其他主要成员包括微软研究院的Cha Zhang和Philip Chou,以及香港科技大学研究生Pengfei Wan。
Florencio和Chueng现正在研究主动光传感是否可以准确检测信息性生物信号(例如面部的脉搏/呼吸频率和温度变化)。研究的一个关键问题是能否扩展主动光感测以揭示阴影或远程人类受试者的相同细节。
微软研究所高级研究员Tao Mei说:“该项目非常有趣,因为它试图估计生物信号以实现更有效的面对面交流。主要研究者提出了使用完全非接触和非侵入性的主动成像的方法——通过分析室内主动图像传感系统中构造的热和深度图像这一新颖的想法来解决这个问题。
在完成后,Cheung教授将公开该研究工具。映维网期待着该项目的不断进步和所取得的成就。我们希望更多的研究人员可以探索这一领域,拓展虚拟现实技术的前沿,并在未来实现《星球大战》中莱娅公主的那种全息消息传递。