雷克曼大学（IDC Herzliya）伊夫切尔大脑、认知与技术研究所（BCT Institute）的研究人员发现了一种在很大程度上被忽视的感知能力，他们利用机器学习揭示了跨模态感知--不同感官模态之间的相互作用--的动态。在最近的一项研究中，研究小组探讨了人类是否能通过声音探测水的热属性（如温度），以及这种感知是否是有意识的。
利用多感统合原理（大脑将各种感官模式的信息结合起来形成对环境的统一感知的方式），研究小组探索了多感热感知的潜力。他们还采用了预先训练好的深度神经网络（DNN）和分类算法（支持向量机），研究机器学习能否成功、一致地对不同温度的水倒入的音频录音进行分类，并绘制出这些热属性在声音中的物理编码映射图。
一份问卷调查了人们对跨模态感知的看法，参与者的感知能力在一项在线 2AFC 任务中接受了测试，测试使用的是在环境声设施中采集的录音。这些录音还被用来训练一个机器学习模型，以进行相同的分类。资料来源：莱希曼大学伊夫切尔大脑认知与技术研究所
"与其他感官体验相比，温度感知是非常独特的，"BCT研究所博士后、该研究的共同作者阿迪-斯尼尔博士（Dr. Adi Snir）说。"对于视觉和听觉，我们有专门的感觉'器官'，比如眼睛和耳朵，对于温度，我们依靠皮肤中的专门感受器，对各种温度范围做出反应，我们将其体验为热度和冷度，但在动物王国，我们知道，比如蛇实际上可以'看到'体温，这使它们能够识别猎物。"
关于温度的多感官感知是否延伸至人类的问题，以前也有人提出过。"BCT 研究所创始所长阿米尔-阿迈迪（Amir Amedi）教授说："以前的研究已经在行为层面上探讨过这个问题。这些研究表明，人类可以听到倒入的热液体和冷液体之间的差异，但却不知道如何或为什么会出现这种情况。"
研究人员首先着手复制以前的研究结果，证实这种令人惊讶的感知能力，并澄清这种能力是天生的还是后天获得的，这个问题长期以来一直备受争议。斯尼尔说："我们还想研究人们是否有意识地意识到这些热差的声音特性差异，同时还想探索声音本身的哪些特征允许在感知上进行区分。"
为了实现这一目标，研究小组使用了一个预先训练好的深度神经网络（DNN）来描述不同温度的倒水录音，使用机器学习算法对水的热属性进行分类，并对每段录音的听觉特征进行计算分析。"我们看到，参与者始终能够通过声音辨别水温，即使他们不相信自己能够做到这一点，这告诉我们，这很可能是一种通过终生接触听觉线索而习得的隐性技能，"阿迈迪解释说，"同时，在冷热水录音上训练的机器学习模型在对声音进行分类时显示出很高的准确性。"
研究结果表明，人类有能力从日常经验中学习复杂的感官映射，而机器学习有助于澄清微妙的感知现象。下一步要研究的是，人们是否会像对待视觉、触觉和听觉那样，在大脑中为这种体验发展出新的感官映射。从理论上讲，如果把这种方法与大脑刺激结合起来，埃隆-马斯克最近关于Neuralink可以创造超人能力的说法可能会成为现实。
编译自/ScitechDaily