Google表示,其新的人工智能模型系列有一个奇特的功能:能够"识别"情绪。PaliGemma 2 系列模型于本周四发布,它可以分析图像,使人工智能能够生成标题,并回答它在照片中"看到"的人的相关问题。
Google在与 TechCrunch 分享的一篇博文中写道:"PaliGemma 2 可以为图片生成详细的、与上下文相关的标题,不仅仅是简单的物体识别,还可以描述动作、情绪和场景的整体叙事"。
Google表示,PaliGemma 2 基于其 Gemma 开放模型集,特别是 Gemma 2 系列
情绪识别并不是随到随用的,PaliGemma 2 还需要为此进行微调。 尽管如此,一些专家们还是对公开情感检测器的前景感到震惊。
牛津互联网研究所数据伦理与人工智能教授桑德拉-瓦赫特(Sandra Wachter)表示:"这让我感到非常不安。我觉得假设我们可以'读懂'人们的情绪是有问题的。 这就像向黑8球寻求建议一样。"
多年来,初创企业和科技巨头们都在努力打造能够检测情绪的人工智能,从销售培训到预防事故无所不包。 一些公司声称已经实现了这一目标,但科学的经验基础并不牢固。
保罗-艾克曼(Paul Ekman)是一位心理学家,他认为人类有六种共同的基本情绪:愤怒、惊讶、厌恶、享受、恐惧和悲伤。 然而,后来的研究对艾克曼的假设产生了怀疑,研究表明不同背景的人在表达自己的感受时存在很大差异。
"玛丽女王大学专门从事人工智能研究的研究员迈克-库克(Mike Cook)认为:"在一般情况下,情绪检测是不可能实现的,因为人们体验情绪的方式很复杂。当然,我们确实认为我们可以通过观察他人来了解他们的感受,多年来也有很多人尝试过,比如间谍机构或营销公司。 我相信,在某些情况下,我们绝对有可能检测出一些通用符号,但这并不是我们能够完全'解决'的问题。"
不足为奇的是,情绪检测系统往往并不可靠,而且会受到设计者假设的影响。 在麻省理工学院 2020 年的一项研究中,研究人员发现,面部分析模型可能会对某些表情(如微笑)产生非预期的偏好。 最近的研究表明,与白人相比,情绪分析模型赋予黑人面部更多的负面情绪。
Google表示,它进行了"广泛的测试",以评估 PaliGemma 2 中的人口统计偏差,并发现与行业基准相比,"毒性和亵渎程度较低"。 但该公司没有提供所使用基准的完整列表,也没有说明进行了哪些类型的测试。
Google披露的唯一基准是 FairFace,这是一组数万人的大头照。 该公司声称,PaliGemma 2 在 FairFace 中得分很高。 但一些研究人员批评该基准是一种偏见指标,指出FairFace仅代表了少数种族群体。
研究人工智能社会影响的非营利组织 AI Now 研究所的首席人工智能科学家海迪-克拉夫(Heidy Khlaaf)说:"解读情绪是一件相当主观的事情,它超出了视觉辅助工具的使用范围,在很大程度上是嵌入在个人和文化背景中的。"撇开人工智能不谈,研究表明,我们无法仅从面部特征推断情绪。"
情绪检测系统已经引起了海外监管机构的愤怒,他们试图限制在高风险环境中使用这种技术。 《人工智能法案》是欧盟的主要人工智能立法,禁止学校和雇主部署情绪检测器(但不包括执法机构)。
包括人工智能开发平台 Hugging Face 在内的许多主机商都提供 PaliGemma 2 这样的开放模型,但人们对这些模型的最大担忧是它们会被滥用或误用,这可能会导致现实世界中的伤害。
克拉夫说:"如果这种所谓的'情感识别'建立在伪科学推测的基础上,那么这种能力可能会被用来进一步--而且是错误地--歧视执法、人力资源、边境治理等领域的边缘化群体,这将产生重大影响。"
在被问及公开发布 PaliGemma 2 的危险性时,Google发言人表示,该公司支持其与视觉问题解答和字幕相关的"代表性危害"测试。他们补充说:"我们对 PaliGemma 2 模型进行了严格的道德和安全评估,包括儿童安全和内容安全。"
Watcher 认为这还不够。她说:"负责任的创新意味着你从踏入实验室的第一天起就考虑到后果,并在产品的整个生命周期中持续这样做。我能想到无数潜在的问题,[这样的模式]可能会导致一个乌托邦式的未来,在那里,你的情绪决定你是否能得到工作、贷款,以及是否能被大学录取。"