微软新专利揭示检测“有毒”内容的新技术

该技术以概率方式确定一个“有毒”关键词标识符作为“有毒”内容的指示。

以下是背景介绍。在组织中，人力资源人员经常进行调查，以征求和获得员工的意见，评估和改善公司的健康状况。审查可能包括工作场所可能存在不良内容的标识符，包括粗鲁、不尊重、威胁、淫秽、侮辱和包含基于身份的仇恨的评论。这类组织会很感激能够帮助他们在员工提交的数万或数十万条评论中快速识别这些“有毒”评论的解决方案。如果调查回复显示出“毒性”，人力资源部门就可以对回复进行挖掘，以便采取进一步的行动。

公开了用于准确和可解释的“有毒”内容检测的计算机实现的技术。该技术包括使用概率“有毒”关键字标识符来概率地确定指示“有毒”内容的关键字。在一个实施方案中，“有毒”关键词是基于比较一组示例“有毒”人际电子通信中的关键词的术语频率与一组示例“无毒”人际电子通信中的关键词的术语频率来确定的。如果一个关键词在一组“有毒”实例中的术语频率比其在一组“无毒”实例中的术语频率多出一个阈值数倍，则该关键词被确定为指示“有毒”内容。通过这种方式，可以确定指示“有毒”内容的多个关键词的集合。然后，包含被确定为“有毒”的关键词的调查评论在用户界面中被标记为潜在的“有毒”内容，供人审查。

科技公司申请了多项专利，但这些专利往往不会出现在面向消费者的产品中，所以任何关于这项专利技术应用的猜测都是猜测。微软还可以将这种技术的用途扩大到分析微软Teams中聊天和视频记录中的“有毒”行为。