Facebook一直明确表示,它希望人工智能处理其平台上更多的审查职责。周五,该公司宣布了向这一目标迈出的最新一步:让机器学习负责其审查队列。以下是Facebook上的审查工作方式。被认为违反公司规则的帖子(包括从垃圾邮件到仇恨言论和 “美化暴力”的内容)会被用户或机器学习过滤器标记出来。
此外,一些非常明确的案例会被自动处理(例如,回应可能涉及删除帖子或阻止帐户),而其余的则进入队列,由人类审查员审查。
Facebook在全球范围内雇佣了大约1.5万名这样的审查员,过去一直被批评没有给这些员工足够的支持,雇佣他们的条件可能导致创伤。他们的工作是对标记的帖子进行整理,并对其是否违反公司的各种政策做出决定。
过去,审查员或多或少会按照时间顺序审查帖子,按照帖子被举报的顺序进行处理。现在,Facebook表示要确保最重要的帖子被首先看到,并且正在使用机器学习来帮助他们。未来,各种机器学习算法的综合体将被用来对这个队列进行排序,根据三个标准对帖子进行优先处理:它们的传播程度、严重性以及它们违反规则的可能性。
究竟这些标准是如何加权的,目前还不清楚,但Facebook表示,目的是先处理最具破坏性的帖子。所以,一个帖子的传播性越强(被分享和看到的次数越多),就会越快被处理。帖子的严重程度也是如此。Facebook表示,它将涉及现实世界伤害的帖子列为最重要的帖子。这可能意味着涉及恐怖主义、儿童剥削或自我伤害的内容。同时,像垃圾邮件这样的帖子,虽然很烦人,但没有创伤性,被列为最不重要的审查对象。
“所有违反内容的内容仍然会收到一些实质性的人工审查,但我们将使用这个系统来更好地确定(该过程)的优先级,”Facebook社区诚信团队的产品经理Ryan Barnes在新闻发布会上告诉记者。
Facebook过去曾分享过一些关于其机器学习过滤器如何分析帖子的细节。这些系统包括一个名为 “WPIE”的模型,WPIE代表 “整个帖子完整性嵌入”,采取Facebook所谓的“整体 ”方法来评估内容。这意味着算法会协同判断任何给定帖子中的各种元素,试图找出图片、标题、海报等共同揭示的内容。
Facebook使用人工智能来调节其平台的做法过去一直受到审查,批评者指出,人工智能缺乏人类判断很多在线交流背景的能力。尤其是像错误信息、欺凌和骚扰这样的话题,计算机几乎不可能知道自己在看什么。
Facebook的Chris Palow是该公司交互完整性团队的软件工程师,他同意人工智能有其局限性,但他告诉记者,这项技术仍然可以在删除不需要的内容方面发挥作用。“这套系统就是要把AI和人类审核员结合起来,减少总的错误,”Palow说。“AI永远不会是完美的。”
当被问及该公司的机器学习系统分类错误的帖子比例是多少时,Palow没有直接回答,但他指出,Facebook只有在自动系统与人类审查员一样准确时,才会让自动系统在没有人类监督的情况下工作。“自动行动的门槛非常高,”他说。尽管如此,Facebook正在稳步地将更多的人工智能加入到审核组合中。