科技先驱警告：AI系统可能“与人类作对”

他表示：“展望未来，机器在许多方面和我们人类一样聪明，这对社会意味着什么？”他补充说，机器可能很快就会拥有人类的大部分认知能力，通用人工智能（AGI）正在变成触手可及的未来。

“智慧赋予力量。那么谁来控制这种权力呢？拥有远超人类的智能系统，如果落入坏人之手，可能会很危险，并在地缘政治层面上制造更多的不稳定，比如恐怖主义。”

Bengio认为，只有少数组织和政府能够负担得起建造强大的AI机器，而且往往系统越大，它们就越智能。“这些机器，你知道的，花费数十亿美元来建造和训练，很少有组织和国家能够做到这一点，这已经是事实了。”

如果这样的话，权力将会越来越集中，比如经济权力、政治权力、军事力量。Bengio指出，我们没有办法确保这些系统不会伤害人们或不会反对人们……我们不知道如何做到这一点。

而且这样的前景离我们并不遥远，Bengio认为，几十年内就可能实现，因此，人类需要仔细研究许多针对性的问题，并尽快开始缓解可能的风险。

需要进行监管和立法

还有观点认为，AI机器目前的训练方式“将导致系统与人类对立”。“此外，有些人可能想要滥用这种权力，有些人可能很高兴看到人类被机器取代，除非我们现在设置正确的护栏。”

在今年6月份，Bengio联合许多科学家发表了一封题为“对先进AI发出警告的权利”的公开信，他们呼吁科学家、政策制定者和公众为减轻这些风险提供指导。

Bengio指出：“政府需要做的第一件事就是制定法规，迫使科技公司在建立这些前沿系统时进行注册，政府应该知道他们的边界在哪里，你知道的，这些系统的细节。”

由于AI发展如此之快，政府必须“发挥自己的创造力”，制定能够适应技术变化的立法。Bengio表示：“为了享受人工智能带来的好处，我们必须进行监管，我们必须安装护栏，我们必须对技术的开发进行民主监督。”

至于AI系统最大的负面影响，Bengio认为短期内应该是虚假信息、错误信息、AI影响政治和认知的能力。“随着我们的发展，将拥有能够生成更逼真图像、更逼真声音和更逼真视频的机器。”

最难的是，如果我们创造出比我们更聪明、有自己目标的实体，这对人类意味着什么？Bengio回答称：“这些都是非常困难和重要的问题，目前还没有答案。但我们需要更多的研究和预防措施来减轻潜在的风险。”