使用生成式人工智能和大型语言模型来自动化和简化使用 PC 的人员的任务的情况持续增长。不过，人们也需要了解人工智能在完成任务方面的工作表现。本周微软研究院宣布，它已开发出一种专门用于在 Windows PC 上测试人工智能代理的基准。
微软在 GitHub 页面上公布的这一基准名为 Windows Agent Arena。该框架旨在测试人工智能代理与人类通常使用的 Windows 应用程序的交互能力和速度。在 Windows Agent Arena 中与 AI 代理进行测试的应用程序列表包括Microsoft Edge 和Google Chrome 浏览器等网页浏览器、文件资源管理器设置等操作系统功能、Visual Studio Code 等编码应用程序、记事本、时钟和画图等简单的预装 Windows 应用程序，甚至还包括使用 VLC 播放器观看视频。
微软表示：
我们对 OSWorld 框架进行了调整，创建了 150 多个不同的 Windows 任务，这些任务跨越了需要代理在规划、屏幕理解和工具使用方面具备能力的代表性领域。我们的基准还具有可扩展性，可在 Azure 中进行无缝并行化，在短短 20 分钟内即可完成完整的基准评估。
微软研究院也创建了自己的多模式代理，名为 Navi，并在 Windows Agent Arena 基准测试中进行了测试。测试要求它在某些文本提示下执行任务，例如："你能把我正在浏览的网站转换成 PDF 文件并放到我的主屏幕上吗？"测试发现，Navi 的平均成功率为 19.5%，与人类 74.5% 的成功率相比仍然很低。
有了 Windows Agent Arena 这样的基准，对创建人工智能代理来说将是一个巨大的发展，这样它们就能得到改进，表现得更接近人类的水平。
微软团队还与卡内基梅隆大学和哥伦比亚大学的研究人员合作完成了该项目。您可以在 GitHub 上查看论文全文以及该基准的代码。