微软研究院发布了Orca 2 LLM 其性能可媲美大语言模型

微软在一篇博文中表示，Orca 2 是专为小规模 LM 设计的，但仍可用于回答 LLM 等复杂问题。Orca 2有两种大小（70亿和130亿个参数），部分是利用今年早些时候微软帮助Meta推出的Llama 2 LLM制作的。该公司"根据量身定制的高质量合成数据"对基于 Llama 2 的模型进行了微调。

微软表示，这使得Orca 2模型在处理问题时能够与其他"5-10倍大"的语言模型相媲美：

Orca 2 使用扩展的、高度定制的合成数据集进行训练。这些训练数据的生成，向 Orca 2 传授了各种推理技术，如逐步处理法、回忆然后生成法、回忆-推理-生成法、提取-生成法和直接回答法，同时还教会它针对不同的任务选择不同的解决策略。

Orca 2 模型与 Llama 2 和 WizardLM 等大型语言模型进行了一系列基准测试，测试内容包括"语言理解、常识推理、多步骤推理、数学问题解决、阅读理解"等。

微软官方博客称：我们的初步测试结果表明，Orca 2 的性能大大超越了类似规模的模型。它还达到了类似或优于至少比它大 10 倍的模型的性能水平，展示了为更小的模型配备更好的推理能力的潜力。

虽然微软承认Orca 2确实存在局限性，但迄今为止的测试显示了"未来进步的潜力"。微软将把 Orca 2 作为一个开源项目发布，以便其他人也能对其进行开发。