Ramalama 利用 OCI 容器,可以跨 GPU 供应商轻松运行人工智能推理工作负载,如果没有 GPU 支持,还可以无缝回退到基于 CPU 的推理,并与 Podman 和 Llama.cpp 接口,在从 Hugging Face 和 Ollama Registry 等获取模型的同时完成繁重的工作。目标是为英特尔、英伟达、Arm 和苹果硬件提供原生 GPU 支持。CPU 支持包括 AMD、Intel、RISC-V 和 Arm。
Ramalama 最近在 Fedora 的 Flock 会议上被誉为"无聊的人工智能伴侣",并被进一步描述为
在一个被尖端创新和复杂解决方案所主导的领域,Ramalama 项目以其令人耳目一新的简单使命脱颖而出:"让人工智能不再无聊"。本讲座将深入探讨 ramalama 的理念和功能,这是一款旨在为更多受众简化人工智能和机器学习的工具。通过将"枯燥"作为一种美德,ramalama 致力于创建可靠、用户友好和易于使用的工具,这些工具无需大张旗鼓地宣传即可正常工作。我们将探索 ramalama 的核心功能,从其简单明了的安装过程到管理和部署人工智能模型的直观命令。
作为一个早期项目,ramalama 一直在不断发展,并非常重视社区参与和反馈。让我们一起揭开 ramalama 是如何让所有人都能使用高级人工智能的,如何去除复杂性和炒作,提供一个既强大又实用的工具。让我们以最好的方式迎接让人工智能变得"无趣"的旅程,并从简单和可靠中发现乐趣。
Ramalama 的早期代码托管在GitHub 上。要想在不同的硬件和软件平台上更容易地运行/部署不同的人工智能模型,这无疑是一项值得付出的巨大努力。Mozilla 的Llamafile是另一项值得努力的工作,它可以让人们通过一个文件轻松运行 GPU 或 CPU 加速的人工智能模型,而无需使用容器。
想了解更多有关 Ramalama 的信息,请观看下面的 Flock 2024 演讲,演讲者是红帽公司的 Eric Curtin 和 Dan Walsh。