借助 Llamafile 的最新更新，在本地系统上运行庞大的 LLM 模型变得更容易了，因为采用 AVX-512 的 AMD Ryzen CPU 性能提升了 10 倍。Phoronix报道称，Llamafile 的最新更新现在支持 AVX-512 指令集，使支持 AVX-512 的 CPU 在使用该软件时性能得到大幅提升。
据悉，AMD 的 Zen 4"Ryzen"CPU 在使用新更新后，提示评估速度将提高十倍，最终使该工具的 LLM 性能更加高效。
对于不了解 Llamafile 的人来说，它只需部署一个可执行文件，将 LLM 模型与运行该模型所需的库结合在一起即可。Mozilla Ocho 开发了这一工具，旨在通过利用 CPU 和 GPU 的执行能力，让更多人了解 LLM。
不过，Llamafile的开发仍处于早期阶段，因此还存在一些不准确的地方，我们相信一旦边缘计算的发展势头强劲，这些问题很快就会得到解决。
你可以通过 GitHub 访问最新版本。请注意，AMD 的 Ryzen CPU 是唯一支持 AVX-512 指令的消费级芯片，而英特尔已经放弃了对它的支持，因为害怕这会影响其至强芯片的销售。这使得 AMD 的 Ryzen 平台对于希望运行 AVX-512 应用程序的用户来说更具优势。
