英特尔宣布针对对Llama 3.1进行优化 以提升所有产品的性能

2024年07月25日 14:44 次阅读 稿源:快科技 条评论

日前Meta正式发布了Llama 3.1开源大模型,以其庞大的参数量和卓越性能,首次在多项基准测试中击败了GPT-4o等业界领先的闭源模型。允许开发者自由地进行微调、蒸馏,甚至在任何地方部署,这种开放性为AI技术的普及和创新提供了无限可能。

Intel-Meta-Llama-3.1-AI-1456x817.jpg

Llama 3.1支持128k的上下文长度和多语言能力,无论是在基本常识、可操作性还是数学、工具使用和多语言翻译方面,都展现出了行业领先的能力。

紧随其后,芯片巨头Intel迅速响应,宣布其AI产品组合已全面适配Llama 3.1,并针对Intel AI硬件进行了软件优化。

Meta-Llama-3.1-70B-Intel-Gaudi-2-1456x666.jpg

Meta-Llama-3.1-405B-Intel-Gaudi-2-1456x672.jpg

包括了数据中心、边缘计算以及客户端AI产品,确保用户能够在Intel平台上获得最佳的性能体验。

Intel的适配工作涵盖了PyTorch及Intel PyTorch扩展包、DeepSpeed、Hugging Face Optimum库和vLLM等,确保了从研发到部署的全流程支持。

目前,Intel AI PC及数据中心AI产品组合和解决方案已面向全新Llama 3.1模型实现优化,OPEA(企业AI开放平台)亦在基于Intel至强等产品上全面启用。

根据基准测试,在第五代Intel至强平台上以1K token输入和128 token输出运行80亿参数的Llama 3.1模型,可以达到每秒176 token的吞吐量,同时保持下一个token延迟小于50毫秒。

在配备了酷睿Ultra处理器和锐炫显卡的AI PC上,进行轻量级微调和应用定制比以往更加容易,并且AI工作负载可无缝部署于CPU、GPU以及NPU上,同时实现性能优化。


基于第五代Intel至强可扩展处理器的Llama 3.1推理延迟


在配备内置Intel锐炫显卡的Intel酷睿Ultra 7 165H AI PC上,Llama 3.1推理的下一个token延迟


在使用Intel锐炫A770 16GB限量版显卡的AI PC上,Llama 3.1推理的下一个token延迟


基于Llama 3.1的端到端RAG流水线,由Intel Gaudi 2加速器和至强处理器提供支持

对文章打分

英特尔宣布针对对Llama 3.1进行优化 以提升所有产品的性能

1 (50%)
已有 条意见

    最新资讯

    加载中...

    编辑精选

    加载中...

    热门评论

      Top 10

      招聘

      created by ceallan