DeepSeek宣布开源MLA解码核FlashMLA GitHubstar超1700

2025年02月24日 12:00 次阅读 稿源:新浪科技 条评论

在上周DeepSeek宣布本周将是开源周(OpenSourceWeek),并将连续开源五个软件库后。今日,DeepSeek宣布开源了开源周首款用于Hopper GPU的高效型MLA解码核——FlashMLA。


在GitHub上,目前该项目已经收获了超过1700star,并且拥有62个Fork。

MLA是DeepSeek V2-V3系列大模型最为重要技术创新,主要用于减少推理过程的KV Cache,进而降低推理成本。据DeepSeek介绍,FlashMLA是Hopper GPUs的有效MLA解码内核,可针对可变长度序列进行优化,目前主要发布包括:1、 BF16;2、块大小为64 的分页kvcache。

在基准测试性能表现上,FlashMLA在英伟达H800 SXM5 GPU上可实现3000 GB/s 的内存速度以及580TFLOPS的计算上限。

对文章打分

DeepSeek宣布开源MLA解码核FlashMLA GitHubstar超1700

1 (50%)
已有 条意见

    最新资讯

    加载中...

    编辑精选

    加载中...

    热门评论

      Top 10

      招聘

      created by ceallan