郭明錤解密Apple Intelligence:端侧模型对DRAM需求约为2GB或更低

2024年06月12日 17:48 次阅读 稿源:凤凰网科技 条评论

6月12日,天风国际证券分析师郭明琪近日发布报告称,从配备A16的iPhone 15无法支持Apple Intelligence,但M1的机型可以支持,这推论出能否支持目前Apple Intelligence装置端模型的关键应该是DRAM大小,而较不是AI算力(TOPS)。

郭明琪表示,M1的AI算力约为11 TOPS,低于A16的17 TOPS。但A16的DRAM为6GB,低于M1的8GB。因此,目前的Apple Intelligence装置端AI LLM对DRAM的需求约为2GB或更低。


他进一步指出,Apple Intelligence采用端侧3B LLM(应为FP16,M1的NPU/ANE对FP16有很好的支持),经过压缩后(采用2-bit与4-bit的混合配置),随时需要预留约0.7-1.5GB DRAM来运作Apple Intelligence的端侧LLM。

郭明琪的分析认为,对于现有的设备端应用,如果要通过AI进行增强,至少需要部署3B LLM。在此基础上,再根据压缩方式决定DRAM规格。(最有可能升级到7B LLM),届时需要更大DRAM才能运作。苹果是否会以此作为高低端机种的产品区隔策略值得观察。

对文章打分

郭明錤解密Apple Intelligence:端侧模型对DRAM需求约为2GB或更低

1 (50%)
已有 条意见

    最新资讯

    加载中...

    编辑精选

    加载中...

    热门评论

      Top 10

      招聘

      created by ceallan