为什么OpenAI更有可能在今年发布GPT-4.5而不是GPT-5?

2024年04月23日 09:44 次阅读 稿源:cnBeta.COM 条评论

尽管 GPT-4 目前在日益错综复杂的生成式人工智能世界中处于顶峰,但其竞争对手,包括 Anthropic 的 Claude 和 Meta 的开源 Llama都在不断进步,因此 OpenAI 的旗舰产品大型语言模型(LLM)有必要进行新一轮迭代。虽然不少人预计山姆-奥特曼的非营利组织将在 2024 年发布 GPT-5,但一些分析师现在断言,这种预期仍然很牵强,尤其是考虑到所需的资源规模。

OpenAI-GPT-5-GPT-4.jpg

据人工智能安全中心(Center for AI Safety)主任丹-亨德里克斯(Dan Hendrycks)称,OpenAI 的 GPT LLM 每迭代一次,所需的计算资源就增加 10 倍。因此,如果 OpenAI 跳过 GPT-4.5,直接跳到 GPT-5,那么计算需求将比 GPT-4 增加约 100 倍,相当于约 100 万个 H100 芯片连续运行三个月。

图片.png

Anthropic公司首席执行官达里奥-阿莫代(Dario Amodei)最近指出,目前培养一名最先进的 LLM 需要花费约 10 亿美元,预计到 2025/26 年,这一成本将激增到 50 亿到 100 亿美元之间。重要的是,10 亿美元的培训成本与 GPT-4.5 可以合理推断出的 10 倍计算资源激增相吻合。

我们最近注意到,英伟达今年部署的 H100 设备预计年耗电量约为13000 GWh,相当于立陶宛和危地马拉等国的年耗电量。到 2027 年,全球数据中心的耗电量预计将达到85 到 134 太瓦时(TWh)!

图片.png

我们之前提到过,GPT-4 的竞争对手正在迅速迎头赶上。Meta公司的Llama 3 LLM(700亿参数)目前在Arena排行榜上排名前五。重要的是,Llama 3 现在已经超越了所有其他开源 LLM,这还是在没有即将推出的 4050 亿参数模型的情况下。

图片.png

此外,一些专家现在认为,GPT-5 必须改变"原始课程",其中包括利用"不完善的人类对话"和整体"幼稚"的训练过程。这与我们最初的观点不谋而合,即 OpenAI 很可能会在今年发布一个迭代的 GPT-4.5 模型,而不是在 GPT-5 中彻底改变赌注。

对文章打分

为什么OpenAI更有可能在今年发布GPT-4.5而不是GPT-5?

1 (50%)
已有 条意见

    最新资讯

    加载中...

    编辑精选

    加载中...

    热门评论

      招聘

      created by ceallan