Karpathy认为“LLM”这个名字不准确 马斯克非常赞同

“大型语言模型（LLM）名字虽然带有语言二字，但它们其实与语言关系不大，这只是历史问题，更确切的名字应该是自回归 Transformer 或者其他。

LLM 更多是一种统计建模的通用技术，它们主要通过自回归 Transformer 来模拟 token 流，而这些 token 可以代表文本、图片、音频、动作选择、甚至是分子等任何东西。因此，只要能将问题转化为模拟一系列离散 token 的流程，理论上都可以应用 LLM 来解决。

实际上，随着大型语言模型技术栈的日益成熟，我们可能会看到越来越多的问题被纳入这种建模范式。也就是说，问题固定在使用 LLM 进行『下一个 token 的预测』，只是每个领域中 token 的用途和含义有所不同。

如果核心问题真的变成了预测下一个 token，那么深度学习框架（例如 PyTorch 及其同类框架， 因为 PyTorch 提供了过于广泛的操作和层的可配置性而显得过于普通）也可能过于普通，无法满足大多数问题随时间推移的需要。如果 80% 的问题只需要使用 LLM 来解决，那么成千上万个可以随意重新配置的操作和层又有什么用呢？我认为这不是真的，但我认为它只对了一半。”

Karpathy 的这番言论引来很多人围观，浏览量高达 20 多万。

Karpathy 曾是 OpenAI 的早期成员之一，之后加入特斯拉领导其自动驾驶的计算机视觉团队。之后他又回到过 OpenAI，领导着一个专注提升 ChatGPT 的 GPT-4 的小团队。今年 7 月，他宣布创立了一家名为 Eureka Labs 的 AI + 教育公司。

作为前排吃瓜群众的马斯克非常赞同的表示：这绝对需要一个新名字，“多模态 LLM（Multimodal Large Language Models）”是一个特别愚蠢的名字，因为第一个词与第三个词相矛盾！

机器学习和 AI 研究员、畅销书《Python 机器学习》作者 Sebastian Raschka 也非常赞同，他表示：如果将 LLM 改为自回归 Transformers 或者其他名字的话，那 Mamba、Jamba、Samba 可以申请加入吗。不管怎样，还是非常赞同 Karpathy 观点。

不过，来自 OpenAI 的研究者 Clive Chan 却表示：另一方面，也许所有可以用自回归方式表达的东西都可以被视为一种语言。任何事物都可以被转化为一串 token 流，因此从这个角度看，一切都是语言！

对于这种说法，Karpathy 回复到：当然，你可以想象说话纹理、说话分子等等。但我所观察到的是，语言这个词误导了人们认为大型语言模型（LLM）只限于文本应用。

在 Meta 从事 PyTorch 研究的 Horace He 表示：确实，深度学习框架可能在某些方面过于普遍。尽管如此，即便只是针对大型语言模型（LLM），实际运行的操作也有很大的变化。这包括新的注意力操作、混合专家模型（MoE）、不同变体的激活检查点、不同的位置嵌入等。

在 Horace He 看来，这些技术的多样性说明，即使是在专注于 LLM 的应用中，深度学习框架的通用性也是有其必要性的，以适应不断发展和变化的模型需求。

“像 LLMs、GPT 和 RLHF 这样的术语现在变成主流，这实在有些奇怪。通常，一个领域向更广泛的世界介绍自己时并不会这样做（在我看来，这也是有些机构品牌推广失败的原因）。”有人发表了这样的观点。

这种情况反映了复杂技术术语的普及可能并不总能有效地代表其真实的应用和影响，有时甚至可能导致公众理解上的困难。

还有网友认为，“Large”这个词用的也不好，因为今天的“大”在未来会显得“小”。

“ 同样的情况也适用于电话和计算机领域，看起来最初的术语往往会保持使用。”

这不由得让我们想起 AI 领域各种命名方式，早期的名称往往因为先入为主的效应而被广泛沿用，即使随着技术的演进，这些名称可能已不再准确描述其功能了。

参考链接：https://x.com/karpathy/status/1835024197506187617