揭秘GPT-5研发之路：遇到的挑战与2025年发布的可能性！

共计 2918 个字符，预计需要花费 8 分钟才能阅读完成。

根据《华尔街日报》的最新消息，OpenAI 正在研发的下一代大型语言模型 GPT- 5 的进展明显滞后于预期， 而目前所取得的成就也未能与其高昂的研发成本相匹配。

这一消息与之前《The Information》的一篇报道相辅相成，该报道提及 OpenAI 正在寻求新的策略， 因为 GPT- 5 或许无法实现前几代模型所带来的显著性能提升 。《华尔街日报》的文章则进一步揭示了代号为“猎户座”（Orion）的 GPT- 5 在长达 18 个月的研发过程中所面临的一些挑战。

报道指出，OpenAI 至少进行了两次大规模的训练，意在通过海量的数据来增强模型的性能。首次训练的速度未能达到预期，这暗示着未来更大规模的训练将需要投入更多的时间和资金。尽管声称 GPT- 5 在性能上优于前作， 但其进步幅度仍不足以验证维持该模型运营所需的巨大开支是合理的 。

此外，OpenAI 不仅依赖公开数据和许可协议，还聘请了员工通过编程或解决数学问题来创建新的数据。同时，该公司还在使用其另一款模型 o1 生成的合成数据。

截至 IT 之家发稿时，OpenAI 尚未对此做出回应，之前该公司已表示今年不会发布代号为“猎户座”的模型。

消息称 OpenAI 新模型 GPT-5 研发遇阻，成本高昂、效果未达预期

实际上，这条新闻早前就有提到。OpenAI 的下一代大型模型或许面临“难产”的局面。

其新一代模型 “猎户座”（Orion）相较于 GPT- 4 而言，效果提升并不明显，且仍存在着 GPT- 4 中一些明显的缺陷。这或许能够解释为何 GPT- 5 迟迟未能问世，因为提升幅度有限，因此被重新命名为 Orion。

长期以来，许多人怀疑这种 GPT 模式最终是否能够通向通用人工智能（AGI）。例如，李飞飞和斯坦福哲学教授 Etchemendy 在《时代》杂志上发表的文章《不，今天的 AI 并不具备感知能力。我们是如何知道的》中， 明确指出当前的技术路线无法创造出具备感知能力的 AI。

而此次，关于 Orion 模型效果不佳的消息传出，大模型悲观主义者 Gary Marcus 直接发表声明：

游戏结束，我赢了。GPT 大模型正面临收益递减的阶段。

这似乎不仅是 OpenAI 所面临的问题，任何正在训练大型模型的公司最终也会遭遇类似的困境，即继续训练是否会导致效果下降，甚至是投入的成本无法获得强大的模型回报。

那么，为什么 OpenAI 在研发下一代模型时会遇到瓶颈呢？以下是一些网络上主流的看法。

目前普遍认为，大模型的“规模扩展”正在逐渐失效。尽管训练过程中使用了大量数据集，但其能力的提升却并不明显，显示出“规模扩展”逐渐失去效用。

造成这种性能提升无效的原因主要是现在大型模型所需的大规模数据集已接近枯竭，优质数据集的数量十分有限。

为此，OpenAI 成立了“基础团队”，专注于研究如何生成高质量的数据，以供大模型学习。如果能够持续不断地为大模型提供优质数据集，或许能进一步提升其性能。

生成高质量数据的常见方法是利用在相关领域经过预训练的大型语言模型生成合成数据。具体而言，生成过程通常依赖于少量真实数据，编写特定的提示，并通过生成模型生成高质量的合成数据。

不过，这种生成数据的方法存在两个明显的问题：

其一是信息增益有限 ：合成数据的有效性在于为模型提供新的信息。如果合成数据与原始数据过于相似，则信息增益有限，模型的泛化能力提升也会受到限制。
其二是数据质量控制困难 ：合成数据的质量直接影响模型的性能。生成高质量的合成数据需要精确的建模和丰富的先验知识，以确保合成数据在多样性和真实性上与真实数据相符。

因此，如何大规模生成高质量数据，以使“规模扩展”持续发挥作用，是 OpenAI 亟需解决的问题。

Orion 的训练成本过于高昂，这成为限制其性能提升的关键因素之一。训练这样一个庞大的模型，需要消耗大量的计算资源和能源。

根据网络公开资料显示，OpenAI 训练 GPT- 4 的成本估计达到了 7840 万美元。

从图中可以看出，2017 年训练一个 transformer 的成本仅为 930 美元，而训练 GPT- 4 的费用却飙升至 70000 多倍。也就是说，模型结构越复杂，其训练成本会呈指数级增长。尤其是对于两个巨无霸 GPT- 4 和 Gemini Ultra 来说，这两个模型的费用简直不可同日而语。