共计 1395 个字符，预计需要花费 4 分钟才能阅读完成。
根据《华尔街日报》最近的报道，OpenAI 正在研发的下一代大型语言模型 GPT-5 的进展显著滞后于预期， 而目前获得的成果也未能与其高昂的研发成本相匹配。
这一消息与《The Information》早前的一篇文章密切相关，后者曾暗示 OpenAI 可能在寻求新的方向，因为 GPT-5 可能无法像以往的模型一样实现显著的性能提升。《华尔街日报》的报道则进一步揭示了代号为“猎户座”（Orion）的 GPT-5 在长达 18 个月的研发过程中所面临的挑战。
据相关报道，OpenAI 至少进行了两轮大规模训练，旨在通过庞大的数据集来提升模型的性能。然而，第一次训练的效率未达预期，暗示后续的大规模训练将会耗费更长的时间和更多的资金。尽管有消息称 GPT-5 的表现优于其前身， 但这些进步并不足以合理化维持该模型运营所需的巨额费用。
此外，报道提到，OpenAI 除了依靠公开数据和授权协议外，还聘请人员通过编写代码或解决数学问题来生成新的数据。同时，该公司还使用其另一款模型 o1 生成的合成数据。
截至 IT 之家发稿时，OpenAI 尚未对此事作出回应。该公司此前已表明，今年不会推出代号为“猎户座”的新模型。
消息称 OpenAI 新模型 GPT-5 研发遇阻，成本高昂、效果未达预期
谁能给我解释一下 GPT-5 的目标是什么？是朝着 AGI 的方向发展吗？具体的宣传亮点又是什么？
GPT-2 能够写诗，GPT-3 擅长写作，GPT-3.5 适合初中生提问，GPT-4 则能满足高中生的需求，GPT-4o 达到大学生水平，o1 对应研究生到博士生，o3 是博士生及以上。GPT-4o 是多模态的，o1 强调推理能力，而 o3 则是高级推理。如此众多的特色已经被充分利用，GPT-5 该如何宣传才能 justify 每次高达 5 亿美元的训练费用呢？我真的无从下手。
Ilya 最近在 NeurIPS 2024 上宣布，预训练时代即将结束。GPT-5 最重要的突破可能在于增加训练数据，但网络上现有的数据已被现有模型消耗殆尽。对于依赖数据驱动的模型而言，使用 AI 合成数据进行训练可能会带来反效果。
ARC-AGI 的设计师弗朗特·肖莱表示，在 GPT-4 的架构下，仅仅通过增加算力并不能达到 o3 的效果。因此，GPT-5 的架构可能反而不如 o3。
从 GPT-1 到 GPT-5，这一系列模型的发展过程就是不断增加参数和训练数据的过程。通过增加十倍乃至百倍的训练成本，却仅能获得不到百分之十的提高。从 60% 到 80% 的提升相对容易，但从 80% 到 90% 则变得复杂，超过 90% 的提升几乎是微乎其微。因此，GPT-3.5 到 GPT-4 的辉煌成就难以再次出现，因为我们无法再用重型武器对付小目标，这正是 Scaling law 的局限性所在。
自 2015 年成立以来，OpenAI 的团队从最初的 11 人大幅缩减至如今的 2 人。曾经有大约 30 名员工专注于 AGI 安全工作，但现在只剩下约 16 人。大量核心人员的离职，使得 OpenAI 的核心竞争力只剩下算力，Scaling law 的优势似乎已接近尾声。
