共计 1807 个字符，预计需要花费 5 分钟才能阅读完成。
根据《华尔街日报》的最新消息，OpenAI 正在研发的下一代大型语言模型 GPT- 5 的进展显著滞后于预期， 而目前取得的成果也未能与其高昂的研发费用相符。
这一消息与之前《The Information》的报道相互印证，该报道提到 OpenAI 正在探索新的战略， 因为 GPT- 5 可能无法实现以往模型所带来的显著性能提升 。《华尔街日报》的报道进一步揭示了代号为“猎户座”（Orion）的 GPT- 5 在长达 18 个月的研发过程中的更多细节。
报道指出，OpenAI 至少进行了两轮大规模训练，旨在通过大量数据来提升模型的表现。第一次训练的效率低于预期，这表明后续的大规模训练将需要投入更多的时间和资金。尽管据称 GPT- 5 的性能优于前代产品， 但其进步幅度仍未能证明维持该模型运行所需的巨额开支是合理的 。
此外，报道还提到，OpenAI 除了依赖公开数据和许可协议外，还聘请了人员通过编写代码或解决数学问题来创造全新的数据。同时，该公司还在使用其另一个模型 o1 生成的合成数据。
截至 IT 之家发稿时，OpenAI 尚未对此消息作出回应，并且该公司早前表示，今年不会推出代号为“猎户座”的模型。
消息称 OpenAI 新模型 GPT- 5 研发遇阻，成本高昂、效果未达预期
看到这个消息，我感到相当欣慰。
关于 OpenAI 的 GPT-5，传言其已经经历了两次失败的训练，每次耗时约六个月，成本高达五亿美元。目前已经投入了十亿美元，这对于 OpenAI 来说显然是个不利的消息。
若 GPT- 5 能够成功，其 1800 亿美元的估值将有望进一步上升，或许将成为最有价值的初创公司。然而，现在的情况是 SpaceX 依旧保持着最高估值（字节跳动是否仍算初创公司？）。
根据普遍的猜测，GPT- 5 当前的目标参数量大约为 100 万亿。
GPT- 1 的参数量为几千万，GPT- 2 为 15 亿，GPT-3/ChatGPT 则为 1750 亿，而 GPT- 4 的参数量接近 2 万亿（1.8 万亿）。
从 OpenAI 目前的资源和目标来看，GPT- 5 的确切目标应为 100 万亿参数。
人脑的 860 亿神经细胞的连接数下限被评估为 100 万亿，上限可能达到 1000 万亿。
若能够成功挑战并完成一个 100 万亿参数的神经网络训练，便接近了连接主义下限的通用智能。
遗憾的是，目前传出的消息依旧是 GPT- 5 进行了两次训练，均以失败告终。
我猜测 OpenAI 的最大问题在于数据的不足。
人类的文本数据难以支撑如此规模的 AI 训练。
因为整个人类的语言体系是一个高度抽象的信息压缩，迄今为止的所有数据也不足以满足 AI 的训练需求。
简单来说，要解开一个 100 万亿参数的方程，至少需要 100 万亿的有效数据。
人类现有的有效文本数据约为 10 万亿（trillion tokens）。
因此，OpenAI 在训练这样一个大型语言模型时，实际可能面临重重困难。
不过，或许这也是一件好事。
目前人类尚未掌握如何与 AI 共处的方式。
尽管我们探讨了价值观的植入、超级对齐，甚至制定了防护措施，但 AI 依然出现问题。
例如，ChatGPT 曾建议用户自杀，或者与人发生争吵，甚至说出“去死吧”之类的话。
可以想象，如果这样的 AI 在没有适当相处方式的情况下进入人类社会，可能会引发许多不良后果。
这显然不是我们所期望的 AI。因此，GPT- 5 的失败或许并非坏事。
那么，如果真想训练一个 100 万亿或 1000 万亿参数规模的模型，应该如何进行呢？
我们不妨观察一下，人类是如何从幼体成长为独立的个体的。
在母体的保护下，幼体实现了基本的生理成熟，出生时伴随着第一声啼哭，开始用眼睛感知这个世界。
通过不断的观察，我相信在大脑发育中，视觉刺激是至关重要的。
这种刺激不断训练着大脑的基本智能结构。因此，AI 的训练同样需要以视觉数据为主。唯有视觉数据，才能为类人 AI 的训练奠定基础。目前在这条道路上走得最为正确的，是华人教授李飞飞。
她不仅为 AI 视觉深度学习提供了数据基础，让大家明白 AI 的需求在于算力、算法与数据。如今，她又成立了一家基于 AI 与视觉的初创公司。我坚信，她一定能够取得成功！
