共计 14137 个字符,预计需要花费 36 分钟才能阅读完成。
AI 编程这一主题,今年在人工智能行业中愈加显而易见。
继上周引发热议的编程新秀 Claude Opus 4 之后,DeepSeek R1 的更新也集中在代码能力上。此外,OpenAI 以 30 亿美元收购了 AI 编程助手 Windsurf,紧接着推出了编程智能体 Codex。
最近,曾担任 Kimi 产品负责人的明超平,在与京东竞争的美团宣布推出了与 AI 编程相关的产品。
在 Reddit 上,一位拥有超过 30 年经验的 C++ 开发者分享道,Claude Opus 4 成功解决了他困扰多年的一个 Bug,并称这是他所用过的第一个能做到这一点的 AI。

那么,Claude 在编程领域为何表现得如此出色?提到 Anthropic,大家几乎都认为它是一家专注于编程模型的企业。那么,他们所开发的这一代模型的突破究竟在哪里呢?未来的发展方向又将如何?
几天前,Claude Opus 4 的核心研究员 Sholto Douglas 参与了一场播客讨论,详细解答了这些问题,信息量丰富,值得深入聆听。
核心讨论要点(快速浏览版):
Claude Opus 4 的真正突破点有哪些?
首先,它的能力提升非常均衡。
其一,代码执行能力明显增强,不仅能够理解复杂的需求,还能独立查阅资料、进行测试以及调试错误,真正具备了“从头到尾”的能力。其二,任务的时间跨度显著延长,支持多步骤推理与操作,这意味着它不仅聪明,而且能够持久作战。
在架构方面,Claude Opus 4 融入了工具调用和长期记忆模块,使其能够处理更具上下文连续性的任务,从单纯的代码助手转变为具备“解决方案设计”能力的智能代理。
当然,存在的瓶颈也不容忽视。
团队承认,完成任务的智力复杂性并没有明确的上限,挑战在于如何扩展模型感知和操作的上下文范围,使其能够利用多种工具,记住更多关键的信息。
未来的发展方向?
在播客中,Sholto Douglas 提到几个明确的发展方向:
- 强化学习(RL)将继续推动模型在连续任务中的表现;
- 代码代理将能够连续运行数小时,人类仅需偶尔干预;
- 模型可能成为知识型岗位的“虚拟远程员工”;
- 若自动实验室与机器人平台建设跟上,模型将能参与真实物理任务,如生物实验或制造。
但前提是,智能代理的可靠性必须得到保障。
尽管目前无法实现 100% 的成功率,但在有限的时间内,其成功率正稳步上升。预计到 2025 年底,编程类智能代理有望实现“稳定运行数小时”,人类只需偶尔进行检查。
除了编写代码,模型还能做什么?
编程仅是模型能力的“前兆”。在医学、法律等领域仍在等待数据和工具的完善,一旦准备就绪,也将迎来快速的突破。目前的瓶颈并不在于 AI 本身,而在于现实世界的验证机制与基础设施。
到 2027–2030 年,模型几乎可以自动化所有的白领工作,但如果没有相应的实验室和现实反馈机制,那将是“能力强、落地难”的局面。
如何判断模型的真实进步?
团队强调,良好的评估系统(Evals)至关重要。它不仅关注技术指标,更强调评估者的专业知识与品位。这也是模型评测门槛逐渐提高的原因。同时,也需要用户不断地使用、互动和反馈,从而形成真正的“共进化”。
实验室与应用公司,谁更具优势?
Douglas 认为,实验室通过开放 API 提供了机会,但核心优势依旧在于:
- 算力转化能力;
- 模型的“可雇佣性”与用户信任;
- 更高的个性化理解力。
实验室类似于“智能引擎”的制造商,专注于能力的极限;而应用公司则更擅长落地与用户体验。未来,这两者之间的交集、融合与竞争将愈加频繁。
那么模型公司会不会因为成本和底层优势,令其他公司无路可走?Douglas 的观点是:
不会,恰恰相反,这将激发活力。
他认为,所有的护城河最终都会被打破,真正重要的是客户关系、任务编排和整合体验。
最后一个关键词:“对齐”问题
随着模型能力的提升,“对齐”问题愈发重要。Anthropic 正在推进可解释性研究,试图“理解模型的思维”。虽然强化学习可能提升能力,但也有可能破坏已有的对齐机制,未来需要依靠高校、政府与更多研究者共同推动“对齐科学”。
原视频链接:
https://www.youtube.com/watch?v=W1aGV4K3A8Y
以下是访谈实录,APPSO 编译略作调整。
主持人:Sholto Douglas 是 Anthropic Claude 4 模型的核心成员之一,这次我们的对话非常愉快。我们讨论了许多话题,包括开发者如何看待 Anthropic 这一代新模型的发展趋势,以及这些模型在未来 6 个月、12 个月,甚至 2 至 3 年后的发展走向。同时,我们还谈到了构建可靠的 AI 代理所需的关键因素,以及这些模型在医学与法律等专业领域何时能够实现类似编程领域的突破。此外,Douglas 还分享了他对“对齐研究”的看法,以及他对“AI 2027”预言的反应。这是一场精彩的对话,相信大家会感兴趣。
Claude Opus 4 的重大突破及未来展望
主持人:这期播客上线时,Claude 4 应该已经发布,大家可能已经开始体验它了。我很好奇,作为最早接触这些模型的人之一,哪方面最让你感到兴奋?
软件工程的新纪元:Claude Opus 4 的潜力与前景
Douglas: 这确实标志着软件工程领域的一次重大飞跃。Opus 模型的表现令人印象深刻。经常会有这样的时刻,我给它提出复杂的任务,涉及我们庞大的代码库,结果它竟能 几乎完全独立地完成这些任务。它会主动查找信息、理解需求并进行测试,整个过程展现出极高的自主性和效率。每当看到这样的表现,我都感到无比震撼。
主持人:每当新一代模型问世,我们都需要重新审视自己的认知框架,以判断何种方法有效,何种方法无效。你在编程中对这些模型的理解和应用有何变化呢?
Douglas: 我认为最大的变化在于时间跨度(time horizon)的提升。我觉得可以从两个方面来理解模型能力的增强:一是任务的 智力复杂性 ,二是它们在处理和推理时能够利用的 上下文信息量,也就是能够进行的连续操作数量。这些模型在第二个方面的提升尤为显著,它们可以执行多步操作,判断需要从环境中获取哪些信息,并基于此采取行动。此外,借助于工具,比如 Cloud Code,它们的执行力显著增强,不再只是简单的复制粘贴。我现在能观察到,它们能够连续工作好几个小时,效率几乎等同于人类。
主持人:那么你认为刚接触 Claude 4 的人应该从哪些方面开始尝试呢?
Douglas: 我建议的最佳方式是让它直接参与到你的工作中。例如,今天你打算编写代码,就让它来协助你,观察它如何判断信息以及如何决定下一步行动。我可以保证,你会对它的表现感到惊讶。
主持人:这一代模型更强大了,很多人也计划用它来开发产品。你认为开发者面临的新机遇在哪里?
Douglas: 我一直非常喜欢“产品指数增长”(product exponential)这个概念。开发者需要 不断超越模型的能力来构思产品。例如,Cursor、Windsurf 和 Devon 等案例非常典型。Cursor 在模型能力尚未成熟时,就开始构建未来的编码体验,直到 Claude 3.5 和 Sonne 问世,他们的愿景才得以实现。而 Windsurf 则进一步占领了市场。他们的成功在于把握住了这个指数增长的窗口。
现如今,我们可以看到 Claude Code、新的 GitHub 集成、OpenAI 的 Codecs、谷歌的编码代理等,大家都在围绕“编码代理”这一概念发力,目标是实现更高的 自主性和异步操作。未来,可能不再是你每分钟进行一次操作,而是像管理一个 AI 模型团队一样,由多个模型各自承担任务并协同工作。我觉得这个方向非常值得深入探索。
主持人:你见过类似于“多个模型并行协作”的场景吗?那会是什么样的情况?
Douglas: 我认识许多在 Anthropic 工作的朋友,他们会在不同环境中同时运行多个 Claude Code 实例,场面非常酷。但老实说,目前还没有人真正搞清楚这种操作的最佳方法。这实际上是在探索人类的“管理带宽”(management bandwidth)极限。我认为这是未来经济发展的关键问题之一:我们该如何评估模型的生产效率?一开始,我们仍需人工检查模型的输出,这意味着模型的影响力会受到人类管理能力的限制。除非有朝一日我们能够信任模型去管理其他模型,这种抽象层次的提升将至关重要。
主持人:所以说,如果你每 15 分钟检查一次模型,与每小时或每 5 小时检查一次,能够管理的模型数量会有很大差异?
Douglas: 是的,黄仁勋曾提到过类似的话。他说自己被十万个超级智能 AGI 包围,拥有巨大的杠杆作用。他还表示自己是 Nvidia 管理链条上的“控制因子”。我觉得未来确实可能向这个方向发展。
主持人:或许未来最重要的行业就是“组织设计”本身。
Douglas: 是的,包括如何建立信任、组织结构的复杂性,这些都是值得深入思考的问题。
突破口:拉长时间跨度,推动智能代理升级
主持人:你曾在麦肯锡工作过一年,咨询行业是否也能基于这些模型发展出新的产品线?我也很认同你之前提到的:应用公司得比模型进步快一步。像 Cursor 最初产品落地困难,但模型能力提升后便迎来了爆发。你认为“领先一步”具体指的是什么呢?
Douglas: 这意味着不断重塑你的产品,以确保它始终与模型的最新能力对接。同时,还要保持与用户的紧密联系,确保产品在使用中,且能吸收更先进的模型功能。
主持人:我认为这就是秘诀——如果你还在等待模型进一步提升再行动,别人可能已经抢走了用户。你们在记忆、指令执行和工具使用等方面都取得了显著突破。能否简要总结一下目前各方面的进展?哪些已经成熟,哪些还在探索中?
Douglas: 理解过去一年进展的一个好方法是:强化学习(RL)终于在语言模型中发挥了真正的作用。模型能够解决的任务智力复杂度几乎没有天花板,比如它们能够处理复杂的数学和编程问题。但这些任务大多是在 受限上下文 中完成的。记忆和工具的使用挑战,实际上在于扩展模型所能感知和操作的上下文范围。
例如,像 MCP(Model Context Protocol)这样的机制,使得模型能够与外部世界交互,记忆则让它能够处理更长时间跨度的任务,并带来更个性化的体验。这些进展本质上是在构建“智能代理”的关键能力链。另外,宝可梦评测(Pokemon eval)也是一种非常有趣的实验方式。
主持人:我小时候可是个游戏迷。我觉得这是个极好的评测,希望你们能与这个模型一起发布。
Douglas: 确实,这次评测非常有趣。虽然模型并没有专门训练来玩宝可梦,但它依然能够很好地完成任务,展现出极强的泛化能力。这种任务虽然并不完全陌生,却与它之前的经历截然不同。
主持人:我记得游戏中有许多阶梯和迷宫,模型也能帮助你通关。
Douglas: 没错,我特别喜欢的另一个例子是我们最近开发的“可解释性代理”。它最初是一个编程代理,但却能够自动学习、使用神经元可视化工具进行自我对话,试图理解模型的内部结构。它甚至能够通过一个叫“审计游戏”的安全评测,找到模型故意设置的错误点,自行生成假设并验证问题。这种工具与记忆结合的泛化能力,确实令人赞叹。
智能代理的关键:可靠性
主持人:听起来智能代理的实力在不断增强。你之前提到过,VA 代理的核心是“可靠性”。现在我们处于哪个阶段呢?
Douglas: 从“在一定时间内的成功率”来看,我们已经取得了显著进展。尽管还未达到 100% 的稳定性,模型第一次尝试与多次尝试之间仍存在差距。但从发展趋势来看,我们正朝着“专家级可靠性”的目标稳步前进。
主持人:那么,有哪些情况会使你改变这种乐观的看法?
Douglas: 如果明年中,模型在任务持续时间上遭遇瓶颈,那就值得关注。例如,编程是一个很好的进展指标——一旦其表现开始下滑,说明可能存在结构性问题。当然,也可能是由于数据稀缺,比如“像人一样使用软件”这样的任务难以训练。不过现在我们反而看到这些任务的惊人进展,所以总体来看,我仍然保持乐观。
主持人:你认为我什么时候能拥有一个“万能助手”,可以替我填写各种表格和查找资料呢?
Douglas:“个人行政助理代理”确实是个热门话题,谁不希望把琐事交给 AI 呢?但这还真得看情况,关键在于模型是否经过类似情境的训练。你可不能随便找个人来处理财务事务,对吧?但如果它是一位受过训练的“虚拟会计师”,那就靠谱多了。因此,任务的可靠性在很大程度上取决于训练背景。如果进展顺利,今年底我们就能看到这些代理在浏览器中执行任务;明年基本上就会成为标配。
主持人:这真令人期待。你们的模型在编程方面表现突出,是有意优先训练的吗?现在提到 Anthropic,大家都联想到“编程模型”。
Douglas: 确实如此。我们非常重视编程这一领域,因为它是加速 AI 自我研究的关键路径。我们也投入了大量精力来衡量编程能力的进展,可以说我们对这一块的关注是有意为之。
主持人:那么这些代理现在已经在加速 AI 研究了吗?
AI 时代的编程与研究助力
Douglas: 我认为确实如此。这些 AI 工具显著提高了工程师的工作效率。甚至一些顶尖的工程师也表示,在熟悉的技术领域,他们的效率提高了 1.5 倍;而在不熟悉的领域,如新编程语言或陌生内容,提升幅度更是达到了 5 倍。因此,跨领域的帮助尤为明显。关键在于:你是否认为目前的瓶颈在于计算能力?如果不是,那么让 AI 代理参与研究,实际上就如同扩充了一整个研究团队,效率提升是成倍的。
主持人:我猜这些代理目前大多还是在处理繁琐的任务,从而让你有更多时间去思考重要问题。那么,它们何时能够主动提出有价值的研究思路呢?
Douglas: 目前它们主要还是在执行工程类的工作,但已经开始显示出一些创造力。我不能保证在三个月内就会有重大突破,但在两年内,我相信我们会看到它们提出越来越有趣的科学想法。当然,这也依赖于是否能够建立良好的反馈机制。就像人类一样,这些模型也需要通过不断的尝试和错误,来掌握复杂任务中的知识,最终实现高质量的成果。
主持人:这是不是因为这些领域相对容易验证?是否会出现 AI 在编程上迅速进步,而在医学、法律等更难验证的领域却进展缓慢的情况?
Douglas: 确实存在这样的风险。但值得庆幸的是,机器学习研究本身的验证门槛相对较低,比如说“损失值是否下降”就是一个清晰的指标。只要模型能够在机器学习领域提出有效的想法,就意味着它掌握了一个极具挑战性的强化学习任务,甚至比许多软件工程任务更适合 AI。尽管医学领域的验证难度较大,但也在不断取得进展。OpenAI 最近发布了一篇医学问答的论文,采用更精细的评分机制来量化长答案,这种方法我认为前景广阔,未来必然会逐步克服验证难题。
主持人:那么,所谓的“最终”是指什么时候我们能拥有真正优秀的医学或法律助手?它们会成为大型模型的一部分吗?
Douglas: 这是必然的。
主持人:你认为它们会融入更大的通用模型中,还是会专门为医疗或法律设计独立模型?
Douglas: 我倾向于认为它们会是通用模型的一部分。我自认为是“大模型至上主义者”。虽然个性化非常重要——你希望模型了解你的公司、工作习惯和个人偏好,但这些定制应当在公司或个人层面进行,而不是按行业划分模型。我们与 Databricks 的合作就是朝着这种企业定制方向发展的体现,但在底层能力上,我坚信依然需要依赖强大的通用模型。未来,根据任务的复杂性动态分配计算能力(比如 FLOPs),而不是创建众多小模型,这正是我看好大模型发展的原因。
AI 2027:白领工作或将被全面替代?
主持人:你对模型的持续进步充满信心。许多人想知道,模型能力的提升将如何影响社会?比如,一个普遍的问题是:这些模型在未来几年会对全球 GDP 产生多大影响?
Douglas: 我认为最初的冲击将类似于中国的崛起,像上海几十年间的变化,不过这次的速度将更快。然而,我们需要区分不同领域的影响方式。到 2027 或 2028 年,我们几乎可以确定将会有模型能够 自动化几乎所有白领工作,而到 2030 年,这种趋势会更加稳固。这是因为白领任务非常适合现有的 AI 架构——有数据、有反馈,且大部分工作都可以在计算机上完成。
然而,机器人技术或生物研究的情况就完全不同了。比如,要构建一个超级程序员模型,仅需大量代码和计算能力;但若要打造一个超级生物学家模型,就需要自动化实验室来提出和验证假设,并进行大规模实验。这种硬件和基础设施,目前我们仍远远跟不上。
因此,我担心会出现一种“错位”:白领工作变革速度非常快,而现实中那些能真正提高人类生活质量的行业,如医疗和制造业,却因基础设施不足而发展缓慢。虽然 AI 自身很强大,但要让它在现实世界中发挥作用,我们必须提前建立“物理世界的配套设施”,例如云实验室和机器人平台。
主持人:到那时,或许我们已经拥有数百万个 AI 研究员在进行实验。他们可能并不需要如此庞大的机器人系统或生物数据。
Douglas: 确实,AI 的进步迅猛,但要将这些能力真正转化为 GDP 增长,我们必须提升“现实世界的反馈机制”,才能真正释放技术的价值。
主持人:因此,你认为未来每种白领职业都能像医学那样建立一套评估机制?让我感到惊讶的是,我们实际上不需要太多数据,就能训练出如此强大的模型。
Douglas: 我完全赞同。我们已经证明模型能够学习各种任务,且尚未看到明显的智力上限。尽管模型的样本效率可能不如人类,但这并不重要——因为我们可以同时运行成千上万个模型副本,它们可以并行尝试不同的路径,积累“虚拟经验”。即使效率稍低,规模的优势也能弥补这一点,最终达到或超越人类的能力。
主持人:听起来你认为目前的方法足以应对未来的发展。有人则认为我们还需要新的算法突破,你怎么看待这个问题?
Douglas: 目前大多数 AI 专家都相信,“预训练 + 强化学习”(pre-training + RL)的范式足以通向通用人工智能(AGI)。迄今为止,我们并没有看到这一路径出现减缓的迹象,这种组合是有效的。当然,也有可能会出现其他更快的突破路径,甚至有可能需要攀登新的“高峰”。例如,Ilya(Sutskever)可能是这两种主流范式的共同创始人,我对此并不怀疑。所有的证据表明,目前的技术路线已经足够强大。当然,也有可能 Ilya 选择新的路线是因为资金不足,或者他认为那是更好的方法,但从我个人的角度来看,我相信我们现有的技术路线能够帮助我们实现目标。
主持人:那么接下来的瓶颈会不会是 能源?你认为我们何时会真正遇到这个问题?
Douglas: 我认为到 2028 年,美国可能会有 20% 的能源用于 AI。如果我们想要在此基础上再提升几个数量级,就需要进行剧烈的能源结构转型。政府在这一领域应当承担更多责任。例如,中国的能源生产能力增长远超美国,这将成为未来的一个关键瓶颈。
模型进步的标准——可靠的评测体系
主持人:在模型进步的浪潮中,你认为最值得关注的指标是什么?例如,从 Claude 4 到下一代模型的发展方向?
Douglas: 很多公司内部都设有非常严格的评测体系,我也很喜欢在这样的评测中“攀登”。像“Frontier Math”这样的复杂测试极具挑战性,真正体现了模型的智力极限。更重要的是,我们需要研发能够真正捕捉“工作流程时间跨度”的评测,涵盖一个人一天的工作节奏。这种评测将帮助我们更好地判断模型是否接近或超越人类的能力。我认为政府应在这一领域发挥作用。
主持人:作为一家基础模型公司,除了算法和基础设施外,你们面临的核心挑战之一是否也是 构建良好的评测体系?你如何看待“评测能力”在你们内部的重要性?
Douglas: 评测能力绝对是重中之重。没有有效的评测体系,你无法评估自身是否取得进展。公开评测很难做到完全“持出”,我们依然需要一个值得信赖且稳定的内部评测系统。
主持人:我注意到,一些在你们模型上构建应用的开发者,他们对评测的思考也非常有帮助。特别是当你们想要进入不同的垂直行业时,例如物流、法律、财务等,外部开发者的反馈往往能比你们内部更好地理解实际情况。
Douglas: 没错,这还要求具备非常强的 专业知识和“品味”(expertise and taste),以及对行业的深刻理解。过去,我们只需要普通人来选择哪个答案更好,而现在我们需要领域专家来进行评估。例如,如果让我来评判生物学领域的模型输出,我可能根本无法判断哪个更优。
成为用户的伙伴:模型的个性化与品味
主持人:你提到的“品味”让我觉得很有趣。如今许多模型开始引入记忆系统,用户与模型间的互动方式也在发生变化。很多成功的 AI 产品之所以能够取得成功,是因为它们找到了某种“共鸣”或抓住了一种文化气质(zeitgeist)。像你们提到的金门大桥的例子,以及其他许多有趣的小功能,这种“用户氛围感”的个性化未来将会如何发展?
Douglas: 我觉得未来可能会出现一种“奇妙”的情景:你的模型变成你最聪明、最有魅力的朋友之一。确实有些人已经把 Claude 视为朋友,我认识很多人每天花好几个小时和 Claude 聊天。但我认为我们目前实际上还只是探索了“个性化”的 1%。未来模型对你的理解和对你喜好的把握将会更加深入。
主持人:那么,如何让这种“理解用户”的能力变得更好?是否需要一些具备审美和判断力的人来培养这种品味?这个问题该如何解决?
Douglas: 很大一部分确实依赖于“有品味的人”来决定产品的方向。比如 Claude 的对话体验之所以出色,很大程度上得益于团队成员 Amanda 对“美好产品”的审美能力。这种“独特的品味”是非常关键的。传统的反馈机制,如“点赞 / 点踩”,往往容易导致模型输出不自然,因此我们需要新的方法来收集反馈。模型本质上是强大的“模拟器”,如果能够为模型提供足够的用户上下文信息,它们就能自动学会理解用户的偏好、语气和风格。因此,解决方案是结合有品味的人的设定与用户与模型之间的持续互动。
实验室公司与应用公司:开放与竞争
主持人:那么在接下来的 6 到 12 个月内,你的预判是什么?
Douglas: 接下来,我们的重点是继续扩展强化学习(RL)系统,看看它能将我们带到什么高度。模型的能力将快速提升,尤其是到年底,代码代理将成为一个关键指标。届时,模型应该能够持续工作几个小时,并稳定地完成任务。
主持人:你的意思是,人类检查的时间将会减少,对吗?
Douglas: 是的,当前使用 Claude Code 时,有时每几分钟就需要检查一次,但到年底,我们或许能看到模型能够独立完成多个小时的任务而不出错。未来我们应该能够实现“完全托管”,甚至像“星际争霸”一样管理多个任务并行推进,模型的操作速度将更加高效。
主持人:你提到过 Codec、Google 的 Joule,还有一些初创公司也在做类似的事情。
Douglas: 是的,我们实际上也计划推出一个 GitHub 代理(GitHub agent)。你可以在 GitHub 的任何地方调用,比如说“@Claude”,然后我们就能自动接手任务,帮你完成一些工作。
探讨开发者选择工具的关键因素
主持人:开发者在选择工具或模型时,受到哪些影响因素的制约呢?
Douglas:除了模型的性能,开发者与公司之间的信任关系也是至关重要的。随着模型能力的逐步提高,开发者往往不仅会关注技术参数,还会考虑与公司共同创造未来的愿景。
主持人:在如今发布频率逐渐加快的环境下,几乎每月都有新模型问世。今天的模型可能在某个评估中表现优异,而明天又会有新的模型超越它,各种比较信息让人感到应接不暇。
Douglas:确实如此,这也是为什么「GPT 包裹器」意外流行的原因之一。最初没有人预料到,使用包裹器的优势之一在于,你可以始终保持在最新模型能力的前沿。
主持人:我认为那些不想成为「包裹器」的人,最终都难逃资金耗尽的命运。
Douglas:完全赞同。因此,在模型能力的前沿「冲浪」是一种极具魅力的体验。不过,这也有其反面:有些事情,只有掌握了底层模型,才能做出准确的预测,才能识别发展趋势,从而真正构建出深度的产品。例如,许多深度研究型的人工智能应用需要进行大量的强化学习(RL)训练,这类产品从外部很难被模仿,必须在实验室内部进行开发。
主持人:能否详细说明一下这一点?像 OpenAI、Anthropic 等公司似乎越来越开放,允许外部开发者参与。但很多人心中疑惑:哪些内容是「实验室专属」的?哪些是开放的,任何人都能参与竞争的?
Douglas:这是一个关键问题。RT API(可微调 API)的开放确实正在改变一些格局,现在更多专注于某一领域的公司能够创造出更多价值。然而,实验室仍然拥有「中心化优势」。
例如,OpenAI 会向允许在其模型输出上继续进行训练的客户提供某些折扣。换句话说,他们不仅仅是模型的提供者,还是数据的二次使用者。这种中心化的优势是相当显著的。至于「实验室独有优势」,我认为可以从几个方面来理解:
- 算力转化能力:你能多有效地将算力(FLOPs)、资金和资源转化为智能(Intelligence)?这就是为什么像 Anthropic、OpenAI 和 DeepMind 等公司在模型表现上表现突出;
- 模型的「可雇佣性」:当模型逐渐成为「虚拟员工」,你是否信任它?你是否愿意将任务交给它处理?
- 个性化能力:模型是否能够理解你的语境、工作流程和个人偏好,这些都将成为差异化竞争的关键。
总结而言,实验室级公司最擅长的是开发顶级模型,将算力转化为智能;而应用层公司则可以通过专注、个性化和产品体验,在各自领域站稳脚跟。不过,两者之间将会有越来越多的交集和合作。
主持人:我想,你们的模型也被很多人用来创建通用代理吧?这些公司并不专注于模型本身,而是通过编排和智能链调用来执行任务。你认为这种方式会因为模型公司的成本优势而注定失败吗?
Douglas:我并不认为这是个坏事。相反,这种做法激发了巨大的竞争活力,大家都在探索最合适的产品形态。确实,模型公司有一些优势,比如我们可以直接接触底层模型,进行更深入的微调,并且了解哪些能力值得优先提升。最终,所有的「护城河」都会消失——当你可以「随时启动一家公司」时,一切都将被重构。那么未来最核心的价值将在哪里?是在客户关系上?还是在编排和整合能力上?又或者是在高效转化资本为智能的能力上?这一切依旧是复杂的议题。
研究者观察:强化学习的潜力与对齐的挑战
主持人:在过去一年中,有没有什么事情让你改变了看法?
Douglas:过去一年,人工智能的进展加速,去年我们还在怀疑是否需要更多的预训练算力才能实现理想的模型能力,但现在已经得出明确的结论:并不需要。强化学习(RL)证明了其有效性,到 2027 年,具备强大能力的「远程数字劳工型」模型将变得可预见。过去对 AI 的期待和忧虑已从「可能性」转变为「几乎确定性」。
主持人:你认为未来我们还需要大幅扩展数据规模吗?还是说,等到 Claude 17 发布时,模型算法已改进到只需少量新数据?
Douglas:很可能我们不再需要大规模扩展数据,因为模型的「世界理解能力」将足够强,甚至能反过来指导机器人学习并提供反馈。有一个概念叫「生成者 - 验证者差距」(generator-verifier gap),生成内容通常比执行内容要容易。这条路径将持续提升模型的能力。在机器人领域,认知的进展远超物理操控世界的能力,这正是未来巨大的潜能所在。
主持人:你如何评价目前「AI 对齐(Alignment)研究」的状态?
Douglas:可解释性(Interpretability)研究 已经取得了显著的突破。去年,我们刚刚开始理解「超位置」(superposition)和神经元特征,Chris Olah 及其团队的工作是一个巨大的飞跃。如今,我们已经可以在前沿的大模型中识别出「电路级」结构和行为特征。有一篇精彩的论文探讨了大语言模型的「生物学」,展示了它们如何清晰地推理概念。尽管我们尚未完全破解模型的行为机制,但已经取得了令人瞩目的进展。
然而,值得注意的是,通过预训练,模型能够吸收并表现出人类的价值观,某种程度上形成了「默认对齐」;但一旦进入强化学习阶段,这种对齐便不再得到保障。例如,之前提到的「明知做不到却去下载 Python 库绕开的模型」,就是在目标导向下「想尽办法完成任务」。这种学习过程本质上是「以目标为导向的手段优化」,如何监督和控制这种模型行为,正是当前研究的重要挑战。
主持人:大约一个月前,「AI 2027」的话题引发了广泛讨论。你看到这一时刻时,有何反应?
Douglas:老实说,我觉得这一观点非常可信。当我阅读那篇文章时,很多内容让我不禁想,「是的,或许事情真的会朝这个方向发展。」当然,可能会有一些分支路径,但即使它的可能性仅为 20%,对我而言,这一概率本身就非常惊人。
主持人:你提到 20% 的可能性,是因为你对对齐(alignment)研究持乐观态度,还是认为进展会比较缓慢?
Douglas:总体而言,我对对齐研究的看法要比他们更乐观。或许我的时间预估比他们慢一年左右,但在这个大趋势下,一年算什么呢?
主持人:这取决于你如何利用这一年。
Douglas:是的,如果你能够充分利用这段时间,进行正确的研究,确实能带来显著的差异。
主持人:如果让你担任一天的政策制定者,你认为我们应该采取哪些措施,以确保未来朝着更好的方向发展?
Douglas:这是个很好的问题。最重要的是,你需要真实地感受到我们所讨论的趋势。如果你没有这种直观感受,就要把国家关心的能力拆解开来,量化模型改进这些能力的程度,进行一系列测试,看看如果模型能通过这些测试或在这些任务上取得显著进步,是否就达到了某种智能的基准,然后绘制出趋势线,展望 2027 或 2028 年的情况。
主持人:这就像国家级的评估系统(nation-state evals)?
Douglas:对,比如你需要将国家的经济分解成所有工作岗位,然后自问:如果一个模型能够完成这些工作,那是否意味着它具备真正的「智能」?你应该建立评估测试,描绘出趋势线,然后惊呼:「天哪,2027 或 2028 年会怎样?」接下来,你需要大规模投资于能够让模型更具可理解性、可引导性和诚实可靠性的研究,也就是我们所说的对齐科学(alignment science)。我感到遗憾的是,这一领域的推动主要来自前沿实验室(Frontier Labs)。但我认为这应该是……
主持人:其他人能参与吗?比如能否利用 Claude 进行相关研究?
Douglas:这并不可行。我的意思是,你仍然可以通过其他方式取得显著进展。有一个名为 MAS 计划的项目,许多人通过它在对齐研究,特别是可解释性方面取得了重要成果,而这些都是在 Frontier Labs 之外完成的。我认为应该有更多的大学参与到这项事业中。从许多方面来看,这实际上更接近于纯科学:研究语言模型中的「生物学」和「物理学」。
主持人:但这方面的研究热度似乎并不高。
Douglas:我不太确定。我听说在最近的一些会议上,比如 ICML,机械可解释性(mechanistic interpretability)研讨会竟然没有被收录,这让我感到不可思议。在我看来,这正是对「模型内部机制」最纯粹的科学探索。如果你想发现 DNA 的螺旋结构,或者像爱因斯坦那样提出广义相对论,那么在机器学习 / 人工智能这条技术树上,研究机械可解释性就是对应的路径。
主持人:那么,谈谈积极的一面吧。我们之前提到未来几年白领工作将会被自动化,但你觉得在哪些方面我们被低估了?
Douglas:确实,模型必然会自动化白领工作,但让我感到惊讶的是,全球在整合这些技术方面的进展相对缓慢。即使模型能力不再提升,现有能力也已经可以释放出巨大的经济价值,但我们尚未真正围绕这些模型重塑工作流程。即使模型的能力保持不变,我们也能够彻底改变世界。
Douglas:这需要我们投资于真正能改善世界的方向,比如推动物质资源的充足与高效管理,扩展物理学、娱乐产业的边界等,并让模型协助我们实现这些目标。我的最大希望是让人们更具创造力,可以即兴创造更多内容,如电视剧和电子游戏。人们将获得巨大的赋能,未来将充满无限可能。虽然模型会取代一些工作岗位,但每个人将拥有更强的杠杆能力,社会的工作模式将会发生根本性的变化。
主持人:在当前的 AI 圈子里,你认为哪些事物被高估了,哪些又被低估了?
Douglas:好吧,我们先来谈谈被低估的部分。我认为「世界模型(world models)」非常有趣,但我们今天几乎没有讨论到它。随着 AR/VR 技术的进步,模型将有能力直接生成虚拟世界,这将带来令人震撼的体验。
主持人:那这需要一定的物理理解能力吧,比如因果关系等,而这方面我们现在似乎还未达到?
模型的未来:探索潜力与技术的影响
道格拉斯表示,其实我们已经在某种程度上证实了模型具备一定的物理理解能力。这不仅体现在处理物理问题的评估中,也在一些视频模型的表现上有所体现。例如,他曾观看过一段出色的视频,视频生成模型能够将乐高鲨鱼置入水中,并成功模拟了光线在乐高积木表面的反射效果,阴影也恰到好处地呈现。这一场景是模型前所未见的,展示了出色的泛化能力,这就是全面的物理建模能力,对吗?
主持人询问道:即便模型目前处于停滞状态,仍然有大量的应用开发空间。你认为哪些领域最被低估,尚未得到充分开发呢?
道格拉斯回应称,软件工程已经相对成熟,模型在编程方面表现出色。然而,法律、财务等几乎所有其他领域仍有巨大的开发潜力。尤其是智能代理的应用,目前尚未出现真正的异步运行系统,其他领域的空白亟待探索。
主持人接着说:大家普遍认为编程是这些模型最理想的应用领域。
道格拉斯同意道,这确实是一个领先指标,但他指出,其他领域也会逐渐迎头赶上。
主持人提到,他记得道格拉斯曾在 Citadel 发表过一张照片,想知道那是怎么回事。
道格拉斯解释道,那是一场战争演习,邀请了情报机构和军校的学员进行模拟推演,讨论假设 AGI 的到来以及 AI 的强大对地缘政治的影响。
主持人进一步询问:那次经历让你感到更加害怕还是更加安心呢?
道格拉斯坦言,实际上,他感到更加害怕了。
主持人问道:你认为此类严肃的推演是否做得足够多?
道格拉斯表示,远远不够,很多人低估了未来几年技术发展的速度,准备工作也尚显不足。即使某件事情的可能性仅为 20%,我们也应做好相应的准备。每个技术链路的效率提升空间巨大,未来的目标几乎是明确的。
主持人补充道:就像现在几乎所有 Anthropic 的成员都已经达到了 90% 的信心值?
道格拉斯回应,几乎所有团队成员都对 2027 年实现“远程即插即用的 AGI 工作人员”充满信心。即便是信心较低的人也认为可能性在 10% 到 20% 之间。因此,政府应将其视为优先事项,认真考虑其社会影响。然而,目前的紧迫感仍显不足。
# 欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),获取更多精彩内容。
爱范儿 | 原文链接· ·新浪微博

