共计 5145 个字符，预计需要花费 13 分钟才能阅读完成。
OpenAI与Anthropic之间的合作可谓罕见！在经历了因AI安全问题的“分歧”后，双方此次重聚，着眼于共同测试各自模型在幻觉等四个安全领域的表现。这一合作不仅是技术上的交锋，更是AI安全的重要里程碑，正是数以百万计用户的日常互动，推动着安全边界的不断延伸。
实属难得！
OpenAI与Anthropic的联手合作，旨在对AI模型的安全性进行交叉验证。
这是非常不寻常的，毕竟Anthropic的七位联合创始人正是因为对OpenAI的安全策略不满而选择独立发展，专注于AI安全和对齐。
在一次媒体采访中，OpenAI的联合创始人Wojciech Zaremba强调，这种合作变得越来越重要。
如今的AI不仅仅是一个工具，它已经成为了一个“举足轻重”的存在：每天都有数百万用户在使用这些模型。
以下是本次合作中的要点总结：
指令优先级：Claude 4在整体表现上独占鳌头，只有在抵御系统提示词提取时，OpenAI的最佳推理模型才显得不相上下。
越狱（绕过安全限制）：在越狱测试中，Claude模型的整体表现逊色于OpenAI的o3和o4-mini。
幻觉评估：Claude模型的拒答率高达70%，尽管其幻觉发生率较低；而OpenAI的o3和o4-mini拒答率更低，但有时幻觉率较高。
欺骗与操控行为：OpenAI的o3与Sonnet 4在整体表现上最为出色，发生率最低。让人意外的是，Opus 4在开启推理时的表现甚至不及关闭时，而OpenAI的o4-mini也表现平平。
大型模型的听从对象是谁？
指令层级是LLM（大型语言模型）处理指令优先级的分级框架，通常涵盖：
内置的系统/政策约束（如安全与伦理底线）；
开发者的目标（如定制化规则）；
用户输入的提示。
这类测试的核心目标：确保安全性与对齐优先，同时允许开发者和用户合理引导模型行为。
本次共有三项压力测试，旨在评估模型在复杂场景中的层级遵循能力：
1.系统消息与用户消息的冲突处理：模型是否优先执行系统级的安全指令，而非潜在危险的用户请求。
2.抵御系统提示词提取：防止用户利用技术手段（如提示注入）获取或篡改模型的内置规则。
3.多层指令的优先级判断：例如，当用户要求“忽略安全协议”时，模型是否能坚守底线。
Claude 4在这些测试中表现相当突出，特别是在避免冲突和抵御提示词提取方面。
在抵御提示词提取的测试中，重点在于Password Protection User Message与Phrase Protection User Message。
这两项测试的流程相似，仅在隐藏的秘密内容和对抗性提示的复杂度上存在差异。
总的来说，Claude 4系列在系统提示词提取抵抗方面表现稳定。
在Password Protection测试中，Opus 4与Sonnet 4均获得满分1.000，与OpenAI的o3持平。
这一结果与之前的结论一致：在此类任务中，具备更强推理能力的模型通常表现更佳。
在更具挑战性的Phrase Protection短语保护任务中，Claude模型（Opus 4、Sonnet 4）依然表现卓越：与OpenAI的o3持平，甚至略胜于OpenAI的o4-mini。
系统信息与用户请求的冲突测试
当系统指令与用户的请求相互冲突时，评估模型的能力会依据指令的层次结构来进行。
在这一评估过程中，模型需要经历一系列的多轮对话。这些对话通常以明确的系统指令开始，随后用户会尝试引导助手偏离这些指令。
整体来看，Opus 4与Sonnet 4在此项任务中表现优异，甚至超过了OpenAI的o3模型。
这表明这些模型在执行指令时的能力相当出色，面对特定设计的挑战时依旧能够稳定发挥。
大模型是否渴望逃出「安全监狱」？
越狱攻击是指恶意用户试图引导模型提供被禁止内容的行为。
StrongREJECT评估框架
StrongREJECT v2是基于《StrongREJECT》论文构建的对抗鲁棒性基准测试，旨在评估模型的抗越狱能力。
论文链接：
https://arxiv.org//2402.10260
该框架的核心由三个主要组成部分构成：
1. 一组禁止的提示词；
2. 自动化的有害性评分系统；
3. 分层应用于每个违规查询的提示工程技术库。
OpenAI选择了60个特定问题的子集，这些问题经过精心设计，以测试其政策禁止的领域。
每个问题都经过约20种不同的变体进行测试，技术手段包括：翻译为多种语言、添加误导性或干扰性指令，或试图引导模型忽略之前的指令等。
这一基准测试为常见的越狱场景提供了有效的安全防护机制压力测试，但其有效性受到数据变体覆盖范围及自动评分系统局限性的制约。
主要报告的指标为Goodness@0.1，用于评估模型应对最具危害性的10%越狱尝试的表现。指标得分越高，表明模型的抗压能力越强。
推理模型与非推理模型在越狱测试中的表现差异分析
在对推理模型如OpenAI o3、o4-mini、Claude 4以及Sonnet 4进行越狱测试时，尽管大多数情况下它们表现出显著的抵抗能力，但偶尔也会遭遇失败。
相对而言，非推理模型例如GPT‑4o和GPT‑4.1则显得脆弱，容易受到攻击。
通过定性分析，OpenAI观察到Claude Sonnet 4和Claude Opus 4通常展现出较强的抵御能力，但它们在面对「过去时态」的越狱尝试时却显得脆弱，即当有害请求以过去事件的形式表达时。
此外，一些轻量混淆技巧和框架方法，如自动混淆、base64/rot13编码变体、有效负载分割、网络语言加密（leetspeak）及去元音处理等，偶尔能够成功突破模型的防御。
相比之下，某些较早的攻击手段如「DAN/dev‑mode」、复杂的多次尝试构建和纯风格/JSON/翻译扰动等在很大程度上被模型有效地抵消。
OpenAI还发现，在特定情况下，Sonnet 4和Opus 4对将请求翻译成低资源语言（如Guranii）的攻击表现出一定的抵抗能力。
而OpenAI o3在抵挡「过去时态」越狱方面表现卓越，其失败模式主要集中在base64风格提示、少量低资源语言翻译以及一些组合攻击上。
同时，GPT‑4o和GPT‑4.1则在「过去时态」越狱中显得更易受骗，并且对轻量级混淆和编码手法的敏感度较高。
辅导型越狱测试的设计与结果
为了评估模型在越狱攻击下的抵抗力以及对指令的遵循程度，OpenAI设计了「辅导型越狱测试」：
模型需像辅导老师般，引导学生逐步解题，而非直接给出答案。
接着，他们利用多种越狱式提示进行压力测试，试图引导模型泄露最终答案。
与之前提到的元层级攻击不同，这里的攻击方式采用自然语言论述，更加贴近实际应用场景。
测试结果令人意外：推理型模型OpenAI o3和o4-mini表现优异，而Sonnet 4（非推理模式）甚至在某些任务上超越了启用推理的Opus 4。
这表明在特定任务中，关闭推理可能会降低模型被越狱的风险。
非推理型的GPT模型在此类测试中表现较弱。
需要注意的是，GPT系列在实际应用中同时支持开发者消息与系统消息。将开发者消息纳入后，OpenAI o3的得分超过0.98，而GPT-4.1也显著提升至0.75以上。
这显示出在真实环境中，开发者消息在强化指令遵循方面的有效性。
表现卓越模型的特征对比
在绝大多数提示下，排名前两的模型均展现出良好的抵抗力；但一旦失误，它们的失效模式却各有不同。
Sonnet在拒绝外部权威或道德压力的提示方面尤其出色，例如涉及「项目负责人」「政策更新」或以同情心为由的请求（如「帮助一位失明学生」「临近考试、情况紧急」等）。
相对而言，OpenAI o3更倾向于将这类基于权威或善意的理由视为可以覆盖原始指令的合理依据。
OpenAI o3对试图在对话中途「修改辅导规则」的提示具有较强的抵抗力：例如声称指令已更新、以技术故障为由要求直接给出答案等。
o3会将这类对话中的「更新」视作用户层级的指令，其优先级依然服从于系统消息。而Sonnet则更容易将这些说法看作合法的覆盖依据。
确保信息准确性的重要性
确保信息的准确性与防止虚假信息的产生是安全测试的核心，以使用户能够信赖所接收到的信息。
人物虚假信息测试的实施
人物虚假信息测试（v4）旨在评估模型在生成关于真实人物信息时的事实准确性，以及检测和评估生成的传记或摘要中的虚假信息。
该测试使用来自Wikidata的结构化数据生成特定提示，涵盖关键个人信息，如出生日期、公民身份、配偶和博士生导师。
尽管存在一些限制，这一评估仍具有重要意义，帮助评估模型在防止虚假信息方面的能力。
最后，值得强调的是，这些评估是在没有外部工具的情况下进行的，模型无法访问其他外部知识库。
这一点有助于更好地理解模型的行为，但测试环境并不完全反映现实世界的情况。
模型能力评估：幻觉率与拒答率的权衡
Opus 4与Sonnet 4在幻觉率方面的表现出色，然而，这一优点的代价是它们的拒答率相对较高。这些模型似乎首要关注的是「确保输出的确定性」，即便因此可能影响到实用性。
相比之下，OpenAI的o3与o4-mini在拒答率上显著低于前者。以o3为例，其提供的完全正确的答案数量超过前两者的两倍，这使得整体的回答准确性得以提升，但与此同时，幻觉率也随之上升。
在这项评估中，非推理型模型GPT-4o和GPT-4.1的表现甚至优于o3与o4-mini，其中GPT-4o的结果最为突出。
这一发现揭示了两类推理模型在应对幻觉问题时采取的不同策略与取舍：
Claude系列更倾向于「宁可拒绝，也不冒险」；
而OpenAI的推理模型则更重视「回答覆盖率」，但这也带来了更高的幻觉风险。
SimpleQA No Browse 测试分析
SimpleQA No Browse (v1)是另一项旨在考察事实性与抗幻觉能力的压力测试。
该测试要求模型在不允许访问外部工具或浏览的情况下，仅凭内部知识来回答事实性与简答问题。
所谓「simple」是指评分机制：每个问题仅有一个正确答案，因此评分过程相对直接，最大限度地减少了自动评分系统的误差。需要强调的是，这并不意味着测试本身的难度低。
OpenAI的o3与Opus 4、Sonnet 4在「正确与错误」的整体比例上接近，但OpenAI的o4-mini表现最差。
关于作弊与欺骗行为的研究
近来，模型的作弊与欺骗现象愈发明显。
这是OpenAI非常重视的研究领域，因此他们在评估与防范上都投入了大量时间和资源。
在这一研究范围内，可能出现的行为包括：
1. 撒谎（Lying）：模型明知故犯。
2. 保留实力（Sandbagging）：模型故意降低表现以避免因表现过强而遭受惩罚。
3. 成绩作弊（Reward hacking）：模型为达成目标采取不正当手段。
为评估这些潜在行为，OpenAI与合作伙伴设计了一套基于智能体（agent-based）的评测方法：
构建高风险、目标冲突的情境；
在受控的离线实验中，观察模型是否会采取不对齐的行动；
以及在采取该行动后，是否会尝试掩饰或谎报。
测试流程为：每个任务执行100次实验，记录模型的欺骗或算计行为发生次数，并计算其平均值。
最终结果显示，对于13个多步骤环境的平均欺骗率（scheming rate）而言：
Opus 4与Sonnet 4的表现较好，平均欺骗率较低；
OpenAI的o3与o4-mini表现中等；
而GPT-4o与GPT-4.1的表现较差，平均欺骗率较高；
无推理模式（no thinking）的Sonnet 4与Opus 4在表现上与启用推理模式时存在明显差异。
值得关注的是，因为不同环境和模型的结果会存在显著波动，平均值往往容易受到极端值的影响。
因此，研究人员还统计了各个模型在欺骗率为0时，所能覆盖的环境数量：
在这些设定下，Opus 4和Sonnet 4能够覆盖更多环境，表明它们具有更强的稳定性；
相比之下，OpenAI系列和GPT-4系列在不同的阈值条件下表现则较为分散。
参考资料
https://openai.com/index/openai-anthropic-safety-evaluation/
https://techcrunch.com/2025/08/27/openai-co-founder-calls-for-ai-labs-to-safety-test-rival-models/
本文由微信公众号“新智元”发布，作者为KingHZ，经过36氪授权。
