⚙️ 方法论与技术实现 (Methodology)

ARES 框架分为发现（Phase 1）与修复（Phase 2）两个紧密衔接的阶段。

Phase 1: 自适应漏洞发现 (Adaptive Vulnerability Discovery)

Safety Mentor 生成由 (恶意Prompt, 模拟有害回复 y_sync, 偏好安全回复 y_chosen) 组成的数据三元组。随后系统进行双组件并行评估：

1. 评估 Core LLM： 将恶意 Prompt 输入当前 Policy，由 LLM-as-a-Judge 给回复打出有害分数 $s_{judge} \in [0,5]$。
2. 评估 Reward Model： RM 分别给 $y_{sync}$ 和 $y_{chosen}$ 打分，计算其得分差以评估 RM 的辨识力。

根据两者的表现，ARES 将漏洞严格分为三类：

• Type A (RM 失效): RM 被骗（给了有害内容高分），但 Policy 没被骗（未生成有害内容）。
• Type B (Policy 失效): Policy 生成了有害内容，但 RM 尽责地给了低分。
• Type C (系统性失效): Policy 生成有害内容，且 RM 给出了高分。这是最致命的场景。

层次化自适应采样权重更新 (Hierarchical Adaptive Sampling)：
对于成功暴露出漏洞的攻击组件组合，ARES 会在实例级别动态增加其采样权重 $w_c$，更新规则如下公式所示（设定系数偏好对高优漏洞进行聚集并设置上限 $\tau_{max}$ 防止模式崩溃）：

$w'_c = \min\left(w_c \cdot \left(1.0 + 0.2 \cdot \frac{s_{judge}}{5.0} + 0.2 \cdot \min\left(\frac{s_{rm}}{40.0}, 1\right)\right), \tau_{max}\right)$

Phase 2: 端到端系统修复 (End-to-End System Repair)

这是该框架超越其他工作的核心所在。必须严格按照顺序进行两步修复：

1. Reward Model 修复 (Targeted Preference Learning)： 整合 Type A 和 Type C 的对抗数据，结合通用 Helpfulness 数据和防过度拒绝 (FalseReject) 数据，首先通过偏好学习微调 RM。这确保了后续 RL 过程中的“裁判”是清醒的。
2. Core LLM 优化 (RL with Repaired Reward Signals)： 提取触发 Type B 和 Type C 漏洞的 Prompt，使用修复后的增强 RM 作为奖励信号，运行 Dr. GRPO 强化学习算法。

方法论与技术实现 (Methodology)

本文从系统论和心理测量学两个维度构建了极具深度的评估框架：

1. 语言决策过程 (LDP) 形式化与能力解耦

Agent与环境的交互被建模为部分可观察马尔可夫决策过程（POMDP）的文本形式：
$$ \pi_{\text{overall}}(a_t | s_t) = f\big(\pi_{\text{LLM}}(a_t | s_t), \pi_{\text{scaffold}}(a_t | s_t)\big) $$
其中状态 $s_t = (P, h_t)$ 包含系统提示和对话历史。通过保持工具接口绝对一致，研究者可以正交地消融基础模型（$\pi_{\text{LLM}}$）和工程脚手架（$\pi_{\text{scaffold}}$，即ReAct或Tool-Calling）的贡献。

2. 引入项目反应理论 (Item Response Theory, IRT) 分离知识与推理

为了探究底层能力的构成，作者设计了大量领域诊断QA，并采用两参数逻辑模型（2PL IRT）来联合估计“模型能力”与“题目难度”：
$$ P(Y_{ij} = 1) = \sigma(a_i (\theta_j - b_i)) $$
其中 $\theta_j$ 为潜在能力，$a_i$ 为区分度，$b_i$ 为难度。模型分别被拟合出知识能力($\theta_K$)与推理能力($\theta_R$)。随后，将这些参数喂入一个层次贝叶斯方差分解模型（Hierarchical Bayesian GLM），结果无可辩驳地证明：$\theta_R$是预测复杂科学任务成功的绝对主导因素。

3. 认识论图谱提取 (Epistemological Graphs)

将长程对话Trajectory转化为有向图。利用LLM-as-a-judge扫描轨迹中的每一步，打上认知标签：[H(假设), E(证据), T(测试), J(判断), U(信念更新), C(承诺)]。并通过有向边（如observes, contradicts, updates_to）连接。如果图中出现了 $H \rightarrow T \rightarrow E \rightarrow U$，则表明Agent具有类似人类的试错修正能力；如果出现 $E$ 孤立无边，或者 $J \xrightarrow{contradicts} H$ 但缺乏 $U$，则触发“Reasoning Breakdown”。

4. 轨迹干预测试 (Trace Interventions)

为了测试LLM是否仅仅受限于“上下文不够好”，研究者做了一个极限实验：在Agent开启新任务前，强行将历史中完全正确/失败的中间推理步骤（包括Tool Calls和Observations）注入其Prompt。这直接评估了Agent的上下文吸收（In-context Learning）能力与错误恢复能力。

⚙️ 方法论与技术实现 (Methodology)

由于直接在底层像素或 GUI Accessibility Tree 级别进行完整的强化学习（RL）不仅成本高昂，且信用分配极度稀疏，作者创造性地引入了分层自然语言规划 (Natural Language Planning) 作为中间抽象层，采用 Generate-and-Verify 模式求解最优恢复策略公式：

$$ \pi^* = \arg\max_{\pi} \mathbb{E}_{\tau \sim \pi}[R(\tau)] \quad \text{s.t.} \quad s_T \in S_{\text{safe}} $$

具体架构实现分为两步：

1. Generation (策略空间采样)： 当监测到损害状态 $s_h$ 时，冻结主干策略模型（即目前霸榜 OSWorld 的 Claude Sonnet 4.5），让其作为 $LM_{gen}$ 在当前上下文下采样生成 $N$ 个多样化的、基于自然语言的高级恢复计划。
2. Verification (奖励打分与优选)： 作者对比了两种验证器实现方式：
   • Rubric-based Verifier： 采用强模型（GPT-4.1）并通过详尽的 System Prompt 注入 8 大评估维度，利用其内在先验在计划对之间进行 A/B 裁判。
   • Reward Model Verifier (本文首推)： 在收集好的 1,150 条偏好数据集上，将一个小参数量模型（Qwen3-0.6B）进行 Pairwise Ranking 损失的微调。它不仅学习到了评估维度，更重要的是隐式学习到了“不同场景下各项维度的权重是如何动态变化的”。

⚙️ 方法论与技术实现

1. Man-in-the-Tool (MitT) 代理框架

环境被形式化为一个函数 $\mathcal{A}: \mathcal{Q} \times \mathcal{E} \to \mathcal{R}$，映射查询 $q$ 和环境状态 $e$ 到响应 $r$。攻击者并不直接向模型下毒或写越狱 Prompt，而是控制工具反馈流 $\tau: \mathcal{E} \to \mathcal{E}'$，使得 $\mathcal{A}(q, \tau(e)) \neq \mathcal{A}(q, e)$。这就是所谓的接地悖论（Grounding Paradox）：Agent 越是信任外部数据以减少自身的幻觉，就越容易被对抗环境控制。

2. 正交双维度攻击体系

• 广度攻击（Breadth Attacks）： 重点考察认知漂移率 (Drift Rate, DR)。
  $$ \text{DR} = \mathbb{E}_{q \sim \mathcal{Q}}[\mathbb{1}[r \neq y] \mid r \neq \bot] $$
  通过调节内容污染比例 $\rho \in \{0.1, 0.3, 0.5\}$ 和语言风格（权威学术腔 Professor、中立新闻体 Wire、市井谣言 Rumor）进行测试。
• 深度攻击（Depth Attacks）： 重点考察进入率 (Entry Rate, ER) 和步骤预算浪费 (Step-Budget Waste, BW)。
  $$ \text{ER} = \mathbb{E}_{q \sim \mathcal{Q}}[\mathbb{1}[\exists t : s_t \in \mathcal{P}]] $$ $$ \text{BW}(q) = \frac{|\{t : s_t \in \mathcal{P}\}|}{|\{t : s_t \in \mathcal{V} \cup \mathcal{P}\}|} $$
  其中 $\mathcal{P}$ 代表注入的“幻影节点（Phantom nodes）”，$\mathcal{V}$ 为真实节点。

⚙️ 方法论与 Agent 交互空间

为最大化模拟真实场景，同时兼顾评测的工程可行性，作者设计了极简但强大的工具接口：

• 工具抽象：Agent 仅被赋予两个基础工具：
  • Search：基于 BM25 算法在所有公开的 API Schema 库中进行关键字检索（Top-K=5）。考验 Agent 在未知环境下的端点发现能力。
  • Execute：模拟 curl 或 fetch 请求，接收 Method、URL 和 Body。无须处理鉴权（Authentication 环节被剥离以聚焦核心逻辑）。
• 状态引擎：后端由 Pydantic Models 驱动，每次 Execute 会直接更新或查询 Pydantic 对象，完美模拟了增删改查操作以及真实的 4xx 报错反馈。
• 鲁棒性强化 (Hardening)：合成数据生成时，刻意增加了关键信息隐藏在深层 API 响应中、重名干扰项、以及主观判定被映射为状态机操作（如：依据文档对 Lead 质量打分并更新字段）。