大模型 Agent 与强化学习 (RL) 深度学术解读报告

方法论与技术实现

1. Agent 脚手架与环境构建 (OpenHands-Bash)

不同于需要重度预处理的环境，CODESCOUT 基于 OpenHands SDK 构建，仅提供一个工具：Terminal。环境直接 Clone Pre-PR 状态的代码仓库，无需安装依赖包或使用复杂的 Docker 沙盒构建。模型可以通过 LocalizationFinish 工具提交最终结构化预测并结束 Episode。这种设计极大提升了 RL 并行 Rollout 的吞吐量。

2. 奖励函数设计 (Reward Design)

奖励系统是驱动智能体在广袤代码库中收敛的关键。给定真实目标 $y^\star = (F^\star, M^\star, G^\star)$ 和模型预测 $y = (F, M, G)$（分别代表文件、模块/类、函数），整体奖励是三个粒度 F1 分数的调和平均之和：

$$ r(\tau, y, y^\star) = r^{\text{F1-file}}(y, y^\star) + r^{\text{F1-module}}(y, y^\star) + r^{\text{F1-func}}(y, y^\star) $$

防崩溃辅助奖励：在早期训练 14B 模型时，作者发现模型容易陷入“耗尽最大步数而不提交答案”的局部最优（导致 Reward 几乎为 0）。为此，引入了步数惩罚/激励项 $r^{\text{turn}}(\tau, k)$，当且仅当智能体在规定步数 $k$ 内调用 finish 工具时给予 +1 奖励。这一巧妙干预有效防止了训练崩溃。

3. 强化学习算法实现 (GSPO)

底层使用 SkyRL 框架进行异步训练。算法选择了 Group Sequence Policy Optimization (GSPO) 替代传统的 PPO，以减少由于 Value Network 带来的内存开销，这在长上下文（Long-context）的 Agentic 任务中尤为重要。损失函数定义如下：

$$ \mathcal{J}_{\text{GSPO}}(\theta) = \mathbb{E}_i \left[ \frac{1}{G} \sum_{i=1}^G \min \left( s_i(\theta)\hat{A}_i, \text{clip}(s_i(\theta), 1-\varepsilon, 1+\varepsilon)\hat{A}_i \right) \right] $$

其中，$s_i(\theta)$ 为基于序列似然的重要性采样比率（Importance Ratio）：

$$ s_i(\theta) = \exp \left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \log \frac{\pi_\theta(y_{i,t} | x, y_{i,\lt t})}{\pi_{\theta_{\text{old}}}(y_{i,t} | x, y_{i,\lt t})} \right) $$

工程魔改：借鉴 DeepSeekMath 及近期工作，作者去除了 KL 正则化项，并且在计算优势函数 $\hat{A}_i$ 时，直接采用 $\hat{A}_i = r_i - \text{mean}(\mathbf{r})$ 而不使用标准差进行归一化（No Advantage Standardization），这一调整被证明在稀疏和多步骤反馈任务中具有更好的收敛性。同时，为了解决多轮对话中的马尔可夫性破坏问题，作者通过修改分词器模板，保留了之前轮次的 <think> token，允许将多步 Trajectory 拼接成单个训练序列。

方法论与技术实现

本文设计的两阶段（Two-stage Post-Training）训练框架将领域知识的注入与动作策略的预算约束进行了优雅的解耦。

阶段一：专家引导下的监督微调 (SFT)

为了给 Qwen3-4B 模型注入底层的系统调用知识，作者利用了 398B 参数规模的 MoE 开源模型（Arcee Trinity-Large-Preview）作为教师模型，在过程生成的提权环境中采集 Expert Traces（交互轨迹）。在数据处理层面，必须经过严格清洗，去除那些泄露了题目答案内部提示词的数据。作者利用 Unsloth 框架和 QLoRA（Rank r=8）进行了低成本适配，使得模型可以学会基本的 Linux Shell 侦察与漏洞利用。然而，SFT 仅仅是告诉模型“怎么做能成功”，但没有教模型“如何高效地做以避免无意义的 token 消耗”。

阶段二：采用 Verifiable Rewards 的强化学习 (RLVR)

网络安全中的攻防有着明确且客观的结果——是否拿到 Root shell。这使得传统的 RLHF (需标注人员打分) 转变为 RLVR (依赖自动化反馈引擎)，消除了偏见。在此阶段，研究团队使用了基于 AIPO（Asynchronous Importance-weighted Policy Optimization）的 Prime-RL 框架。由于 Agent 执行环境需要运行真实的 Docker 并调用耗时的 Shell 交互，采用异步架构保证了生成器与更新器互不阻塞，极大提升了训练效率。

RLVR 的核心在于其精细定制的 Reward Function 设计。给定一段交互 episode $e$，总奖励计算为：

$$R(e) = R_{out}(e) + R_{speed}(e) + R_{recon}(e) - R_{pen}(e)$$

各组成部分定义与动机如下：

• 终端结果奖励 ($R_{out}$)：这是主要驱动力，拿到 root 得正向奖励，否则扣分。
  $$R_{out}(e) = 2 \cdot \mathbf{1}\{root(e)\} - 1$$
• 提速奖励 ($R_{speed}$)：不仅要求成功，更要求用尽可能少的交互轮次 $\tau(e)$ 完成任务，$\tau_{max}$ 为最大轮次限制。该项极大地推动了 Agent 尽早 Commit 决策，抛弃无效侦查。
  $$R_{speed}(e) = \mathbf{1}\{root(e)\} \left( 1 - \frac{\tau(e)}{\tau_{max}} \right)$$
• 侦查奖励 ($R_{recon}$)：鼓励在触发初次攻击尝试前获取足够广泛的上下文，其中 $u(e)$ 是独特的探测命令模式数量，确保 Agent 不做无脑随机利用。
  $$R_{recon}(e) = \min\{0.30, 0.05 \cdot u(e)\}$$
• 惩罚项 ($R_{pen}$)：系统针对渗透测试中的负面行为进行打压，包括重复输出无用工具模式的 $n_{rep}$，语法或命令错误的 $n_{tool}$，没有任何工具调用的空转轮次 $n_{miss}$，以及推理想法不足的 $n_{short}$。
  $$R_{pen}(e) = \lambda_{rep}n_{rep}(e) + \lambda_{tool}n_{tool}(e) + \lambda_{miss}n_{miss}(e) + \lambda_{short}n_{short}(e)$$

四、 方法论与技术实现

Complementary RL 并非简单地将经验贴在 Prompt 里，而是通过精心设计的双重强化学习目标与架构来实现稳定收敛。具体技术推导如下：

1. 经验提取器 (Experience Extractor, $\pi_\phi$) 的优化

在每一条轨迹 $\tau$ 结束后，Extractor 会基于任务目标 $g$ 和完整交互轨迹 $\tau$ 生成一段经验文本 $m \sim \pi_\phi(\cdot \mid g, \tau)$。随后，系统会追踪这段经验 $m$ 在后续 Episode 中被 Actor 提取时，是否促成了任务成功，以此赋予二元奖励 $r(m) \in \{-1, +1\}$。

由于生成的经验文本长度不一，为防止梯度爆炸并保证协同进化的稳定性，Extractor 采用了 CISPO (Clipped Importance Sampling Policy Optimization) 目标函数：

$$ \mathcal{J}_{\text{CISPO}}(\phi) = \mathbb{E} \left[ \frac{\sum_{i=1}^O \sum_{t=1}^{|m_i|} \text{sg}\left([\rho_{i,t}]_{1-\epsilon_{\text{low}}^{\text{IS}}}^{1+\epsilon_{\text{high}}^{\text{IS}}}\right) \hat{A}_i \log \pi_\phi(m_{i,t} \mid g_i, \tau_i, m_{i,\lt t})}{\sum_{i=1}^B |m_i|} \right] $$

其中，$\rho_{i,t}$ 是 Token 级别的截断重要性采样比率，$\hat{A}_i = r(m_i) - \bar{r}$ 是批次级别的 Advantage，$\text{sg}(\cdot)$ 表示停止梯度操作。CISPO 保证了 Extractor 不会发生剧烈的分布偏移，确保产生的经验能平稳跟随 Actor 的能力。为了解决 off-policy 带来的过拟合问题，还引入了基于历史训练次数的 Advantage 衰减权重机制。

2. 策略执行器 (Policy Actor, $\pi_\theta$) 的分离式 GRPO 优化

如果让 Actor 的所有交互都强制加上检索到的经验 $m$，Actor 极易变成“伸手党”，产生对外部提示的过度依赖（Over-reliance），导致内在能力无法提升。为此，作者将一个 Prompt 的 $K$ 个采样轨迹（rollouts）均分为两组：经验引导组（Experience-guided） 和 无经验组（Experience-free）。

关键的技术创新在于：如果把这两组混合计算 Advantage，由于有经验辅助的轨迹通常得分更高，无经验组的梯度会被严重压制甚至变为负向，导致模型崩溃。因此，作者提出了 Subgroup Advantage Normalization（子组内 Advantage 归一化）：

$$ \mathcal{J}_{\text{GRPO}}^{\text{split}}(\theta) = \mathbb{E} \left[ \frac{1}{2} \sum_{c \in \{m, \emptyset\}} \frac{1}{K_c} \sum_{k=1}^{K_c} \mathcal{L}_{\text{clip}}(\rho_c, \hat{A}_c) \right] $$

其中 $c$ 表示子组的索引。$\hat{A}_c = (r(\tau_c) - \bar{r}_c) / \sigma_c$ 是仅在其所属子组内部计算的均值和标准差归一化的优势值。这种机制强制 Actor 在有经验时学习“如何利用经验”，在无经验时学习“如何独立泛化”，实现了内在能力的真正内化。

3. 异步系统架构 (Background Track & Periodic Merge)

为了保证训练高吞吐量，系统设计了 Primary Training Loop 和 Background Track。在主干路上，Actor 使用 vLLM 疯狂并行采样并用 Megatron 更新 $\theta$；在背景板中，Extractor 异步处理完成的轨迹。经验库 $\mathcal{M}$ 由中心化的 ExperienceManager ($\mathcal{H}$) 维护，提供 search_and_ask 主动检索能力，并设定每隔几个 steps 触发一次 Periodic Merge（批量语义去重与合并），保证 Context Length 不爆炸且语义空间纯净。

{{
  "paper_1_review": "Your meta-review and reasoning for paper 1",
  "paper_2_review": "Your meta-review and reasoning for paper 2",
  "chosen_paper": "paper_1 or paper_2"
}}

方法论与技术实现

CNPE 的整个工程管线非常清晰，主要分为三个阶段：数据采样、模型训练、以及推理与全局聚合。

1. 数据采样（Pair Sampling）：图驱动的双向检索（GBR-BR）

为了防止模型学到无效比较（例如让LLM比较一篇理论数学文章和一篇系统架构文章），需要构造高质量的 Paper Pairs。作者提出了 Algorithm 1 GBR-BR：利用 Embedding 模型（如 Qwen3-embedding-0.6B）进行候选召回，然后用 Rerank 模型重排。为了解决检索不对称性的问题，进行双向验证。若 $p_i$ 和 $p_j$ 的排名 $r_{ij} \lt k_r$ 或 $r_{ji} \lt k_r$，则为其图边赋权：

$$w_{ij} \leftarrow 2k_r - r_{ij} - r_{ji}$$

算法保证连通性后排序选出高质量的同领域（in-domain）对比对，辅以 Random Sampling 获得的跨领域（cross-domain）对，确保了模型既能学到细粒度的辨别力，又能获得全局宏观视野。

2. 模型训练（Training）：SFT + RLVR 强化学习

构建对齐好的高质量偏好数据后，训练过程分为两步：

• Supervised Fine-Tuning (SFT)：使用冷启动方法合成包含推理链（Reasoning chains）的对比数据，让基础模型初步学会如何基于标题和摘要撰写对比论证并输出格式化的胜负结果。
• 基于可验证奖励的强化学习（RLVR）：这里是本文的一大亮点。传统RLHF往往依赖难以训练的Reward Model，而论文审稿的 Ground Truth（GT）分数 $s_i, s_j$ 虽然绝对值不可靠，但其相对大小是极其可靠的可验证反馈。定义其 GT Comparison 标签为： $$y_{ij} = \mathbb{I}(s_i \gt s_j)$$ 模型的预测输出若判别正确 $\hat{y}_{ij}^{(l)} = \mathbb{I}(p_i \succ p_j)$，则给予直接奖励 $R_l$： $$R_l = \gamma \cdot \mathbb{I}(y_{ij} = \hat{y}_{ij}^{(l)})$$ 优化算法采用改进版 GRPO（Group Relative Policy Optimization），去除 KL 发散惩罚以鼓励探索，目标函数定义为： $$\mathcal{J}(\theta) = \mathbb{E}_{(q,a)\sim\mathcal{D}, \{o_l\}_{l=1}^G \sim \pi_{\theta_{\text{old}}}(\cdot|q)} \left[ \frac{1}{G} \sum_{l=1}^G \sum_{t=1}^{|o_l|} \min \left( r_{l,t}(\theta) \hat{A}_{l,t}, \text{clip}(r_{l,t}(\theta), 1-\varepsilon_{\text{low}}, 1+\varepsilon_{\text{high}}) \hat{A}_{l,t} \right) \right]$$ 这种“比较驱动的奖励”迫使模型专注于挖掘文章之间的相对质量差异，而非迎合特定分数分布。

3. 推理阶段（Inference）：Bradley-Terry 偏好聚合

给定 $n$ 篇待评审论文，提取总可能的数个Pair进行推理。为每个 Paper $i$ 设置一个隐藏变量 $\theta_i$ 表征其潜在绝对质量。应用 RLHF 中常用的 Bradley-Terry (BT) 概率模型，则 Paper $i$ 战胜 Paper $j$ 的概率为：

$$p_{ij} = \mathbb{P}(\hat{y}_{ij} = 1) = \frac{e^{\theta_i}}{e^{\theta_i} + e^{\theta_j}}$$

通过极大似然估计（MLE）最大化所有观测到的偏好对的对数似然 $\mathcal{L}_\theta$，即可求得各篇论文的 $\theta$ 值并进行降序全局排名（Ranking）。

$$\mathcal{L}_\theta = \sum_{i \neq j} \left[ \hat{y}_{ij} \log p_{ij} + (1-\hat{y}_{ij}) \log(1-p_{ij}) \right]$$

方法论与技术实现

本文将偏好对齐构建为一个条件生成任务。在 MORL 设定下，智能体优化的向量值奖励函数定义为：

$$ \mathbf{r}_t = (r_t^{(1)}, \dots, r_t^{(N)}) \in \mathbb{R}^N $$

偏好通过一个权重向量 $\lambda_t \in [0, 1]^N$ 来表示，它参数化了奖励函数 $\lambda_t^\top \mathbf{r}(o_t, a_t)$。系统的核心在于根据当前的多模态观测 $\mathbf{o}_t^{RGB}$ 和自然语言反馈 $f_t$，实时生成该上下文关联的偏好向量：

$$ \lambda_t = \Phi(\mathbf{o}_t^{RGB}, f_t) $$

该映射函数 $\Phi(\cdot)$ 被拆解为三个模块流水线：

1. Context Predictor (上下文预测器 $V$)

该模块负责从高维视觉特征中提取结构化语义。给定车载 RGB 图像序列，VLM 提取上下文特征：

$$ C_t = V(\mathbf{o}_t^{RGB}) $$

为了保证下游 LLM prompt 注入的稳定性，VLM（本文选用 Gemini 2.0 Flash）采用特定的结构化 prompt 进行 zero-shot 抽取，包括：开放词汇目标检测、目标相对距离估计、人类存在状态指示（二值判断）以及全局光照分类（Bright, Gentle, Low），并序列化为 JSON 格式。

2. Rule Updater (规则更新器 $U$)

该模块作为一个 LLM Agent，负责建立持久化的个性化偏好库。它接收用户指令 $f_t$、当前上下文 $C_t$ 以及上一时刻规则库 $\mathcal{R}_{t-1}$，输出更新后的规则集：

$$ \mathcal{R}_t = U(f_t, C_t, \mathcal{R}_{t-1}) $$

关键设计：为了避免大模型的幻觉影响底层安全性，规则被严格分为两类：一是 Baseline Objectives（基线目标，如防撞、抵达目标），这部分是“不可商议”的安全底线；二是 Context-Based Rules（基于上下文的规则）。LLM 在执行规则添加（Addition）、修改（Modification）和删除（Deletion）时，必须以不冲突基线目标为大前提。

3. Preference Translator (偏好翻译器 $P$)

偏好翻译器负责建立符号逻辑到数值控制的桥梁。它读取上下文 $C_t$ 和过滤后的有效规则 $\mathcal{R}_t$，利用 LLM 回归出参数化下游强化学习策略的连续向量：

$$ \lambda_t = P(C_t, \mathcal{R}_t) $$

本文将偏好向量维度扩展为四维，即 $\lambda = (\lambda_{effic}, \lambda_{Odist}, \lambda_{Hdist}, \lambda_{velocity})$，分别控制了最短路径倾向、对静态物体的距离偏好、对人类的距离偏好以及速度调节。通过在 prompt 中约束数值范围 $[0, 1]$ 并要求模型生成推理链条（Reasoning explanation），保证了极高的可解释性。