4. 方法论与技术实现 (Methodology & Implementation)

CAPF 的核心在于非对称动作空间（Asymmetric Action Space）和后向信用衰减（Backward Credit Attenuation）。

4.1 动作空间重构

定义基础搜索智能体动作空间为 $\mathcal{T}_{\text{base}}$（包含搜索、推理、最终答案）。训练时，扩展动作空间：$\mathcal{T}_{\text{train}} = \mathcal{T}_{\text{base}} \cup \{a_{\text{PF}}\}$。部署时恢复：$\mathcal{T}_{\text{test}} = \mathcal{T}_{\text{base}}$。

特权动作 $a_t = a_{\text{PF}}(\hat{y}_t)$ 本身不直接改变任务Reward，而是由环境对比候选答案 $\hat{y}_t$ 与 Ground Truth $y^\star$，将包含指导建议的文本（见上文Case Study）作为 Observation 返回。

4.2 信用衰减计算 (Credit Attenuation)

普通的 RLVR 在一条轨迹最终成功时，会将 $R(\tau)=1$ 平均分配给轨迹中的所有动作。但对于依赖 $a_{\text{PF}}$ 成功的轨迹，其早期的错误尝试不应该获得高信用。设 $T$ 为生成最终答案的步数，对于步骤 $t$ 处的策略决策，定义该步骤之后发生特权反馈调用的次数为：

$N_t^{\text{PF}}(\tau) = \sum_{s=t}^{T-1} \mathbb{I}[a_s = a_{\text{PF}}(\cdot)]$

引入保留因子（Retention factor） $0 < \rho_{\text{PF}} \le 1$。步骤 $t$ 处的衰减回报（Return）定义为：

$G_t^{\text{CAPF}}(\tau) = R(\tau) \rho_{\text{PF}}^{N_t^{\text{PF}}(\tau)}$

工程实现直觉： 在从后向前的Reward传播中，每穿过一个 $a_{\text{PF}}$ 节点，当前的累计回报就乘以 $\rho_{\text{PF}}$（例如 0.8）。因此，特权反馈之后的修复动作拿全奖，而之前的瞎搜动作被惩罚（降权）。

4.3 PPO/REINFORCE++ 优化目标

使用 REINFORCE++ 进行 Critic-free 的策略优化。只需要将传统 Advantage 计算中基于 $R(\tau)$ 的 Return 替换为上述的 $G_t^{\text{CAPF}}$ 即可，无需改动优化器或 Baseline Subtraction 逻辑。Loss 函数如下：

$\mathcal{L}_{\text{pg}}(\theta) = - \sum_{t \in \mathcal{A}_\pi(\tau)} \widehat{A}_t \log \pi_\theta(a_t \mid h_t)$

环境返回的反馈文本（Tokens）被 Mask 掉，不参与策略梯度计算。

⚙️ 方法论与技术实现 (Methodology & Implementation)

1. 数据构造流水线 (Data Construction Pipeline)：

• KG Random Walk: 在 KILT 维基百科快照上执行随机游走，生成长度为 $k=8$ 跳的实体路径 $\mathcal{P} = [v_0, v_1, ..., v_k]$。
• Question Synthesis: 利用 GPT-5.2 生成多跳问题，要求必须一步步经过路径上的所有实体（防止捷径）。记录路径上的实体集合 $\mathcal{E}$。
• Trajectory Filtering: 运行 Agent 收集检索轨迹。保留那些最终回答正确的轨迹，确保 Agent 表现出的是真实的“目标导向”搜索行为，而不是纯随机幻觉。
• Traj-tiered Assembly: 将金标准文档（Gold Docs）和 Tier-1 干扰项填入上下文；若未达到目标长度 $L$ (如 128K)，再用 Tier-2 补充，最后全局 Shuffle 打乱顺序。

2. 强化学习与奖励设计 (RL with Rubric Reward)：

采用 GRPO (Group Relative Policy Optimization) 算法。基础的 Outcome 奖励 $r_{oc} \in \{0, 1\}$ 由 LLM Judge 评判答案是否正确。核心创新在于实体级的 Rubric 奖励（$\hat{r}_{rb}$）：

为了在 GRPO 的一个组（Group Size $G$）内保持尺度一致性，引入了 Group-Level Normalization（除以组内最大值）。

Positive-Only 组合策略：

从业者视角点评：这是一个非常工程化且优雅的 Hack 解决方案。如果不加条件限制（即 Positive&Negative），模型很快会发现：瞎猜答案但把上下文里看着像实体的词全抄一遍，也能获得高分（Reward Hacking）。限定 $r_{oc} > 0$ 强制让 Rubric 奖励的作用变为：在所有正确的回复中，选出那些推理链条最完整（提及最多正确中间实体）的样本给予更高权重。

⚙️ 方法论与技术实现 (Methodology & Implementation)

ToolBrain 的工作流封装在高度模块化的技术栈中：

• Execution Trace（执行轨迹）标准化：Adapter 模式将底层 Agent 的多轮交互抽象为一个标准化列表。每个 Turn 包含：prompt_for_model，model_completion，解析出的 tool_code 以及 tool_output。这使得下游的 RL 算法完全与具体的 Agent 实现隔离。
• GRPO 优化 (Group Relative Policy Optimization)：
  ToolBrain 在支持显式标量奖励时，使用了现代的 GRPO 算法（相比PPO省去价值网络的开销）。对于每个 Query $q$，生成一个 Group $G$ 数量的 Traces，计算奖励 $r_i$，进行组内优势归一化：
  $\hat{A}_i = \frac{r_i - \text{mean}(\{r_j\}_{j=1}^G)}{\text{std}(\{r_j\}_{j=1}^G)}$
  随后优化策略 $\pi_\theta$ 以最大化奖励并控制与参考模型的 KL 散度。
• DPO 优化 (Direct Preference Optimization)：
  无需单独训练 Reward Model。使用 LLM-as-a-Judge 输出 preferred $y_w$ 和 dispreferred $y_l$ 的 pair，直接应用 DPO 损失：
  $\mathcal{L}_{\text{DPO}}(\theta) = -\log \sigma \left( \beta (r_\theta(y_w \mid x) - r_\theta(y_l \mid x)) \right)$
• Distillation for Policy Initialization（策略初始化蒸馏）：
  在进行复杂 RL 前，ToolBrain 支持使用一个 Teacher model（如 7B/GPT-4）运行任务生成 Traces 缓存，过滤出奖励 $r_i > \rho$ 的高质量轨迹组合成 $\mathcal{F}$，对 Student model（如 0.5B）执行 Cross-Entropy 的 SFT：
  $\mathcal{L}_{\text{distill}}(\theta) = -\frac{1}{|\mathcal{F}|} \sum_{x \in \mathcal{F}} \sum_{t=1}^{|y|} \log \pi_S(y_t | x, y_{ 这确保了小模型在 RL 探索之前就有了一个优秀的基座策略，防止初期的探索坍塌。

方法论与技术实现

为了将抽象的认识能力（Epistemic Competence）转化为可量化的具体特征，研究团队首先定义了证据状态 (Evidence State)，作为后续所有指标评估的锚点。

1. 证据状态 (Evidence State)

在Trace $\mathcal{T}$ 的第 $t$ 步，定义清晰度 $C_{i,t} \in \{0, 1\}$ 和充足度 $Q_{i,t} \in \{0, 1\}$。证据状态 $E_{i,t}$ 定义为：

$E_{i,t} := C_{i,t} + Q_{i,t} \in \{0, 1, 2\}$

其中 $E=0$ 表示差（不清不楚），$E=1$ 为部分证据，$E=2$ 为好证据（清晰且充足）。

2. 推理质量指数 (Reasoning Quality Index, RQI)

衡量推理过程的 Groundedness。对于每一次推理步骤，其内容是否被当前检索到的证据所支撑（Grounding Label $G_{i,t} \in \{0, 1\}$）。模型级别的 RQI 表现为所有Trace的期望均值：

$\text{RQI}_{\text{model}} := \mathbb{E}_{i \in \mathcal{I}}[\text{RQI}_i] \quad \text{其中} \quad \text{RQI}_i = \mathbb{E}_{t \in S_i}[G_{i,t}]$

该指标还可以分解到特定的认知意图上（如：信息综合、计划生成、状态评估），并以 $E_{i,t}$ 为条件进行条件概率分析，看模型在证据充分（$E=2$）时是否能比证据不足时（$E=0$）做到更好的逻辑自洽。

3. 证据恢复函数 (Evidence Recovery Function, ERF)

评估 Agent 陷入信息贫乏时跳出困境的能力。定义一个恢复事件时间 $T_{\text{recover},i}$ 为首次获取到好证据（$E_{i,t}=2$）或作答正确的 Turn：

$\text{ERF}(t) := \frac{1}{N} \sum_{i=1}^N \mathbb{I}(T_{\text{recover},i} \le t)$

借用生存分析（Kaplan-Meier）的思路，ERF曲线越陡峭，证明该 Agent 对抗“垃圾检索结果”的恢复效率越高。

4. 认识校准误差 (Calibration Error, CE)

Agent应只在掌握好证据（$E_{i,t}=2$）时才结束思考并回答问题，即理想策略为 $\pi^*(k) := \mathbb{I}[k = 2]$。CE 用于衡量模型决策偏离理想状态的程度：

$\text{CE}_i := \sum_{k=0}^2 \mathbb{P}(E_{i,t} = k) \cdot \left| \mathbb{P}(\text{answer}_{i,t} = 1 \mid E_{i,t} = k) - \pi^*(k) \right|$

如果 Agent 在 $E=0$ 时高频回答，属于典型的“过度自信”(Overconfident)；如果在 $E=2$ 时依然不断检索不输出，则是“过度谨慎”(Overcautious)。

🛠 方法论与技术实现

1. 架构解耦

可训练的 $LLM_{plan}$ 在每一轮 $t$ 迭代生成规划上下文，并决定：(1) 调用 search 工具发出子查询 $\{sq\}^t$ 检索网页；或 (2) 终止推理，触发 call_answer_llm，将累积的轨迹 $T$ 喂给冻结的 $LLM_{gen}$ 输出答案 $a$。

2. Dual-Reward Alignment (双重奖励对齐)

模型不直接奖励绝对的 Answer 正确性，而是奖励“规划带来的增益”：

• Outcome Reward (结果奖励): 对比本次搜索答案 $a$、直接推理答案 $a_I$、朴素 RAG 答案 $a_R$ 的得分：
  $$ R_{outcome} = \frac{1}{2} + Score(a, gt) - \frac{1}{2} * \max\{Score(a_I, gt), Score(a_R, gt)\} \in [0, 1.5] $$
  如果 baseline 已经能答对，搜索规划的收益会受到惩罚，从而促使模型专攻“难啃的骨头”。
• Process Reward (过程奖励): 利用 Frozen LLM 基于定制化 prompt 评估整个搜索轨迹 $T$ 的合理性，得分映射为 $R_{process} \in [0, 0.5]$。综合效用 $R_{utility} = R_{outcome} + R_{process}$。

3. 帕累托前沿优化 (Pareto Optimization)

引入了系统交互成本，由规划轮数 $L$（影响延迟）和总查询词数量（影响搜索引擎计费）组成：

最终送入 PPO 训练的总 Reward 为效用与成本的组合：$R_{pareto} = R_{utility} + \alpha * R_{cost} + R_{format}$，通过调参 $\alpha$ 可控制模型趋向于“高性能”还是“低成本”。

4. 训练 Trick: Retrieved Tokens Masking

在 PPO Rollout 阶段，模型上下文中包含大量从搜索引擎拉回的真实网页 Docs（环境观察）。在计算 Policy Gradient 时，作者严格做了 Loss Masking，把检索内容剔除在梯度回传之外。这确保了 RL 只优化大模型的“规划逻辑与思考过程”，防止其固有语言能力被外部杂乱文本污染。