4. 方法论与技术实现

MultiSearch 将 Agent 的执行轨迹定义为 search → info → merge → think 的循环，直到信息充分输出 <answer>。其核心 RL 构造如下：

4.1 Multi-Process Reward 设计

为了让模型掌握这种范式，系统设计了三种维度的 Reward，并且使用强条件掩码（只有最终答案对，才给予中间过程奖励）：

• Answer Reward ($r_{ans}$): 基于预测答案与 Ground-truth 的单词级 F1 Score。
  $r_{ans} = \frac{2 n_{int}}{n_{pred} + n_{truth}}$
• Multi-Query Reward ($r_{query}$): 鼓励模型在每个 <search> block 中生成足够多的查询语句（设定阈值为平均每步大于2个）。
  $r_{query} = 0.1 \text{ if } n_q > 2 \text{ else } 0$
• Merging Reward ($r_{merge}$): 监督模型是否在 <merge> 模块中真正保留了核心证据。通过判断所有的合并块 $\{M_1, M_2, ...\}$ 的并集是否覆盖了 Ground-truth。
  $r_{merge} = 0.1 \text{ if } \exists M_i, M_i \cap a = a \text{ else } 0$

4.2 为什么必须用 GDPO？(Group reward-Decoupled Normalization)

DeepSeek-Math 提出的 GRPO 是将多个 Reward 直接求和并进行单一归一化：$A = \frac{r_{total} - \mu(r_{total})}{\sigma(r_{total})}$。但这在 MultiSearch 中会引发灾难：$r_{query}$（多生成几个搜索词）非常容易获得，而 $r_{ans}$ 极难获得。这会导致 Agent 直接通过疯狂输出无意义查询来刷高总体 Reward（Reward Hacking）。

本文采用 GDPO，将不同维度的 Reward 分别在组（Group Size=5）内进行归一化，然后再加权求和，计算 Advantage $A_{i,j,t}$：

$$ A^k_{i,j,t} = \frac{r^k_{i,j,t} - \text{mean}(r^k_t)}{\text{std}(r^k_t)} $$ $$ A_{i,j,t} = \sum_{k \in \{ans, query, merge\}} w_k A^k_{i,j,t} $$

这种解耦设计保证了每个子任务（生成答案、多发查询、有效提炼）都能提供精准、非干涉的策略梯度。

⚙️ 方法论与技术实现 (Methodology)

ACTGUIDE-RL 的实现由三个优雅的技术模块构成：

1. 动作引导作为屏障修复器 (Action Data Repairs Barriers)

设定目标策略为 $\pi_\theta(\cdot | s)$。当引入前 $k$ 步动作轨迹 $g_k = (\tilde{\alpha}_1, \dots, \tilde{\alpha}_k)$ 作为 Prompt 的条件输入后，策略变为 $\pi_\theta(\cdot | s, g_k)$。经验表明，即使仅给定动作，也能极大提升后续生成的 Pass@K 概率。

2. 最小干预原则 (Minimal Intervention Principle)

强引导虽然能确保获得 Reward，但会导致生成的 Token 序列与无引导策略产生巨大的分布偏移 (Distribution Shift)，极大地增加异策略 (Off-policy) 优化的风险 $R_k$。作者将该过程定义为带约束的优化问题，并在实践中使用自适应 Fallback 机制：

• 对每个 Task，先进行无引导 (Unguided) 的 Rollout。
• 如果全军覆没 (Reward 均为 0)，则启动二分查找，寻找能让模型刚刚好达到成功阈值 $\delta$ 的最小动作引导步数 $k^*$。

公式表示为：$k^* := \min \{k \in \{1, \dots, K\} : \max_{i=1}^N Y(\tau_i^{(k)}) \ge \delta\}$

3. 异策略内化 (Off-Policy Internalization)

由于 Inference 阶段没有 Guidance，模型必须将“被引导出的成功经验”内化到 $\pi_\theta(\cdot | x)$ 中。作者采用了混合策略优化 (Mixed-Policy Optimization)，将 Unguided 和 Guided Rollouts 放在一个 Batch 内联合优化，目标函数 $J_{mix}(\theta)$ 使用了针对数据源动态调整的 Importance Sampling (IS) Ratio：

$$ r_{i,t}^{mix}(\theta) = \begin{cases} \frac{\pi_\theta(z_{i,t} \mid z_{i,

精妙之处在于：对于 Guided 数据，其分母使用的是带有条件 $g_{adap}$ 的旧策略概率，从而正确校准了梯度，将信用 (Credit) 穿透回无引导的目标参数上。

⚙️ 方法论与技术实现

PiCA 的技术实现分为两大核心阶段：PiCA 奖励模型的训练（Stage 1） 和 基于 PPO 的策略优化（Stage 2）。

1. 理论基础：Relative Success Gain 与 PBRS

PiCA 将多跳搜索过程建模为“到达正确答案概率的演化”。设在时间步 $t$，根据状态 $s_t$（历史文本）和动作 $a_t$ 获得最终正确结果 $l=1$ 的成功概率为 $f(t)$：

$f(t) = P(l = 1 \mid s_t, a_t)$

为了衡量当前动作带来的信息价值，定义相对成功增益（Relative Success Gain） $g(t)$：

$g(t) = \frac{f(t) - f(t - 1)}{f(t - 1)}$

当 $g(t) > 0$ 时，说明该动作是推进性的（例如找到了有效实体）；当 $g(t) < 0$ 时，说明引入了错误或混淆。利用基于势函数的奖励塑造（PBRS），将状态势函数定义为对数成功概率 $\Phi(s_t) \equiv \log f(t)$，推导出每一步的过程奖励为：

$r_t = \Phi(s_t) - \Phi(s_{t-1}) = \log(1 + g(t))$

2. PiCA Reward Model 的混合训练（Stage 1）

为了拟合上述的 $g(t)$，作者使用全参数微调训练了一个独立的 Reward Model。因为完全标注每一步的正确与否非常困难，本文提出混合两部分 Loss：

• Step-level Explicit Supervision（显式步骤级监督）： 通过自动生成的标注（借助 DeepSeek-V3 API 和大模型裁判提取出“Pivot steps”），针对确认为关键进展的 Pivot steps，显式最大化其收益：
  $\mathcal{L}_{\text{gold}} = - \sum_{L \in \mathcal{D}} \sum_{t \in \mathcal{D}_p} \log(g_t)$
• Outcome-level Implicit Supervision（隐式结果级监督）： 对于轨迹上的其他未标注步骤，利用最终答案的对错 $l \in \{0, 1\}$，约束整个序列末端的概率 $f(T)$：
  $\mathcal{L}_{\text{final}} = \begin{cases} - \log f(T), & \text{if } l = 1 \\ - \log(1 - f(T)), & \text{if } l = 0 \end{cases}$

3. 基于 PPO 的策略优化（Stage 2）

在使用 PPO 优化 Agent 时，总优势函数融合了最终结果奖励 $r_{out}$（格式正确性+F1分数）以及前面算出的中间步奖励 $r_{step, t}$。为了避免模型通过无限次重复废话搜索来骗取奖励（Reward Hacking），作者还巧妙地加入了一个随步数指数增长的 Step Penalty：

$r_{step,t} = \begin{cases} PiCA(s_t, a_t), & \text{if } t < 3 \\ PiCA(s_t, a_t) - \lambda \cdot \alpha^{(t-3)}, & \text{if } t \ge 3 \end{cases}$

这种设计既鼓励了探索（前几步无惩罚），又抑制了低效的长链条冗余搜索。

4. 方法论与数据工程实现 (Methodology)

OpenSeeker-v2 的核心假设是：只要给予足够困难和信息量丰富的训练数据，直接 SFT 就足以诱发出强大的长程搜索和推理能力。 为此，他们对数据收集 Pipeline 进行了三项极为有效的极简改进：

1. 扩展图谱规模以实现更丰富的探索 (Scaling graph size for richer exploration):
   在任务合成阶段，给定种子节点 $v_{\text{seed}} \in \mathcal{V}$，不同于原版构建较小的子图，v2 将扩展预算从 $k$ 增加到 $K$ ($K > k$)，获得更大的证据子图：

   $\mathcal{G}^{(K)}_{\text{sub}} = \text{Expand}(\mathcal{G}, v_{\text{seed}}, K)$

   随后基于这个更宏大的上下文生成合成 Query：

   $q \sim P_{\text{gen}}\left(q \mid \mathcal{G}^{(K)}_{\text{sub}}\right)$

   这保证了生成的问题在结构上强制要求模型跨多个节点进行证据聚合，而不是依赖单一信源。
2. 扩充工具集以提升功能广度 (Expanding the tool set for broader functionality):
   增加 Agent 可用的工具集合 $\mathcal{A}$。Agent 需要生成多步 ReAct 风格的轨迹：

   $\tau = (r_1, a_1, o_1, r_2, a_2, o_2, \dots, r_T, a_T, o_T, r_{T+1}, y)$

   其中 $r_t$ 是推理痕迹（Reasoning trace），$a_t \in \mathcal{A}$ 是工具调用，$o_t$ 是观察结果。工具集的扩大促使 Agent 学习更灵活的补救策略和功能组合。
3. 严格的低步数过滤 (Strict low-step filtering):
   为了剔除过于简单的实例（如直接查找或浅层关键词匹配），应用了基于最小工具调用阈值 $T_{\min}$ 的硬性过滤规则：

   $\mathcal{D}_{v2} = \{(q, \tau) \in \mathcal{D}_{\text{raw}} \mid T(\tau) \ge T_{\min}\}$

   凡是工具调用步数 $T(\tau) < T_{\min}$ 的轨迹全部被丢弃。这从根本上为 SFT 数据确立了“难度下限”。

方法论与技术实现 (Methodology)

LiteResearcher 架构基于三个核心支柱（如上图所示）：

1. 训练数据与语料库协同构建 (Co-construct Pipeline)

从高阶种子文章（如维基百科、BBC新闻）出发，使用 LLM 提取独立且客观可验证的 QA 对。为了防止 Agent 利用捷径，系统会删除 QA 的原始出处网页（Source Masking）。同时，利用这些 QA 作为 query 到真实互联网调用搜索 API 抓取相关网页（共消耗约 22 万次 API 调用，获得 32M 网页），形成一个极具多样性且隔离的 Enriched Corpus。

2. 稳定的本地工具环境 (Stable Local Tool Environment)

摒弃了传统 RAG 的 Chunk（切块）级索引，采用 Page-level Indexing（页面级索引），极大地控制了索引体积以适应高并发。构建了两个零边际成本的本地服务：

• Local Search Engine： 使用 BGE-M3 生成稠密与稀疏向量，借助 Milvus + DiskANN 混合检索。延迟约 0.15s/次（是在线 API 的 10 倍速）。
• Local Browse Tool： 将全量网页以 Markdown 格式存入 PostgreSQL，按 URL 索引，支持单机 1000 并发，返回延迟极低（0.17s，是商业方案 Jina Reader 的 46 倍速）。

3. 难度感知课程强化学习 (Curriculum GRPO)

Agentic RL 极易陷入“训练饱和（Training Saturation）”。如果数据太简单，梯度为零；太难则奖励为零。作者引入了难度过滤，每轮 RL 前测试 8 个 rollout 的正确次数 $c$，仅保留 $1 \le c \le 7$ 的有效 query。算法上采用了无 KL 散度和熵惩罚的 严格 On-Policy GRPO：

$$ \mathcal{J}_{GRPO}(\theta) = \mathbb{E}_{q \sim P(Q), \{o_i\}_{i=1}^K \sim \pi_{\theta_{old}}} \left[ \frac{1}{K} \sum_{i=1}^K \min \left( r_i(\theta)A_i, \text{clip} \left(r_i(\theta), 1 - \epsilon_{low}, 1 + \epsilon_{high}\right)A_i \right) \right] $$

其中 $r_i(\theta)$ 为新旧策略概率比，$A_i$ 为经过组内均值和方差归一化后的相对奖励。采用 2 阶段课程学习（Stage 1 使用局部数据，Stage 2 提高温度并加入多跳/科学域数据），成功突破性能平台期。