⚙️ 方法论与技术实现 (Methodology & Implementation)

训练一个能够熟练使用 grep 并在海量语料上保持行为稳定的模型并非易事，直接使用 RL 会导致探索空间爆炸（例如过度宽泛的查询导致 OOM）。因此，作者设计了两阶段训练法：

阶段 1：冷启动数据合成 (Cold-Start Data Generation)

构造高质量的多跳 Shell 检索轨迹。核心难点在于：如何确保合成的推理轨迹在逻辑上是因果连贯的（Forward Causal），而没有“提前泄露未检索到的答案”。作者采用了一套精妙的机制：

1. 后向验证 (Backward Phase, 依赖 Tutor 模型): Tutor 知道标准答案 $y$。它将问题分解，并从最后一步倒推，生成目标掩码 (Target-masked) 的 Shell 命令 $c_i$，确保文档 $d_i$ 确实包含答案。这一步严格禁止在 query 中使用目标实体的别名。
2. 前向组装 (Forward Phase, 依赖 Planner 模型): 随后将步骤倒序，交给不知道答案的 Planner 生成初稿推理。
3. Tutor 修正与质量过滤 (Tutor-Guided Edit): Tutor 在保证“只基于当前历史信息”的前提下，润色 Planner 的推理过程，使其自然地推导出正确的 $c_i$。最后通过严格的时序边界检查（Trajectory Coherence Judge）剔除所有隐性泄露未来信息的样本。

阶段 2：基于 GRPO 的强化学习 (Reinforcement Learning with GRPO)

使用监督微调 (SFT) 模型作为初始化策略 $\pi_\theta$，引入组相对策略优化（Group Relative Policy Optimization, GRPO）进一步提升检索与推理能力。对于查询 $q$，采样组大小 $n=5$ 的轨迹 $\tau^{(1)}, ..., \tau^{(n)}$。奖励函数设计极具针对性：

设定格式指示符 $\phi(\tau^{(i)}) \in \{0, 1\}$，仅当模型严格遵循 <think>, <tool_call>, <answer> 的 XML 结构时才为 1。同时结合 Token 级别的 F1 分数 $R_{ans}(\tau^{(i)})$ 作为基础奖励：

$R(\tau^{(i)}) = \phi(\tau^{(i)}) R_{ans}(\tau^{(i)})$

随后在组内对奖励进行归一化计算优势函数 (Advantage)：

$A^{(i)} = \frac{R(\tau^{(i)}) - \text{mean}(\{R(\tau^{(j)})\}_{j=1}^n)}{\text{std}(\{R(\tau^{(j)})\}_{j=1}^n) + \epsilon}$

分片并行引擎优化 (Sharded-Parallel Corpus Search)

为了让单次交互能在 1 秒内完成，底层重写了管道执行逻辑：引擎动态解析 Shell Pipeline，若是无状态操作（如 rg, cut, tr, sed），则将其分发到 $S$ 个按行划分的子语料库（内存盘中）并发执行；根据最后的操作（如 head -n 或 wc -l）采用对应的 Reduce 策略合并结果。这在不改变任何行为语义的情况下，将检索延迟由 5.39s 降到了 0.71s。

方法论与技术实现

1. Agent 迭代记忆整合模型 (Iterative Memory Integration)

在传统的 ReAct 中，第 $i$ 轮的 LLM 输入为 $c_i = (q, t_1, a_1, o_1, \dots, t_{i-1}, a_{i-1}, o_{i-1})$，输入呈线性增长。而在 MemSearcher 中，输入被精简为：

$$c_i = (q, m_{i-1})$$

其中 $q$ 是用户查询，$m_{i-1}$ 是上一轮的浓缩记忆（被 <memory> 包裹）。模型基于此生成思考 $t_i$ 和工具调用 $a_i$。在执行搜索得到庞杂的网页反馈 $o_i$ 后，LLM 读取 $o_i$ 并融合 $m_{i-1}$ 中仍然有用的信息，覆写生成新的紧凑记忆 $m_i$，彻底抛弃原始的网页片段。

2. Multi-Context GRPO 强化学习

由于 MemSearcher 的设计机制，轨迹（Trajectory）跨越多个回合，而且每一回合的 LLM 感受野（Context）被主动切断且各不相同。为了能够端到端地优化这种模式，作者对 DeepSeek 提出的 GRPO 算法进行了变体改造：

• 首先，对每个查询 $q$ 采样 $G$ 条轨迹。每条轨迹 $T_i$ 包含 $n_i$ 轮次，最终计算轨迹级别的总体奖励 $R_i$。
• 利用组内的均值和标准差计算相对优势（Advantage）$A_i$：
  $$A_i = \frac{R_i - \text{mean}(\{R_1, R_2, \cdots, R_G\})}{\text{std}(\{R_1, R_2, \cdots, R_G\})}$$
• 然后，关键步骤是 Advantage 传播：假设该轨迹优势为 $A_i$，则将其平均分配给该轨迹下包含的所有切断状态轮次，即 $A_{i,j} = A_i$。
• 最终优化目标对每个独立轮次最大化策略梯度，并在生成的 Token 上施加 KL 惩罚，过滤掉从搜索引擎抓取的 Token 掩码计算，使得模型稳定收敛于最优“提取和遗忘”策略。

3. 奖励函数设计 (Reward Modeling)

采用了双重硬编码奖励机制：格式奖励（检查 XML tag的正确性，以及 \boxed{} 的存在）与回答奖励（利用 F1 Score 计算 \boxed{} 内部内容与 Ground Truth 的重合度）。这确保了不需要训练专门的 Reward Model 即可驱动 RL 飞轮。

⚙️ 4. 方法论与技术实现

ExpandSearch 框架由两个核心步骤的迭代循环构成，并依托于强化学习的优化。

4.1 多查询扩展 (Expand Phase)

在需要检索时，LLM 会在一个 <search></search> 块内输出多个用 ## 分隔的 Query 变体。对于生成的每个变体 $q_i$，系统调用搜索引擎 $\mathcal{R}$ 获取 $k$ 个最相关的文本块（Chunks）：

$$\mathcal{C}_i = [c_i^1, \cdots, c_i^k] \leftarrow \mathcal{R}(q_i)$$

这从根本上克服了单向 Vector Embedding 带来的检索召回瓶颈（Weller et al., 2025）。

4.2 知识挤压器 (Squeeze Phase)

为了处理海量的 $n \times k$ 个文本块 $\mathcal{C}$，作者引入了一个冻结权重的预训练 LLM 作为 Squeezer（挤压器）。它通过 Few-shot Prompt 的形式，将用户的多个查询 $q$ 和大量长文本 $\mathcal{C}$ 压缩成干练的短摘要 $s$：

$$s = \pi_s([q_1, \cdots, q_n], [\mathcal{C}_1, \cdots, \mathcal{C}_n])$$

经过浓缩的信息 $s$ 被包裹在 <information></information> 标签内返回给主搜索 Agent，参与下一轮的 Reasoning。这使得 RL Rollout 阶段的显存消耗呈数量级下降，避免了 RL 优化因长文本爆显存的问题。

4.3 强化学习与奖励机制

Agent 在 PPO 算法下进行训练，不依赖人工标注的最佳搜索路径，仅依靠最终答案的对错进行奖惩。Reward 函数结合了 Exact-Match (EM) 与格式惩罚：

$$r = r_{\text{EM}} + \lambda r_{\text{f}}$$

只要系统通过复杂的自我扩展和反思最终得到了正确的 Answer 实体，即可获得正向 Reward。

方法论与技术实现

论文对 Global Normalization (GN) 的缺陷进行了代数拆解，并由此引出了 Stratified Advantage Normalization (SAN)。

1. 普通全局归一化的缺陷

标准 GRPO 中定义的 Global Normalized Advantage 为：

$A_{GN}(\tau_i) := \frac{R(\tau_i) - \bar{R}_{\text{global}}}{\hat{\sigma}_{\text{global}} + \varepsilon}$

论文在 Proposition 3 中证明，GN 可以严格等于 SAN 乘以一个缩放系数，再加上一个跨层偏移量 (Cross-Stratum Offset) $\Delta_k(x)$：

$\Delta_k(x) = \frac{\hat{\mu}_k(x) - \bar{R}_{\text{global}}(x)}{\hat{\sigma}_{\text{global}}(x) + \varepsilon}$

这个 $\Delta_k(x)$ 会带着 $(\hat{\mu}_k - \bar{R}_{\text{global}})$ 的符号，系统性地惩罚那些平均奖励低于全局均值的探索层，扼杀了模型对长序列复杂动作组合（如多次迭代搜索）的早期探索。

2. Stratified Advantage Normalization (SAN)

SAN 根据预定义的结构（例如：当前轨迹的 search count 是 $k$ 次）将批次集合划分为不同的子层 $B_k(x)$。对于属于第 $k$ 层的轨迹 $\tau_i$，其 Advantage 只跟同类比较：

$A_{SAN}(\tau_i) = \frac{R(\tau_i) - \hat{\mu}_k(x)}{\hat{\sigma}_k(x) + \varepsilon}$

$\hat{\mu}_k(x)$ 和 $\hat{\sigma}_k(x)$ 仅根据当前 prompt 下、同样进行了 $k$ 次搜索的样本进行统计。论文在 Theorem 4 中证明，这保证了每一层内的学习信号是条件零均值和单位方差的纯净载体（Signal Carrier）。

3. 应对小样本的混合优势 (Blended Advantage)

在有限样本机制（Finite-Sample Regimes）下，例如每条 prompt 仅采样 8 条响应，可能会出现某些层级（Strata）只有 1~2 条轨迹，导致局部均值和方差的估计噪音极大。为了兼顾局部的纯净性与全局的稳定性，作者提出了将 SAN 与 GN 线性混合的工程实践方案：

$A_{\text{blend}}(\tau) = \alpha A_{SAN}(\tau) + (1 - \alpha) A_{GN}(\tau), \quad \alpha \in [0, 1]$

当 $\alpha = 1$ 时退化为纯 SAN，$\alpha = 0$ 时为普通 GRPO。实验中，Base 模型取 $\alpha=0.6$，Instruct 模型取 $\alpha=0.8$ 取得了最优的稳定效果。

⚙️ 方法论与技术实现 (Methodology)

1. 强化学习架构与 GRPO

研究团队将检索推理建模为 MDP。由于长思维链 (CoT) 很容易导致 PPO 算法发生 策略崩溃 (Policy Collapse)（作者发现 PPO 奖励和策略熵会同时断崖式下跌），他们最终采用了 DeepSeek-Math 等常用的 GRPO (Group Relative Policy Optimization) 算法。该方法在处理复杂逻辑和长跨度生成时展现了极高的稳定性。

2. 强制结构的 Prompt 与 JUDGE 动作

通过设定严格的系统 Prompt，模型被强制遵循 <think> -> <search> -> <information> -> <judge> -> (循环或 <answer>) 的链条。其中，判断标签 $j_t \in \{Yes, No\}$ 充当了认知过滤器 (Cognitive Filter) 的作用。判断为 'No' 标志着当前路径对最终答案无益，有效“阻断”了错误逻辑的延续，避免重复犯错。

3. 核心：稠密的指导性奖励设计 (Instructive Rewards)

为了让 Agent 学会“什么是有用的信息”，ReSeek 引入了双层奖励函数：

• 任务完成奖励 ($R_{answer}$)： 在最后一步基于答案与 Ground Truth (GT) 的精确匹配（Exact Match）给出。
• 中间步纠错奖励 ($R_{judge}$)： 每次调用 JUDGE 时触发。利用外部轻量级 Reranker 模型（BGE-reranker-large）计算当前 observation 与 GT 答案的语义相似度，若分数 > 0.7 则定义理想判断 $j_t^*$ 为 'Yes'，否则为 'No'。

🚨 关键细节：非对称惩罚 (Asymmetric Penalty)
作者发现，“召回导向（Recall-Oriented）”在复杂搜索中会导致上下文充斥无关噪声（幻觉）。因此他们设计了非对称惩罚： 正确判断给 +0.3 奖励；但如果发生了 False Positive (接受了错误信息，即把没用的当成有用的) 惩罚高达 -0.6；而 False Negative (丢弃了有用信息) 惩罚仅为 -0.3。这极大抑制了模型接收“脏”上下文的冲动。