方法论与技术实现

传统范式下，策略 $\pi_e$ 同时生成动作 $a$ 和最终答案 $y$，优化目标高度耦合。RLTR 框架将其解耦，使得 Planner $\pi_p$ 根据查询 $q$ 和历史交互 $\mathcal{H}_t$ 仅负责生成轨迹 $\tau = (s_0, a_0, \dots, s_T, a_T)$。其整体优化目标重定义为：

$$ \pi^*_p = \arg\max_{\pi_p} \mathbb{E}_{\tau \sim \pi_p}[R(\tau)], \quad y = \pi_s(\tau), \text{where} \; \tau \sim \pi^*_p $$

具体的工程实现划分为三个核心阶段：

1. 冷启动 (Cold Start)： 利用强大的 Teacher LLM（如 Qwen3-32B）执行知识蒸馏。通过模拟环境生成交互轨迹，并进行拒绝采样（Rejection Sampling），保留 best-of-n 的轨迹，对 Planner 进行监督微调（SFT）。
2. 工具调用完整性奖励 (Tool-Use Completeness Calculation)： 为了避免对可验证答案的强依赖，定义完整性检查函数 $\gamma: \mathcal{S} \to \{0, 1\}$，由另一个 LLM（Comp. Checker）按特定 Prompt 执行。对生成的轨迹进行 $N$ 次采样取平均：

   $$ R_{comp} = \frac{1}{N} \sum_{i=1}^N \gamma_i(\tau) $$

3. 多轮强化学习 (Multi-Turn Reinforcement Learning)： 将工具完整性奖励与规则惩罚（重复调用惩罚 $R_{repeat}$、错误调用惩罚 $R_{error}$）结合：

   $$ R_{total} = \begin{cases} -1, & \text{if trajectory format is invalid,} \\ R_{comp} + R_{rule}, & \text{otherwise.} \end{cases} $$

   利用标准的 RL 目标更新 Planner（支持 PPO/GRPO/REINFORCE++ 等算法）：

   $$ \pi^*_p = \arg\max_{\pi_p} \mathbb{E}_{x \sim \mathcal{D}, a \sim \pi_p(\cdot|x;\mathcal{T})} [R(x, a)] - \beta \mathbb{D}_{KL} [\pi_\theta(a|x;\mathcal{T}) \| \pi_{\text{ref}}(a|x;\mathcal{T})] $$

训练模板 Trick： 在构建 RL 轨迹时，作者使用 Mask 技术屏蔽了“非动作/非思考”部分的 Loss（例如屏蔽了工具返回的观测结果和最终 summary）。这使得梯度完全聚焦于 Agent 的“决策行为”，防止了梯度信号稀释。

⚙️ 方法论与技术实现

1. 基于MDP的Agent状态转移抽象

将待优化的 LLM（参数 $\theta$）视为 Policy，Agent框架的每次执行视为部分可观测马尔可夫决策过程 (POMDP)。在时刻 $t$，系统捕获语义变量形成上下文 input_t。LLM生成一个Token序列 output_t 作为动作 $a_t$。每次完整执行（Execution）可抽象为：

$$ execution^{RL}(x, k) = \{ (\text{input}^{x,k}_t, \text{output}^{x,k}_t, r^{x,k}_t) \}_{t=1}^T $$

2. LightningRL 算法

由于LLM往往是以自回归形式逐Token生成的，而Agent侧的交互是以单次完整Call为粒度。LightningRL 采用分层强化学习 (HRL) 范式连接两者：

• Credit Assignment 模块：将整条轨迹的最终 Reward $R$ 合理分配给各个中间生成的动作 $a_t$。（当前版本采用简单的均等分配策略：将最终的返回 $R$ 赋给该Episode内的所有有效调用）。
• 优势函数估计（Advantage Estimation）：将分离出来的各个 (input, output) 视为单次交互样本，直接应用 GRPO / PPO 的数学公式计算 Token-level 的优势 $A_j$ 并优化目标：

$$ \mathcal{L}(\theta) = -\mathbb{E}_{x \sim \mathcal{X}, \text{output} \sim \pi_\theta(\cdot|x)} \left[ \sum_{j=1}^N \log \pi_\theta(y_j|x, y_{

3. Training-Agent Disaggregation 分离架构

为解决训练态与执行态的资源错配与工程耦合，系统划分为 Server 和 Client：

• Lightning Server：驻留在带GPU集群的训练侧（整合了VeRL等底层框架），充当整个系统的调度中枢。它给 Client 下发任务 Batch，并暴露一个类似 OpenAI 的 Endpoint 用于接收 Client 在 Rollout 时产生的响应和 Traces。
• Lightning Client：部署在 Agent Runtime 环境中（可分布式横向扩展）。利用 OpenTelemetry 无缝监控已有的 LangChain/AutoGen 代码，捕获 LLM 调用的 Input/Output 闭环，完成 Data Capture without Code Modification。

🛠️ 方法论与技术实现

论文将当前构建 Search Agent 的技术栈拆解为“搜索结构”与“优化方法”两大核心支柱：

1. 如何构建搜索策略 (How to Search)

• Parallel Structure (并行结构)： 主要应对复杂意图的分解（Decomposition）与搜索关键词的多样化（Diversification）。通过生成多个子查询同步执行，增加检索覆盖面。
• Sequential Structure (序列结构)： 更具动态性。基于反思驱动（Reflection-Driven，搜索->生成->反思->再搜索）或主动性驱动（Proactivity-Driven，Agent自主决定何时触发检索及搜什么）。
• Hybrid Structure (混合结构)： 结合并行与序列的优势，典型的如基于树的搜索（Tree-based Search），在每个节点并行扩展多条查询路径，并结合蒙特卡洛树搜索（MCTS）进行剪枝与最终答案合成；以及基于图的搜索（Graph-based Search），允许状态回溯。

2. 如何优化 Agent (How to Optimize)

无微调方法 (Tuning-Free)：

• Multi-Agent 架构： 将复杂流程解耦为规划者 (Planner)、检索者 (Searcher)、验证者 (Evaluator) 等专业 Agent，通过中心化调度或固定流水线协作。
• Test-Time Scaling (推理期计算扩展)： 对齐 OpenAI o1 模型的思路。由于 Search Agent 与外部环境交互，不仅涉及内部逻辑的 Reasoning-centric scaling，还涉及增加外部探测次数的 Search-centric scaling，两者结合能显著提升深度信息的挖掘质量。

微调方法 (Tuning-based)：

• SFT (监督微调)： 核心在于高质量轨迹数据（Trajectories）的构造。通常通过强模型（Teacher LLM）加 Rejection Sampling 构建正向样本，用于模型的自我改进或作为后续 RL 的热身阶段。
• RL (强化学习)： 业界前沿正全面拥抱端到端 RL（如 PPO, GRPO, Reinforce++）。难点在于多目标奖励函数（Multi-objective Reward）的设计：除了格式服从和答案正确性外，还需引入检索增益、信息多样性、冗余步数惩罚等指标。特别是针对长轨迹的 过程奖励模型 (PRM, Process-based Reward Models)，对每一步搜索与反思进行精细化打分，已成为提升搜索智能体天花板的关键。

方法论与技术实现

模型将 Web 导航任务形式化为一个部分可观察的马尔可夫决策过程 (POMDP) $\mathcal{(S, A, T, R)}$。实现端到端训练分为了两个关键阶段和三大组件：

1. 阶段一：Behavior Cloning（行为克隆热身）

完全放弃从随机初始化或通用 Base 模型做 RL。使用专家演示数据集 $\mathcal{D} = \{(h_t, a_t)\}$ 进行 SFT：

$$\mathcal{L}_{BC} = - \mathbb{E}_{(h_t, a_t) \sim \mathcal{D}} [\log \pi_{\theta} (a_t \mid h_t)]$$

这一步是后续 RL 能否存活的绝对关键，否则在极大的 DOM 动作空间中，模型根本无法拿到正向 Reward。

2. 阶段二：End-to-End Multi-Turn RL 优化

• Dynamic Context Compression（动态上下文压缩）： 在多轮对话中，如果不断 append HTML 源码，Token 很快会达到几万。作者采取的做法是：维护历史互动栈 $h_{t+1} = (s'_1, a_1, s'_2, a_2, \dots, s'_t, a_t, s_{t+1})$。只有当前最新观察帧 $s_{t+1}$ 是完整 HTML，之前的 $s_i$ 会被极度压缩为简明占位符（如 "Simplified HTML"），仅保留过去的行动 $a_i$。在实现 M-GRPO 优化时，只对 action token 进行 loss 掩码计算。
• Multi-turn GRPO (M-GRPO)： 将近期的 GRPO 扩展为支持多轮的轨迹。对于任务 $q$，并行采样一组轨迹 $\{\tau_1, \tau_2, \dots, \tau_G\}$，每个轨迹有其包含的 action 序列 $a_{i,j}$。 $$\mathcal{L}_{\text{M-GRPO}}(\theta) = - \frac{1}{G} \sum_{i=1}^{G} \frac{1}{|\tau_i|} \sum_{j=1}^{|\tau_i|} \left( \frac{1}{|a_{i,j}|} \sum_{t=1}^{|a_{i,j}|} \left[ \tilde{A}_{i,j,t} - \beta D_{KL}(\theta) \right] \right)$$ 这里的 $\tilde{A}_{i,j,t}$ 是通过轨迹级别的最终规则评分（Rule-based binary outcome）算出的组相对优势（Group Relative Advantage）。纯粹的二值 0/1 Reward（比如任务是否达成了正确的最终 URL），舍弃了中间态 Reward Model。
• Parallel Trajectory Rollout（并行展开）： 为了计算组相对优势，作者通过实例化多个独立的无头浏览器实例（包含各自的 Context, Cookies），从同一个起点独立地与环境在线交互，从而高效地生成多个有差异的轨迹用于 M-GRPO 优化。

⚙️ 方法论与技术实现 (Methodology & Architecture)

论文将科学智能体的底层技术解构为四大基石：

1. Planner (规划器)：应对科学问题的高维与开放性

分为 提示原生规划器 (Prompt-Native) 和 基于学习的规划器 (Learned Planners)：

• Prompt-Native: 包含指令/Schema驱动（固定SOP）、上下文增强（RAG介入）、反思型（Self-critique）、搜索型（如运用 MCTS 或 ToT 探索化学空间）、多智能体交互（角色扮演，如化学家+安全审查员）、编程式（输出 DSL 或 DAG 直接驱动工作流）。
• Learned Planners: 通过 SFT（在百万级科学推导轨迹上微调，如 LLaMA-2-7b 微调的 Chemma）或 RL/DPO（利用实验成功率、能耗等作为 Reward 进行策略优化）将规划能力内化进参数。

2. Memory (记忆模块)：跨周期的知识累积

• Historical Context: 维护工作区内的推理链条、过往实验失败的 Error Trace，支持跨 Session 的经验回放（Experience Replay）。
• External Knowledge Base: 与大规模本体库（如 MatSciKB, 蛋白互作网络）和实时学术文献库深度融合，避免知识陈旧和幻觉。
• Intrinsic Knowledge: LLM 预训练或持续预训练阶段内化的领域知识（如经过 16.8万 GPU小时天文文献 Continual Pretraining 的 AstroMLab）。

3. Action Space (动作空间)：连接赛博与物理世界

这是科学 Agent 区别于通用 Agent 的最大特征：

• 工具与环境控制 (Tool/Environment Control): 调用特定 API (如 RDKit)；更核心的是模拟器与仿真平台集成 (如 OpenFOAM 计算流体力学，VASP 量子化学计算)；以及直接生成控制机器人湿实验室（Wet-lab）的底层指令。
• 代码生成与执行 (Code Generation): 编写数据处理、生信分析（如 scRNA-seq 分析流）的 Python/R 脚本，并在沙盒中执行。

4. Verifier (验证器)：科学研究的“质检员”

针对 LLM 的幻觉，引入了硬性护栏：

• Tool-Based Validation (基于工具的物理校验): 这是最硬核的验证，将 LLM 提出的假说转换为代码，抛给物理仿真器计算能量、稳定性，用客观物理定律而非 LLM 自身的语义判断来做奖励信号。
• Human-in-the-loop (专家干预): 在高风险步骤（如合成有毒物质或启动昂贵实验前）强制切入人类审批 (Approval Gates)。
• Multi-Agent Critique: 引入专门的 Adversarial Agent（如“安全评审员”、“预算审核员”）进行多角度挑刺。