方法论与技术实现

论文基于部分可观测马尔可夫决策过程 (POMDP) 定义任务。SGE 对标准的 LLM PPO/GRPO 训练主要做出了三项机制改造：

1. Strategy Prompting (策略提示)

在每个决策步 $t$，针对观测 $o_t$，Agent 不再直接输出思维链 (CoT) $y_t$ 和动作 $a_t$。而是被迫首先从策略分布 $S_\pi$ 中采样出一个高级策略 $s_t$：

$$ s_t \sim S_\pi(\cdot|g, o_t) $$

随后，模型将这个 $s_t$ 作为条件（Conditioning），生成后续的具体执行路径和代码/动作：

$$ a_t \sim \pi(a_t|y_t, s_t, o_t)\pi(y_t|s_t, o_t) $$

2. Mixed-Temperature Sampling (混合温度采样)

这是该论文极其巧妙的一个工程设计。如果在整个输出序列上使用高 Temperature，虽然增加了多样性，但会导致生成的代码语法错误，或引发幻觉（比如点击了不存在的坐标），反而破坏了 RL 的学习。SGE 将解码过程解耦：

• 对于属于策略分布 $S_\pi$ 的 Token（即 <strategy>...</strategy> 块），采用较高温度（例如 $\tau_s = 1.2$）以极大化思路的发散。
• 对于剩下的逻辑链和动作执行 Token，切换为较低温度（例如 $\tau = 0.6 \sim 0.7$），确保 Agent 能脚踏实地地把奇思妙想无 BUG 地执行出来。

3. Strategy Reflection (策略反思机制)

SGE 在训练时维护了两个 Buffer：成功策略缓冲区 $\mathcal{B}_G$ 和 失败策略缓冲区 $\mathcal{B}_B$。在给定的 Rollout 并发环境 (如并行生成 $K$ 个轨迹用于 GRPO Advantage 估计) 中，SGE 按概率触发两种注入：

• Negative Reflection ($P=0.25$)： 采样一个之前的失败策略 $C_S \sim \mathcal{B}_B$ 放入 Prompt，要求 LLM 批评该策略并生成与之一点都不一样的全新尝试。
• Positive Reflection ($P=0.1$)： 采样一个之前的成功策略 $C_S \sim \mathcal{B}_G$，要求 LLM 受到该策略的启发，提出类似但细节不同的变种。这能维持奖励信号并有效提升输出的熵（Entropy），避免 Policy Collapse。

⚙️ 方法论与技术实现 (Methodology)

RWML将世界模型的学习转化为一个独立的强化学习过程。其核心实现步骤如下：

1. 数据收集与三元组构建：首先使用当前LLM策略 $\pi_\theta$ 与环境自由交互，收集轨迹并拆解为状态-动作-下一状态的序列 $H = \langle s_{\le t}, a_t, s_{t+1} \rangle$。
2. 难度降采样（Hard Example Mining）：为了让模型学到真正有用的非平凡知识，作者通过初步的WM SFT模型过滤掉了那些“过于简单”的样本（即随便就能预测准的状态转移），仅保留有难度的三元组以提高训练效率和效果。
3. 基于GRPO的推理与预测学习：训练LLM预测下一个状态，并在给出最终预测前引入推理思考标记符（即 `` 过程）：
   $ (\text{reason}, \hat{s}_{t+1}) \sim \pi_\theta(\cdot | s_{\le t}, a_t) $
4. 二值化语义相似度奖励（Binarized Semantic Reward）：使用一个离线的预训练Embedding模型 $E(\cdot)$ 计算预测状态 $\hat{s}_{t+1}$ 和真实状态 $s_{t+1}$ 的余弦距离：
   $ d(\hat{s}_{t+1}, s_{t+1}) = 1 - \cos(E(\hat{s}_{t+1}), E(s_{t+1})) $
   设定一个阈值 $\tau_d$，将奖励函数定义为严格的二值函数（防止模型寻找作弊手段）：
   $ r^{\text{WM}}(\hat{s}_{t+1}, s_{t+1}) = \begin{cases} 1.0, & \text{if } d(\hat{s}_{t+1}, s_{t+1}) < \tau_d \\ 0.0, & \text{otherwise} \end{cases} $
   最后使用标准GRPO算法（结合Group-relative advantage和KL惩罚）最大化该Reward。

4.1 基于 Agent Step 的树搜索采样

对于每个 Prompt $x_i$，传统方法会独立采样 $G$ 条轨迹。Tree-GRPO 的做法是：

1. 初始化： 生成 $M$ 条独立的基础轨迹。
2. 采样与扩展： 在这些树中，随机选择 $N$ 个非叶子节点。注意，这里的节点定义为完整的 ReAct 步，即 $\mathcal{H}_t = (\tau_t, \alpha_t, o_t)$，而不是 Token。基于所选节点的前缀上下文，继续生成剩余响应，扩展为新分支。
3. 迭代： 重复上述过程 $L$ 次。最终产生 $M \times (L \times N + 1)$ 条 Rollout。

在同等预算下，树搜索因为共享了前缀，可以获得更多的完整轨迹。其期望预算公式为：$\mathbb{E}[B_{\text{tree}}] = M \cdot B + L \cdot N \cdot B/2$。

4.2 树驱动的分组相对优势 (Tree-based Group Relative Advantages)

在获得一批带树形结构的轨迹集 $\{\mathcal{H}^i\}^G$ 后，Tree-GRPO 构建了双层优势估计：

• 树内优势 (Intra-tree Advantage) $\hat{A}_{\text{Intra-tree}}$： 在同一棵树中共享前缀的兄弟分支，它们在分叉点之后的决策优劣，直接由它们对应的叶子节点（即整条轨迹）的 Outcome Reward 差值来衡量。这天然构成了一个 Step-level 的偏好学习目标。
• 树间优势 (Inter-tree Advantage) $\hat{A}_{\text{Inter-tree}}$： 为了防止树内分支数量过少导致的基线估计方差过大，引入全局树间的所有轨迹来辅助稳定优势估计。最终优势 $\hat{A}_{\text{tree}} = \hat{A}_{\text{Intra-tree}} + \hat{A}_{\text{Inter-tree}}$。

策略优化的目标函数沿用 PPO/GRPO 的裁剪机制：

$$ J_{\text{Tree-GRPO}}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{|\mathcal{H}^i|} \sum_{t=1}^{|\mathcal{H}^i|} \min \left( r_{i,t}(\theta)\hat{A}_{\text{tree}}, \text{clip}(r_{i,t}(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_{\text{tree}} \right) - \beta \mathbb{D}_{\text{KL}} \right] $$

4.3 隐式 Step-level DPO 的理论等价性

文章的数学高光在于 Proposition 3.1。在二元偏好设定下（同前缀下分为赢家 $H^{\text{win}}_{\geq t}$ 和输家 $H^{\text{loss}}_{\geq t}$），步级别 DPO 的梯度与 Intra-tree GRPO 的梯度具备完全相同的结构：

$$ abla_\theta J_{\text{unified}}(\theta) = \underbrace{w}_{\text{Weight}} \cdot \underbrace{ \left( \nabla_\theta \log p_\theta(H^{\text{win}}_{\geq t}) - \nabla_\theta \log p_\theta(H^{\text{loss}}_{\geq t}) \right)}_{\text{Preference Advantage Gradient}} $$

唯一的区别仅在于权重项 $w$ 的计算方式。这从根本上解释了为什么仅仅依赖 Outcome Reward 的树搜索，能够指导模型学会过程推理。