大模型 Agent 与强化学习 (RL) 深度学术解读报告

⚙️ 方法论与技术实现

TAPO 建立在 On-policy GRPO 框架之上，其完整技术链路包含：Reward建模与步级优势计算（Credit Assignment）两大核心模块。

1. Reward 建模 (Reward Modeling)

轨迹 $o$ 被结构化拼接为：$o = [\tau_{trans}, \tau_{reason}]$。系统配置了三种独立的 Reward 信号：

• 格式奖励 (Format Reward): 确保模型乖乖听话，把翻译内容包裹在特定的 XML 标签中。只有格式正确，才能拿到后续分数。
• 翻译奖励 (Translation Reward): 采用自动化指标评估翻译片段 $\tau_{trans}$ 的质量。论文测试了基于字符串的 ChrF++ 以及基于模型的验证器（如 XCOMET）。为了防止乱码或无关输出，翻译得分会乘以格式奖励作为 Mask。
• 推理奖励 (Reasoning Reward): 采用标准的基于规则的结果校验（如 Math-Verify 工具包），答案完全正确给 1，错误或格式不匹配给 0。

2. 破局关键：步级相对优势 (Step-Level Relative Advantage)

传统的轨迹级问题：如果直接把翻译和推理Reward加起来计算 Advantage，会导致“好翻译+算错结果”被过度惩罚，或者“烂翻译+蒙对结果”被错误奖励。论文发现这种冲突在 Qwen 模型训练中会导致高达 30% 的 Advantage 正负号分配错误。

TAPO 的解决方案：在生成的一组轨迹中，分别提取翻译段和推理段，独立进行 z-score 归一化：

$\hat{A}^{trans}_i = \frac{R^{trans}_i - \text{mean}(\{R^{trans}_i\}_{i=1}^G)}{\text{std}(\{R^{trans}_i\}_{i=1}^G)}, \quad \hat{A}^{reason}_i = \frac{R^{reason}_i - \text{mean}(\{R^{reason}_i\}_{i=1}^G)}{\text{std}(\{R^{reason}_i\}_{i=1}^G)}$

对于前半段翻译生成的 Token，不仅要考虑翻译得好不好，还要考虑翻译结果能否导向正确的数学推理。因此，翻译 Token 的最终 Advantage 采用两者的线性插值：

$\hat{A}^{trans*}_i = \alpha \hat{A}^{trans}_i + (1 - \alpha)\hat{A}^{reason}_i$

而后半段推理 Token 则单纯使用 $\hat{A}^{reason}_i$ 更新策略。超参数 $\alpha \in [0, 1]$ 平衡了“翻译信度”与“解题效度”。

方法论与技术实现 (Methodology)

ToR 的核心在于抛弃 Uniform 的 Token 优势估计，转而根据 Token 的内在角色动态重分配梯度权重。该过程分为两个关键阶段：

1. 关键 Token 的无监督识别 (Token Identification)

模型在不依赖外部工具的前提下，仅利用自身的 Rollout 预测分布信息对 Token 进行打标分类：

• 推理相关 Token（高决策不确定性）：研究表明，推理链上的“分叉点”往往对应高预测熵。对于 token $t$，其生成熵定义为 top-p 候选词分布的信息熵：
  $$H_{i,t}^b = - \sum_{v \in \mathcal{V}_{\text{top-p}}} P_\theta(o_{i,t}^b=v | o_{i, 收集 Batch 内所有 token 的熵值后，选取 top-$\alpha_r$ 比例最高熵的 tokens 构成集合 $\mathcal{T}_r$。
• 感知相关 Token（高视觉敏感度）：这部分 Token 高度依赖输入图像（$I^b$）。作者通过计算有/无图像 condition 下该 token 生成对数概率的差值（Logp-diff）来衡量：
  $$S_{i,t}^b = \Big| \log \pi_\theta(o_{i,t}^b | o_{i, 选取对图像最敏感的 top-$\alpha_p$ 比例 tokens 构成集合 $\mathcal{T}_p$。附录分析证实，相较于简单的绝对概率差，Logp-diff 既保留了 Visual Grounding 信号，又天然具备信息论意义上的均衡性。

2. Token Reweighting 联合优化目标 (Token Reweighting Objective)

以 GRPO 为例，构建掩码与重加权机制：赋予 $\mathcal{T}_r$ 权重 $\gamma_r$，赋予 $\mathcal{T}_p$ 权重 $\gamma_p$（未选中的 Token 优势乘子置 0），则 ToR-GRPO 的目标函数重构为：

$$ \mathcal{J}_{\text{ToR-GRPO}}(\theta) = \mathbb{E} \Bigg[ \frac{1}{G} \sum_{i=1}^{G} \frac{1}{|o_i^b|} \sum_{t=1}^{|o_i^b|} \Big( \gamma_r \cdot \mathbb{I}[(b,i,t) \in \mathcal{T}_r] + \gamma_p \cdot \mathbb{I}[(b,i,t) \in \mathcal{T}_p] \Big) \cdot $$ $$ \min \Big( r_\theta(o_{i,t}^b) \hat{A}_{i,t}^b,\ \text{clip}\big(r_\theta(o_{i,t}^b), 1-\epsilon, 1+\epsilon\big) \hat{A}_{i,t}^b \Big) - \beta \mathbb{D}_{KL} \Bigg] $$

通过这种方式，策略梯度的更新被精准地聚焦在“塑造逻辑的岔路口”和“连接视觉的关键点”上，不仅大幅提高了强化学习的数据利用效率，也解决了联合表征学习中的梯度冲突。

方法论与技术实现

整体框架分为两个大步骤：体验打分模型（ExpModel）离线训练 和 排序策略管线整合。

1. 体验打分模型训练 (Multimodal Quality & Ranking Alignment)

为了获得不受历史点击偏差污染的“纯粹体验分”，作者采用了两阶段范式：

• 阶段 I: SFT (Supervised Fine-Tuning) 多维对齐
  利用强大的闭源/大尺寸模型（Qwen2.5-VL-32B）作为标注器，输入多模态特征，生成详细的多维度质量分析文本 $y$。通过自回归 Next-token Prediction 微调目标模型，使其具备多模态评估感知能力。损失函数仅在生成的分析 Token 上计算：
  $$\mathcal{L}_{SFT} = - \mathbb{E}_{\langle x, y \rangle \in \mathcal{D}_{SFT}} \left[ \sum_{t=1}^{T} \log p_\theta(y_t \mid y_{
• 阶段 II: PFT (Pairwise Preference Fine-Tuning) 偏好对齐
  SFT 的生成式输出难以直接比较，必须转为标量。将生成头替换为序列分类头，输出体验得分 $s_{q,v}$。对长尾 Query 下的候选组合构造正逆序样本对 $(A, B)$，设 $A \succ B$ 对应的分数为 $s^+ , s^-$，使用基于 Sigmoid 的排序损失，外加一个分布平滑正则项（惩罚过大/过小的值域漂移）：
  $$\mathcal{L} = -\mathbb{E}\left[ \log \sigma(s^+ - s^-) \right] + \lambda \mathbb{E}\left[ (s^+ + s^-)^2 \right]$$

2. 融入生产环境重排管线 (Integration into Ranking Pipeline)

在不打破现有大盘 CTR/时长优化的前提下，将得分融入重排(Reranking)：

• 阶段 I：预训练增强 (Pre-Training Enhancement)： 改变训练靶序列 $y_{aug}$ 的排列顺序。维持原有的业务逻辑“点击 Item 在前”，但对于未被点击或未曝光的 Item，根据体验分 $s_{exp}$ 降序排列。让高质量但因偏差未曝光的内容得到模型的前置学习。
  $$y_{aug} = [\text{sort}(\mathcal{C}; s_{exp} \downarrow) \rhd \text{sort}(E \cup U; s_{exp} \downarrow)]$$
• 阶段 II：页面级对齐强化学习 (Page-Level Alignment via GRPO)： 将体验分倒排构造成的列表作为“理想顺序”(Ideal Ranking $y^s$)。使用模型生成的列表 $y$，相对于 $y^s$ 计算 nDCG（归一化折损累计收益）。最后构建混合 Reward 函数，指导 GRPO 更新策略网络：
  $$r(q, \mathbf{y}) = \alpha R_{old}(q, \mathbf{y}) + \beta \text{nDCG}_{@K}(\mathbf{y}, \mathbf{y}^s)$$
  其中 $R_{old}$ 是原有的商业目标（点击、完播），通过 $\alpha, \beta$ 调和短期转化与长期内容体验。