大模型 Agent 与强化学习 (RL) 深度学术解读报告

⚙️ 方法论与技术实现 (Methodology & Implementation)

HopChain 的核心逻辑在于利用强模型（Teacher VLM）合成高难度、结构化的代理任务（Proxy Task），随后送入 RLVR 进行训练。整个 Pipeline 包含四个阶段：

1. 类别识别 (Category Identification)

给定原始图像，利用 Qwen3-VL-235B-A22B-Thinking 识别并列举出图中存在的语义类别（如 "car", "person"）。

2. 实例分割 (Instance Segmentation)

引入 SAM3 (Segment Anything 3) 对上述识别出的语义类别进行具体的实例定位，生成边界框（Bounding Boxes）和分割掩码（Masks）。这一步使得后续推理可以锚定（Anchor）在确切的物理坐标上。

3. 多跳 Query 生成 (Multi-Hop Query Generation)

这是最关键的一步。系统随机采样 3~6 个实例组合，结合精心设计的 Prompt（附录详述，要求极严苛的防捷径机制），由大模型生成逻辑嵌套的查询。每个 Query 必须满足两个条件：

• Perception-level hop: 在单物体感知（如读OCR）与多物体关系（如比大小）间跳转。
• Instance-chain hop: 强关联的实例链，下一个实例的定位必须依赖上一个步骤产生的结果。
• 约束：必须避免任何坐标框的直接引用，要求全程使用自然语言视觉描述（颜色、方位等），并且最终结果必须是一个可以直接做 Rule-based Reward 校验的数值。

4. 标注验证与难度标定 (Ground-Truth Annotation & Difficulty Calibration)

采用 Human-in-the-loop。4名标注员独立作答，只有最终数字一致的 Query 被保留。同时，使用一个较弱的模型对题目进行 8 次采样，剔除掉 100% 准确率的“过于简单”的样本，确保 RLVR 接收到的数据具备足够的信息熵。

RLVR 优化目标：SAPO (Soft Adaptive Policy Optimization)

论文采用了最近前沿的 SAPO 算法来代替硬截断的 PPO/GRPO，以防止多模态长输出带来的优化不稳定。优化目标为：

$$ \mathcal{J}(\theta) = \mathbb{E}_{(I,q,a) \sim \mathcal{D}, \{o_i\}_{i=1}^G \sim \pi_{old}(\cdot|I,q)} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} f_{i,t}(r_{i,t}(\theta)) \hat{A}_{i,t} \right] $$

其中，$r_{i,t}(\theta)$ 为新旧策略比率，$\hat{A}_{i,t}$ 是归一化的 Advantage（如果 `is_equivalent(o, a)` 为 true 则 R=1.0 否则为 0.0）。

方法论与技术实现

1. 显存高效的流式 Rollout (Memory-Efficient Streaming Rollout)

为了打破长序列采样内存爆炸的瓶颈，作者引入了 Rolling KV Cache with Frame Sinks。在生成第 $n$ 步时，模型上下文 $\mathcal{C}_n$ 仅包含：常驻的 $S$ 帧锚点（Frame Sink）用于锁定全局语义避免漂移，以及最近 $L$ 帧的滚动窗口用于细粒度局部条件。这使得常驻KV内存不随视频长度增加而增长。

同时采用 Clip-level Group-wise Sampling。区别于独立生成 $G$ 条长轨迹，模型仅自回归生成一次视觉历史并冻结其KV cache为共享前缀。利用这一共享前缀，模型并行解码 $G$ 个候选 Clip：$x_{n}^{(i)} \sim \pi_\theta(\cdot | \mathcal{C}_n, c)$，将多候选生成的开销严格限制在当前局部块内。

2. 片段级前向过程强化学习 (Clip-level Forward-Process RL)

汲取了 Negative-aware Fine-tuning 的思想，Astrolabe 在正向加噪空间建立RL目标，免去了求解逆向ODE/SDE和存储轨迹的需求。对于归一化后的相对优势（Normalized Advantage）$\tilde{r} \in [0,1]$，在任意加噪时间步 $t \in [0, 1]$，当前策略（$\theta$）和旧策略（$\theta_{\text{old}}$）预测的速度场通过插值构建隐式的正负策略：

$v^+ = (1-\beta ) v_{\theta_{\text{old}}} + \beta v_\theta , \quad v^- = (1+\beta ) v_{\theta_{\text{old}}} - \beta v_\theta$

最终优化目标对比隐式策略和目标速度场：

$\mathcal{L}_{\text{policy}} = \tilde{r} \|v^+ - v_{\text{target}}\|_2^2 + (1-\tilde{r}) \|v^- - v_{\text{target}}\|_2^2$

并且为了解决长视频存在的训练/推理长度错位（Train-short/Test-long mismatch），模型通过 Streaming Long Tuning 严格模拟长序列推理动态：前向积累KV cache并在到达当前训练窗口 $x_n$ 时，对历史 $\mathcal{C}_n$ 做梯度截断（Detached Graph），强制梯度只在当前片段后向传播，实现了无限长度的低显存对齐微调。

3. 奖励设计与抗 Reward Hacking 机制

为了避免模型对单一指标的作弊，奖励函数结合了：VQ（视觉质量：截断后的HPSv3）、MQ（运动质量：对灰度输入使用VideoAlign确保关注动态而非纹理）和 TA（文本对齐：标准的RGB VideoAlign）。

更精妙的是 不确定性感知惩罚（Uncertainty-Aware Penalty）：通过比较主Reward模型和辅助模型的排名差异判定某样本当下的得分是否处于“高分低共识”（Reward Hacking高风险区）。当差异超出阈值时启动KL惩罚将模型拉回先验分布，反之则不对置信的高质量数据施加不必要的正则约束。

方法论与技术实现

1. 像素驱动的思维链 (Pixel-Grounded Chain-of-Thought)
传统 VLM 处理图像 $I$ (视觉特征 $\mathbf{v}$) 和问题 $Q$ (文本特征 $\mathbf{q}$) 时，仅输出纯文本序列： $$[\mathbf{r}_1, \mathbf{r}_2, \dots, \mathbf{r}_k, \mathbf{a}] = f(\mathbf{v}, \mathbf{q})$$ 而 TerraScope 会在推理过程 $i$ 动态生成分割掩码 $\mathbf{m}_i$，并从掩码对应的原图中提取特定区域的视觉特征 $\mathbf{v}_i$。整个输出变成了交织的多模态序列： $$[\mathbf{r}_1, (\mathbf{m}_1, \mathbf{v}_1), \mathbf{r}_2, (\mathbf{m}_2, \mathbf{v}_2), \dots, \mathbf{r}_k, (\mathbf{m}_k, \mathbf{v}_k), \mathbf{a}] = f(\mathbf{v}, \mathbf{q})$$ LLM 在自回归生成文本时，一旦输出特殊的 [SEG] Token，就会唤醒掩码解码器；随后提取出的 $\mathbf{v}_i$ 会被压平并输入到LLM中，作为后续推理的 KV Cache 约束条件。

2. 多模态 Token 级自适应融合 (Multi-Modal Reasoning)
为了在云遮挡区域智能利用 SAR 数据，在清晰区域利用 Optical 光谱数据，模型在融合时通过跨注意力层计算文本到两种模态视觉 Token 的相关性得分 $\beta_j^\mu$： $$\beta_j^\mu = \frac{1}{L} \sum_{\ell=1}^L \text{Softmax}\left(\frac{\mathbf{v}^\mu \mathbf{q}^\top}{\sqrt{D}}\right)_{j\ell}, \quad \mu \in \{\text{opt, SAR}\}$$ 在选择最终的视觉特征注入时，逐像素对比 Optical 和 SAR 的相关性分数，动态挑选得分更高的那一方： $$\mathbf{v}_j = \begin{cases} \mathbf{v}_j^{\text{opt}} & \text{if } \beta_j^{\text{opt}} > \beta_j^{\text{SAR}} \\ \mathbf{v}_j^{\text{SAR}} & \text{otherwise} \end{cases}$$

3. Terra-CoT 数据合成机制
利用现有的语义标注掩码，训练一个自动打标模型，分两个层级生成 1M 数据：Level 1 (基础空间打标)涵盖对象计数、面积量化等；Level 2 (复杂多步推理)将 L1 组件组合，要求模型推断如“水域是否紧邻农作物”、“某地是否适宜耕种”等复杂的跨实体语义和空间关联。

⚙️ 方法论与技术实现 (Methodology)

该研究将“主动性评测”形式化为多项选择问答（MCQA）和开放式生成（OEG）两种设定。在 MCQA 下，环境被建模为一个有限马尔可夫决策过程 (MDP)，定义为四元组 $(\mathcal{S}, \mathcal{A}, \pi_\theta, \mathcal{R})$。

• 状态 $\mathcal{S}$ 与 动作 $\mathcal{A}$： 在时间步 $t$，模型观察到状态 $s_t = \{I_t, A_t\}$，其中 $I_t$ 为当前帧，$A_t$ 是合法的动作集合（包含正确类别、错误干扰类别、Abstain 选项以及若干 Proactive 建议）。
• 策略 $\pi_\theta$： MLLM 根据输入 $q$ 和 $s_t$ 输出动作 $a_t \sim \pi_\theta(\cdot \mid q, s_t)$。若选择类别或弃权，则 Episode 终止；若选择 Proactive suggestion，则转移至 $s_{t+1}$，最多交互若干轮（因数据集而异）。

基于 GRPO 的强化学习微调 (RL Post-training for Proactiveness)：
为证明主动性是可学习的，作者采用组相对策略优化（Group-Relative Policy Optimization, GRPO）对模型（如 Qwen2.5-VL-3B）进行微调。核心在于无需密集标注的 Reward 设计：

• 预测正确类别：$r_c = 1$
• 提出合法的 Proactive 建议：$r_p \in \{0.5, 0.75, 1.0\}$
• 其他行为（猜错或提供无效建议）：$r_w = 0$

通过设置 $r_p < r_c$（如 $r_p=0.75$），模型能够学会权衡：只有当确信自己无法识别时，才会退而求其次去赚取 $r_p$（提出建议）；而当信息充足时，则直接追求最大奖励 $r_c$ 输出最终类别。若设置 $r_p = 1.0$，模型则会陷入“奖励作弊（Reward Hacking）”，无限度地发起主动建议而不去解答问题。

⚙️ 方法论与核心技术实现

FlowScene 的系统设计尤为精巧，它通过解耦表征和耦合采样（Decoupled Representation, Coupled Sampling）来解决复杂场景生成问题。

1. 多模态场景图（Multimodal Scene Graph）

场景被表示为图 $\mathcal{G}_{\mathcal{M}} = (\mathcal{V}_{\mathcal{M}}, \mathcal{E})$。节点可以聚合 CLIP 提取的文本特征和 DINOv2 提取的视觉特征，从而统一了纯文本、纯图像或图文混合的输入模态。边则包含了物体的空间和语义关系（如 left of, same style as）。

2. 多模态图修正流（Multimodal Graph Rectified Flow）

Rectified Flow 通过学习连接先验分布 $\mathcal{D}_1 \sim \mathcal{N}(0, I)$ 与目标数据分布 $\mathcal{D}_0$ 之间的直线路径来实现生成。论文在时间相关的速度场 $v_\theta$ 中引入了图信息交换单元 InfoExchangeUnit，其优化目标为：

$\mathcal{L}_{\text{GRF}} = \mathbb{E}_{\mathcal{D}, \mathcal{C}, t} \left[ \|\Theta_{\mathcal{D}}(\mathcal{D}_t, \mathcal{C}_t, t) - v\|_2^2 \right]$

其中，$\mathcal{C}_t$ 是在时间步 $t$ 通过 Triplet-GCN 聚合的多节点去噪状态。这意味着在 ODE 采样的每一步，每个物体都会通过 GNN “感知”到图网络中与之相连的物体的当前生成状态，从而动态调整自身的生成轨迹。

3. 三分支协同生成架构

• Layout Branch： 生成场景布局，输出物体边界框的归一化坐标、尺寸和旋转角度。网络内嵌 LayoutExchangeUnit 以确保物体不会相互碰撞并满足空间关系（如 front of）。
• Shape Branch： 利用 3D VQ-VAE 将高维体素压缩为离散的紧凑隐空间 $\mathcal{S}$。该分支的 ShapeExchangeUnit 能够传播几何特征，使得拥有 same style as 关系的物体在几何拓扑上趋于一致。
• Texture Branch： 这是从几何到外观的关键一步。论文利用纹理 VQ-VAE 将多视角图像特征锚定到几何体素上。此分支仅对纹理特征加噪去噪，保持几何结构不变。通过 TextureExchangeUnit，模型成功将复杂材质（如木材纹理、颜色）在不同节点间同步。