1. 异构时序图构建 (Heterogeneous Temporal Graph Construction)
系统监听OS流式事件并确定性地构建会话图 $G_t = (V_t, E_t)$：

• 节点 (Nodes)：包含事件节点 (Event Nodes)（每个动作作为一个节点），实体节点 (Entity Nodes)（文件、App、URL、查询词），以及类型节点 (Type Nodes)（提取拓展名、领域等高阶语义以解决稀疏性）。
• 边 (Edges)：包含 has_entity（事件关联实体）、belongs_to，以及用于序列建模的 next_event 前后向时序边。
• 特征初始化：利用冻结的轻量文本编码器（如 BGE-base）对节点表面文本提取 embedding，拼接上可学习的 Type Embedding 和 时间间隔 (time-gap) Embedding。

2. 双头联合预测 (Joint Trigger and Routing as Two Heads)
网络骨干采用三层关系感知 GATv2（Relation-aware GATv2），并辅以 Jumping Knowledge 机制直接拼接所有层特征，以兼顾低层语义（实体表面名称）与高层图上下文。 基于共享的隐藏层状态 $h$，模型并行两个 MLP 读出头：

• Trigger Head（作用于事件节点）：输出唤醒概率 $p_{\text{trig}}(t)$，指导是否拦截当前事件。
• Routing Head（作用于实体节点）：输出实体相关性得分 $s_{\text{rout}}(v)$，过滤出Top-k节点作为高质量结构化上下文。

联合训练损失极其简洁：

$$ \mathcal{L} = 0.3 \, \text{BCE}(\text{logit}_{\text{trig}}, y_{\text{trig}}) + 1.0 \, \text{BCE}(\text{logit}_{\text{rout}}, y_{\text{rout}}) $$

3. 下游生成 (Downstream LLM Agent)
推理阶段使用严格的因果掩码（阻断未来边）。如果 $p_{\text{trig}}(t) \ge \tau$ 阈值，则将 $s_{\text{rout}}(v)$ 排序最高的实体（如 email_filter.py）连同会话历史拼接成结构化 prompt，请求下游冻结的指令微调 LLM 产生预测动作。此时的LLM彻底摆脱了复杂的时序模式匹配，只需要做好它最擅长的事：基于给定的实体把动作“翻译”成自然语言交互。

🛠 方法论与技术实现 (Methodology)

为了使MAS优化变得可行（tractable），作者设计了两个关键松弛条件（Relaxations），将原本混乱的交互图变成了结构化的优化曲面：

1. 状态空间瓶颈 (State-Space Bottleneck)

全连接的MAS中信息流动发散，无从追溯。作者引入了由Prompt驱动的聚合模块 (Aggregation Module)，在每轮 $t$ 对所有Agent的输出 $\mathcal{U}_t$ 进行摘要总结，生成一个共享状态 $S_t = f_t(\mathcal{U}_t; \psi_t)$。这形成了一个马尔可夫决策过程 (MDP) 的状态瓶颈，使得系统在中间步骤的评估成为可能，能够生成中间态的文字代理梯度： $\Delta_t = \mathcal{G}_t(x, S_t, S_R, J(\tau; x))$。

2. 参数共享 (Parameter Sharing)

如果让每一个Agent在每一轮都有一个独立的Prompt，参数量会爆炸。方法强制要求“同一角色跨轮次共享Prompt”（如辩论者角色共用一个核心System Prompt）。优化目标从朴素的端到端得分 $\max_\Phi \mathbb{E}_{\tau} [J(\tau; x)]$ 演变为基于共享参数集合的：

$\max_{\{\phi_i\}_{i=1}^N, \Psi} \mathbb{E}_{x\sim\mathcal{D}} \mathbb{E}_{\tau\sim p(\cdot|x; \{\phi_i\}, \Psi)} \big[ J(\tau; x) \big]$

此处的 $\phi_i$ 是第 $i$ 个角色的Prompt，$\Psi$ 是聚合器策略（轮次导向）。

3. 离散空间块坐标下降 (Verbalized BCD)

这是一种巧妙将数值最优化理论迁移到 Prompt Engineering 的设计：

• 计算信度 (Credit Computing)：引入 LLM-based 判别器。针对角色给出 $C_i^{role}$ (结构信用)，针对特定回合聚合器给出 $C_t^{time}$ (时间信用)。
• 交替优化 (Alternating Updates)：
  • Phase A: 冻结聚合器 $\Psi$，找出 $C_i^{role}$ 较低的拖后腿Agent，利用自然语言反馈重写其Prompt $\Phi^{role}$。
  • Phase B: 冻结角色Prompt $\Phi^{role}$，找出 $C_t^{time}$ 极低的回合（往往是迷失方向的节点），针对性地优化该轮聚合提示词。

⚙️ 方法论与核心技术实现

1. 评价标准设计 (Rubric Design)

输入 $x$，为其生成特定的 Rubric $C^x = \{c^x_1, ..., c^x_K\}$。每个 Criterion 被定义为一个五元组：$c^x_k = \langle d^x_k, t^x_k, w^x_k, V_k, z^x_k \rangle$。

• $t^x_k \in \{\text{ESSENTIAL}, \text{ADDITIONAL}\}$: 区分该要求是“核心必要条件”还是“补充细节”。
• $V_k$: Verifier tag（例如：是否可由 bbox, expr, text 等确定性逻辑验证）。若 $V_k = \emptyset$，则为模糊标准。

2. 最小化暴露双路径执行 (Criterion Execution)

将输入分解为文本 $x^t$ 和图像 $x^i$。两条路径都对大模型共享权重 $\phi$，且仅输入文本（屏蔽图像）：

• 可验证路径 (Verifiable Criteria): LLM 充当 Extractor (提取器)，生成提取值 $(\eta_k, \hat{a}_k) = E(x^t, y, d^x_k, V_k; \phi)$。关键：向提取器隐藏了目标真实答案 $z^x_k$。随后将提取值送入 Python 函数计算最终得分 $s_k = V_k(\hat{a}_k, z^x_k)$。
• 模糊路径 (Fuzzy Criteria): LLM 充当 Judge，直接预测得分 $s_k \in \{0, 0.5, 1\}$。同样屏蔽原图，强迫 Judge 从 Policy 回答本身去评判。

3. 分数解耦与层次化聚合 (Reward Aggregation)

在 GRPO 中，如果一个 Group 内的样本得分差距太小（例如编辑距离的微小差异都算0.9以上），会导致优势函数分辨力不足。RLR³ 引入了解耦归一化，定义了针对组内的上下界重映射：

$$ \ell_k = \begin{cases} 0, & s_{k,min} < \tau \\ 0.5, & s_{k,min} \ge \tau \end{cases} \quad u_k = \begin{cases} 1, & s_{k,max} > \tau \\ 0.5, & s_{k,max} \le \tau \end{cases} $$

$$ \tilde{s}_{k,i} = \frac{s_{k,i} - s_{k,min}}{s_{k,max} - s_{k,min}}(u_k - \ell_k) + \ell_k $$

门控机制：补充要求得分不能用来弥补核心要求的失败。如果任意一个 ESSENTIAL 标准彻底失败（$<0.5$），或者有两个以上 ESSENTIAL 标准仅部分正确（$<1$），则该 Response 整体的内容 Mask 为 0。

$$ m_{\text{content}} = \begin{cases} 0, & |\{k : t^x_k = \text{ESSENTIAL}, \tilde{s}_k < 0.5\}| \ge 1, \\ 0, & |\{k : t^x_k = \text{ESSENTIAL}, 0.5 \le \tilde{s}_k < 1\}| \ge 2, \\ 1, & \text{otherwise}. \end{cases} $$

最终 Reward $\tilde{r} = m_{\text{content}} \cdot m_{\text{format}} \cdot \sum (w^x_k \tilde{s}_k)$，送入 GRPO 目标函数进行优化。

4. 方法论与技术实现

论文设计了两种经典的混合多智能体角色编排体系。在两者中，高智能的云端 LLM 担任监督者 (Supervisor)，资源受限的端侧 SLM 担任执行者 (Executor)，端侧负责耗费巨量 Token 的 ReAct 交互循环，云端负责低频的干预纠偏。

架构一：PEVR (Plan–Execute–Verify–Replan)

该架构侧重于强中心化编排与重规划：

• 初始计划：云端根据 User Query 输出一套详细自然语言计划。
• 执行与验证：端侧基于计划进行循环动作 (Tool Use)。每经过 $T_v$ 步，云端 Supervisor 唤醒，审查轨迹是否符合原计划。
• 强制重制 (Context Reset)：一旦发现跑偏，Supervisor 会直接阻断流程，生成新的剩余步骤计划 ($p^t_{new}$)。端侧的历史记录被彻底清空，仅带着新计划满血复活重启。

架构二：EVA (Execute–Verify–Advise)

该架构侧重于轻量级顾问指导：

• 直接探索：无初始规划，端侧小模型直接面对 Query 开启 ReAct 探索。
• 状态摘要与建议：每经过 $T_v$ 步云端介入。若发现卡死，Supervisor 会生成两段文本：关于已完成工作的客观摘要 (Summary) 以及下一步该如何避免错误的轻量级建议 (Advice, $h^t_{new}$)。
• 带状态的软重置：同样触发端侧 Context Reset，但端侧是以“摘要+建议”作为新的 Prompt 起点继续推理，而非强硬的执行清单。

为了衡量端侧的能耗，论文建立了一个基于硬件效率的估算公式，计算每次推理的总焦耳 (Joules) 消耗：

$$ E \approx \frac{2\mathcal{N}(n_p + n_d)}{\eta} $$

其中 $\mathcal{N}$ 为模型参数量，$n_p, n_d$ 为 prefill 和 decode 的 Token 数，$\eta$ 为 NPU 硬件能效比（约为 $10^{12} \text{ Ops/J}$）。