⚙️ 方法论与技术实现

1. Program Functions (PFs) 结构设计

在 HASP 中，每个技能被定义为一个确定性的 Python 模块，包含两个核心接口：

• should_activate(step_context, action_type, arg) $\rightarrow$ bool：一个判定逻辑，决定当前状态下该技能是否应当触发（例如判断当前是否是 SEARCH 动作且搜索词过短）。
• intervene(step_context, action_type, arg, teacher=None) $\rightarrow$ Intervention：具体的干预操作，返回的操作类型可以是修改动作（MODIFY_ACTION），或者是注入上下文（INJECT_CONTEXT）。

2. 推理阶段的 Agent Harness

在时刻 $t$，基础策略（Base Policy）提议一个动作 $a_t^{\text{orig}} \sim \pi_\theta(\cdot \mid s_t)$。接着，外置的 Harness 控制层检索相关的 PF。如果触发条件满足，PF 会计算并输出纠正后的最终执行动作 $\tilde{a}_t$ 以及需要注入的纠正上下文 $c_t$。模型最终执行并记录的是被 PF “修正”后的轨迹记录：$e_t = (s_t, a_t^{\text{orig}}, \tilde{a}_t, c_t, \kappa_t, \Delta_t)$。

3. Post-Training: 通过 PF 信号进行策略内化

仅仅在 Inference 时纠正还不够，我们需要让模型内化这些能力。HASP 为每次干预设计了四维监督信号聚合向量 $\mathbf{z}_t = (t_t, m_t, q_t, o_t)$，分别代表：干预时机（Timing）、干预模式（Mode）、局部正确性（Correctness）和最终结果（Outcome）。聚合得分记为：

$$ A_t = \lambda_t t_t + \lambda_m m_t + \lambda_q q_t + \lambda_o o_t $$

作者验证了三种后训练方法，其中 PF-guided Rejection Sampling (RS) 效果最稳定：对采样的轨迹使用全局成功率与中间 PF 打分的组合得分进行过滤，留下最符合“正确 PF 逻辑”的轨迹去 Fine-tune 学生模型（$\mathcal{L}_{\text{SFT}} = - \sum_t w_t \log \pi_\theta(\tilde{a}_t \mid s_t)$）。这使得模型在不依赖外部探索的条件下迅速学到了高效行为策略。

4. 技能库自我进化 (Self-Improving Evolution)

HASP 提供了一个严格的闭环用于技能挖掘：

• 发现与提议： LLM 对当前 Checkpoint 遗留的失败轨迹进行分析（聚类），如果发现共性错误，则生成一个新的 PF 候选代码片段。
• Executable Validation (执行门控)： 对该 PF 运行抽象语法树解析、接口匹配，并在 9 种 Mock 的上下文状态下进行沙盒空跑，一旦崩溃直接丢弃。
• Teacher Review (评审门控)： 由 Teacher Model 根据 Concept, Trigger, Intervention, Executability, Validation 五个维度进行打分（$Q_{\text{skill}} \ge 0.60$ 才准入）。

⚙️ 方法论与技术实现

1. 可验证指标：Exploration Checkpoint Coverage (ECC)

为了衡量探索的有效性，作者在每个环境实例中定义了一个隐含的检查点集合 $\mathcal{C} = \{c_1, c_2, \dots, c_M\}$。这些检查点包括：关键的导航位置（Rooms）、可交互的物体（Objects）以及功能性动作/状态转变（Affordances）。

一段探索轨迹 $\tau_{\text{EXP}}$ 的 ECC 定义为成功触发这些检查点的比例：

$\text{ECC}(\tau_{\text{EXP}}) = \frac{1}{M} \sum_{i=1}^M \mathbb{1}[c_i \in \tau_{\text{EXP}}]$

重要的是，ECC是一个基于物理环境状态引擎的客观指标，而非基于LLM主观打分。只有 Agent 真正走到了房间、或成功操作了物品触发了环境反馈，对应项才会被记为 1。

2. 探索感知训练 (Interleaved GRPO)

在模型训练中采用 Group Relative Policy Optimization (GRPO)。为了防止模型过拟合于预设任务而丧失探索欲，作者采用了一种交替调度策略 (Interleaved Training Schedule)：

• Task-focused 步：传统方式，基于是否成功完成任务给予 0 或 1 的 Reward。
• Exploration-focused 步：将 Agent 扔在没有明确任务目标的环境中，让其自由探索产生多个 Rollouts $\{y^{(i)}\}_{i=1}^G$。此时对应的奖励函数被替换为 $R_{\text{EXP}}^{(i)} = \text{ECC}(\tau_{\text{EXP}}^{(i)})$。

通过设定一个任务与探索批次比（默认 5:1），模型既学会了如何高效做任务，又被强化了系统性发现未知环境结构的潜意识。

3. Explore-then-Act (E-t-A) 推理范式

摒弃传统的 ReAct 式一发到底的统一推理回路，将其分为两段：

1. Information Gathering (探索阶段)：在无目标状态下给予 $N$ 步预算进行自由探测，生成轨迹。Agent 利用 LLM 总结出物理接地的环境先验知识总结 $\mathcal{K}$（包含地图布局、物体用法、发现的规则等）。
2. Task Execution (执行阶段)：接受具体任务 $g$。此时 policy 在执行时的条件变为了依据历史和探索知识来输出动作：$a_t \sim \pi_{\text{ACT}}(\cdot \mid H_t, g, \mathcal{K})$。

4. 方法论与技术实现 (Methodology)

EvoTD基于 Proposer-Solver（出题者-解题者）范式，底层优化方法采用典型的RLVR算法（如GRPO或DAPO）。其数据合成引擎的详细设计如下：

4.1 双轴流形任务抽象 (Dual-axis Task Abstraction)

模型将一个推理任务 $t$ 抽象为双轴流形上的一个点 $\Phi(t) = (s, \mathbf{c})$，其中 $s \in \mathcal{S}$ 是算法技能（如二分查找、堆排序等），$\mathbf{c} \in \mathcal{C}$ 是复杂度属性集合（如输入规模、图的大小、树的深度等）。这一步的候选集通过具有元认知（Metacognitive）能力的LLM从种子数据集中抽取得到。

4.2 进化算子 (Evolutionary Operators)

• Skill-based Seeding (技能引导播种)： 首先以提取出的原子技能 $s$ 为条件，利用Proposer生成初始的程序-输入对。这保证了进化种群在初始化时就具备了最大化的“语义覆盖率”。
• Attribute Mutation (复杂度属性变异)： 负责“垂直”维度的进化。对于一个父代程序，Proposer首先决定哪些复杂度约束是适用的（例如含有树结构才能增加tree depth），然后定向增强这些属性： $$\mathcal{M}_{attr}(t, \pi_{prop}) = t' \quad \text{s.t.} \quad \Phi(t') = (s, \mathbf{c} + \Delta\mathbf{c}')$$ 在此过程中严格保证逻辑骨干 $s$ 不变。
• Skill Crossover (技能交叉)： 负责“水平”探索组合逻辑。令 $\Lambda(\mathcal{D})$ 为当前种群已有的技能组合集，该算子负责搜索并生成具备未知技能组合 $S_{new}$ 的新任务： $$\mathcal{X}_{skill}(\Lambda(\mathcal{D}), \pi_{prop}) = t_{new} \quad \text{s.t.} \quad Skill(t_{new}) = S_{new} \notin \Lambda(\mathcal{D})$$ 为了防止生成毫无意义的强行拼接代码，Prompt严格要求新加入的技能必须高度协同且为解决问题所必需。

4.3 多目标适应度检查 (Multi-objective Fitness Check)

合成的数据如果不经验证，往往包含大量“语法错误”或“无法收敛的死循环”。EvoTD设计了一个严苛的联合指标函数 $\mathcal{V}(t)$ 过滤种群：

$$\mathcal{V}(t) = v_{exec}(t) \cdot v_{skill}(t) \cdot v_{learn}(t)$$

• $v_{exec}(t)$ (可执行性): 使用Python执行器，确保程序没有语法错误且在限定时间内能够终止。
• $v_{skill}(t)$ (技能对齐度): 利用LLM-as-a-judge执行代码审计，确保生成的代码中真正运用了目标算法技能，而不是抄近道或退化成了暴力解。
• $v_{learn}(t)$ (可学习性/ZPD): 也是本工作的一大核心——测试对于当前正在被训练的模型（Solver $\pi_\theta$）来说，该题目是否太简单或太难？通过对Solver采样 $k$ 次，仅保留通过率严格介于0和1之间的题目： $$v_{learn}(t) = \mathbb{I}[0 < \mathbb{E}_{k \sim \pi_\theta}[\text{solved}(t_k)] < 1]$$ 这天然形成了一种自适应课程（Dynamic Curriculum）。

4. 方法论与技术实现 (Methodology)

ELVIS 的整体框架建立在循环状态空间模型（RSSM）的基础上，其技术链路分为三大模块：

1. 建立部分可观测下的信念 (RSSM Filtered Belief)： 利用编码器推断随机变量 $z_t$，结合确定性记忆 $h_t$，形成紧凑的信念状态 $\hat{s}_t = (h_t, z_t)$。此状态能很好地捕获偶然不确定性（Aleatoric uncertainty）。
2. GMM-MPPI 轨迹并行优化： 将控制动作序列的提议分布建模为 $M$ 个高斯的混合 $q_m(a_{0:H-1}) = \mathcal{N}(a_{0:H-1}; \mu_m, \Sigma_m)$。 规划时，从 $M$ 个模式中各自采样 $K$ 个动作序列，在 RSSM 的隐空间先验动力学下进行长视野展开（Rollout）。系统独立对每个模式内部基于相对最优的权重进行矩匹配更新，从而保留多条完全不一致的高收益解，而非强制平均。在下一时刻，再利用学得的 Actor 策略 $\pi_\psi(\cdot|\hat{s}_k)$ 辅助对这些多模态均值进行 Warm-start。
3. 基于 UCB-gated $\lambda_t$ 的探索与软截断： 训练一组（Ensemble）隐空间 Critics $\{V_i(\hat{s})\}_{i=1}^M$，以捕捉认知不确定性（Epistemic uncertainty）。计算预测回报的均值 $\mu_t$ 与方差 $\sigma_t$，定义乐观评分： $$UCB(\hat{s}_t) := \mu_t + \beta \sigma_t$$ 利用该 UCB 动态映射到时间衰减系数 $\lambda_t \in [\lambda_{min}, \lambda_{max}]$： $$\lambda_t = \lambda_{max} - (\lambda_{max} - \lambda_{min}) \operatorname{norm}(UCB(\hat{s}_t))$$ 极高 UCB 表示价值高且不确定性大，此时 $\lambda_t$ 减小，促使递归的回报估计 $G_t$ 更依赖当前的 Critic 估计（Bootstrapping），拒绝被更深层的不稳定模型预测所干扰。最后，这个动态 $\lambda$-return 统一作为训练 Actor-Critic 的 TD Target，以及给 MPPI 规划路径打分的依据。

⚙️ 方法论与技术实现

1. 理论根基：配分函数的解耦

在带 KL 正则的强化学习框架下，最优策略 $\pi^*(y|x)$ 可表示为：

$$ \pi^*(y|x) = \frac{1}{Z(x)} \pi_{\text{ref}}(y|x) \exp\left(\frac{1}{\beta}\mathcal{R}(x, y)\right) $$

将其取对数并整理，策略增加的概率方向取决于一个不等式：

$$ \log \frac{\pi^*(y|x)}{\pi_{\text{ref}}(y|x)} > 0 \iff \mathcal{R}(x,y) > \tau^*(x) $$

这里的 $\tau^*(x) = \beta \log Z(x)$ 充当了一个 Oracle 级别的 Instance-dependent Baseline。DPO 的做法是拿成对的 $(y_w, y_l)$ 作差，从而巧妙地把顽固的 $Z(x)$ 消掉。但在单样本标量反馈下，我们没有作差的条件。

2. 数据驱动的阈值与伪标签 (Pseudo-Preferences)

TGO 选择迎难而上，既然 $\tau^*(x)$ 算不出，就用全局数据的统计分布来做一个强有力的近似。通过对所有样本的打分 $s_i$ 取分位数（通常是中位数 $p=0.5$），得到全局阈值 $\tau = \text{Percentile}(\{s_i\}, p)$。

这直接将回归问题转化为了更易优化的二分类问题。伪偏好标签定义为：$l = \mathbb{I}[s \ge \tau]$。分数大于阈值的算作伪正例（鼓励生成），反之为伪负例（抑制生成）。

3. 引入置信度权重 (Confidence Weighting)

强行二值化会损失分数的幅度信息（Absolute Scale）。为此，TGO 设计了置信度权重 $w(s, \tau) = 1 + c|s - \tau|$。距离阈值越远的极端高分/低分样本，权重越大，减少了阈值附近的噪声影响。

最终的代理分类损失函数为：

$$ \mathcal{L}_{\text{TG}}(\pi_\theta) = -\mathbb{E}_{(x,y,s)\sim\mathcal{D}} \left[ w(s, \tau) \Big( l \log \sigma(\hat{s}_{\theta,\text{ref}}) + (1 - l) \log(1 - \sigma(\hat{s}_{\theta,\text{ref}})) \Big) \right] $$

其中 $\hat{s}_{\theta,\text{ref}} = \beta \log \frac{\pi_\theta(y|x)}{\pi_{\text{ref}}(y|x)}$，在 Diffusion 模型中可通过缩放的负 MSE 损失（$-\frac{1}{T}\text{MSE}(y, \hat{y}_\theta(x))$）进行近似计算，在 MaskGIT 中则直接提取交叉熵似然。