⚙️ 方法论与技术实现 (Methodology & Implementation)

整个任务被建模为一个部分可观测马尔可夫决策过程 (POMDP)。POLAR 将记忆处理机制分为两步核心阶段：Memorization (记忆化) 和 Utilization (利用)。

1. 知识图谱记忆构建 (Memorization)

每次交互后，产生的新历史 $\mathcal{E}_{<k}$ 会被映射到多模态知识图谱 $\mathcal{M} = (\mathcal{V}, \mathcal{E})$ 中。这里的节点被精细拆分为三类：

• 语义记忆 (Semantic Memory)节点 $s_{i,k}$： 放弃大段对话保留，将个性化上下文提炼为原子化的陈述句（例如："always used on snow days"）。这避免了多概念纠缠，极大提升了后续 Retrieval 的召回准度。
• 情节记忆 (Episodic Memory)节点 $p_{i}$： 不保存冗长的 Raw Visual Trajectories（这会让 MLLM OOM 或注意力发散），而是将其抽象为紧凑的文本描述。例如记录了在某次交互中：搜索了厨房，没有发现，但遇到了一个红色杯子作为干扰物...最终在卧室找到。

图谱构建时通过 Object ID 匹配或者基于参考图像的视觉特征相似度，动态更新边（Edges）和加入时间戳，实现了随时间演化下的对象绑定更新机制。

2. 基于图的记忆利用 (Utilization)

在当前 Task execution 时：

1. 使用 BGE-M3 文本编码器，将当前任务指令 $\mathcal{I}$ 与图中的语义节点 $s$ 算相似度：$\text{sim}(\mathcal{I}, s) = \phi(\mathcal{I}) \cdot \phi(s)$，召回 Top-$k$ 个语义节点。
2. 利用图的连通性，找到对应的 Object 节点，以及绑定的情节记忆 (Episodic memory) $p_j$。
3. 基于检索到的上下文 $\mathcal{R}_k$，MLLM Agent (作为 High-level Planner) 执行目标消歧（确定到底是要哪个实例），并结合过往情节轨迹（避开以前验证过的死胡同房间），输出粗粒度路径规划（如 waypoint sequence），最后交由 Low-level Controller 执行基础动作：
   $$ a_t = \pi(\tau_t, \mathcal{I}_k, \mathcal{R}_k) $$

🔵 方法论与技术实现

1. 代理老化机制分类 (The Four Aging Mechanisms)

长周期系统中的老化被严格定义为以下四类，分别对应内存流水线的不同压力：

• 压缩老化 (Compression Aging)： 发生于 Write 阶段。系统在保存记忆前必须决定保留什么，但此时并未预知未来的 Query。高压缩率不可避免地抹除低频实体（如具体金额、具体约束日期）。
• 干扰老化 (Interference Aging)： 发生于 Read 阶段。即使事实没有丢失，当系统中累积了大量相似的历史条目时（例如多个项目的预算文件），也会在检索时形成互相拥挤，导致提取到混淆的知识（Entity Confusion）。
• 修订老化 (Revision Aging)： 发生于 Utilize 阶段。当外部世界的事实发生改变（旧决策被撤销，约束条件收紧）时，Agent 无法在其内存和推理中正确处理版本更迭（Version supersession），从而提供过期或失效的信息。
• 维护老化 (Maintenance Aging)： 属于被动触发的 Lifecycle event。系统日常维护（如将多个碎文件重新打包为整文件、切换底座模型等）引发隐性副作用，导致 Agent 表现产生断崖式下跌（Performance Cliff）。

2. Temporal FactGraph (时间依赖生成器)

为了让上述机制可度量，AgingBench 使用编程式图生成器构建了一个带时间戳的依赖拓扑 $\mathcal{G} = (\mathcal{F}, \mathcal{E}, \mathcal{I})$。生成的内容包含：Version chains（记录谁覆盖了谁）、Dependency edges（跨多 Session 的聚合推理要求）、Interference pairs（植入特征高度重合的干扰项）。

3. 基于反事实的组件级归因分析 (Counterfactual Diagnostic Profiles)

这是整篇论文最精妙的工程设计。将 Agent Memory 抽象为 $W$ (Write/Compress), $S$ (Store), $R$ (Read/Retrieve), $U$ (Utilize) 的循环状态机： $$M_{t+1} = U(M_t, H_t; \theta)$$ 当评测到某个 Probe 发生失败（即 Accuracy 不满分）时，如何知道是哪个环节搞砸了？作者设计了三个逐渐增强的测试条件进行 Ablation Ladder：

• P1 (Baseline)：完全使用 Agent 自身的写、读、推理机制。精度记为 $\text{Acc}_{P1}$。
• P2 (Oracle Retrieval)：使用 Agent 写出来的 Memory，但替换掉它的 Read 步骤，使用“上帝视角”直接把该问题需要的事实片段从其 Memory 中捞出来塞进 Context。此时精度的提升代表了检索算法的锅。
• P3 (Oracle Context)：跳过 Agent 的读写，直接把 Ground-truth 的原始无损上下文喂给大模型。精度记为 $\text{Acc}_{P3}$。

通过这三个探针的算术差值，将整体错误率解耦：

• Utilization Error (归因于 $U$ 阶段) = $1 - \text{Acc}_{P3}$ （即使把标准答案摆在面前，依然推不出来，典型的 Revision 导致的复杂状态跟踪失败）。
• Write Error (归因于 $W$ 阶段) = $\text{Acc}_{P3} - \text{Acc}_{P2}$ （上帝视角的完美检索也无法挽救，说明信息在之前被 Write 模块或者记忆压缩给彻底抛弃或弄坏了）。
• Read Error (归因于 $R$ 阶段) = $\text{Acc}_{P2} - \text{Acc}_{P1}$ （换了上帝检索后能力恢复了，说明数据还在，只是原本的检索被 Interference 干扰了）。

⚙️ 方法论与技术实现 (Methodology & Architecture)

为满足 CoE 标准，ScientistOne 将整个科研生命周期重构为三个严格传递上下文的阶段，核心策略是“限制大模型的自由发挥，强制挂载溯源”。

Stage 1: Literature Grounding (文献溯源奠基)

传统的 AI 科研 Agent 往往让模型直接头脑风暴。ScientistOne 的 Problem Investigator (PI) 则从种子论文出发，调用 Semantic Scholar API 构建文献图谱，阅读高达 100 篇 PDF 原文，提取带有准确出处标记的结构化研究简报（Research Brief）。这就从根本上阻断了引用幻觉。

Stage 2: Discovery (方案发现与探索)

内置 Parallel Explore-Exploit (PEE) 编排器。在多个并行分支中，Agent 迭代生成代码方案，通过 Evaluator 评分，保留 Top-K 方案并进行消融实验。所有的 evaluator 分数、执行日志、消融测试结果都会被系统精确打包，作为第三阶段的唯一合法信息源。

Stage 3: Paper Writing & Verification (论文写作与验证 —— 核心创新)

抛弃了传统的“让模型一口气写完论文”的流程，采用五步走策略：

• Conceive (构思): 生成的不是直接的 LaTeX，而是 Markdown 格式的 Research Representation。其中每一个事实主张都必须带有 Inline Tag，如 {source: "experimental_log.md:N"} 或 {cite: "key"}。
• Ground (对齐): 确定性地检查所有 Tag 的合法性（分数是否匹配日志、文献实体是否存在）。
• Critic (批判): LLM 负责逻辑和基线公平性审查。
• Resolve (修复): 根据 Critic 和 Ground 的反馈，重写并剔除无证据支持的主张。该循环直至收敛。
• Compose & Claim Verifier (排版与验证): 分段生成 LaTeX，并在最后一步进行极其严苛的 Claim Verifier 校验。针对数字声明使用相对误差比对；针对引用声明使用 LLM 强行判断源文档 Abstract 是否支持该句话；针对方法学声明核对代码。无错后，才脱敏 Tag 最终输出 PDF。

⚙️ 方法论与技术实现

CARL 的核心理念是通过离线数据中的“行为足迹 (Behavioral Footprint)”来近似理论上的局部动力学等价性。具体实现依赖于以下组件：

1. 目标构建：基于动作序列的对比学习

对于一条长度为 $H$ 的轨迹 $\tau = (s_0, a_0, s_1, a_1, \dots)$，提取一个 $k$ 步的状态-动作元组 $(s_t, \mathbf{a}_k, s_{t+k})$，其中 $\mathbf{a}_k = (a_t, a_{t+1}, \dots, a_{t+k-1})$。目标是学习两个编码器：

• 状态-目标编码器：$\phi(s, g)$，其中 $g$ 为未来 $k$ 步内的目标状态。
• 动作序列编码器：$\psi(\mathbf{a}_k)$。

为了让局部动力学一致的 $(s, g)$ 具有相似表征，CARL 采用 InfoNCE 损失函数将 $(s, g)$ 和相应的 $\mathbf{a}_k$ 互相拉近：

$\mathcal{L}_{InfoNCE}\left(\{ (s^i, g_k^i, \mathbf{a}_k^i) \}_{i=1}^B ; \phi, \psi\right) = -\frac{1}{B} \sum_{i=1}^B \log \frac{\exp(\langle \phi(s^i, g_k^i), \psi(\mathbf{a}_k^i) \rangle / \tau)}{\sum_{j=1}^B \exp(\langle \phi(s^i, g_k^i), \psi(\mathbf{a}_k^j) \rangle / \tau)}$

2. 与分层 RL 的深度整合 (Co-training)

在获得了这种富含“技能聚类”属性的表征 $\phi$ 之后，CARL 能够非常优雅地集成到如 HIQL 等分层 RL 算法中：

• 低层策略 (Low-level Policy) 不再直接输入原生 Goal，而是输入嵌入后的 Subgoal $z_t^\star = \phi(s_t, s_{t+k})$。这种降维且聚类良好的表征降低了低层策略的识别难度，让策略能把该表征直接当做某个“技能标签”使用。
• 高层策略 (High-level Policy) 输出预测该表征空间的向量（即发出技能指令）。
• 两者共享表征网络并采用联合训练 (Co-training) 的方式，同时兼顾任务的价值函数回传与 InfoNCE 聚类目标，相比于仅作为预训练表征，Co-train 显著提升了表现。

⚙️ 方法论与技术实现 (Methodology & Technical Implementation)

论文首先给出了误差复合的理论界限。假设对话视野为 $H$，单步策略误差为 $\varepsilon_i$，则静态RL的预期回报差界限为：

$$ |J(\pi) - J(\pi')| \le R_{max} \sum_{i=0}^{H-1} (H - i)\varepsilon_i $$

同理，如果模拟器存在单步误差 $\delta_i$（如“谄媚”行径），也会产生类似的二次方累积效应（定理3.2）。为了同时解决 $\Delta_t$ 和 $\delta_t$，作者设计了分为两阶段的 Calibrated Interactive RL 框架：

Phase I: Simulator Calibration (模拟器校准)

为克服基于Prompt的模拟器的缺点，研究人员将 Qwen2.5-7B-Instruct 作为一个可训练代理。利用拥有全局Ground Truth的Oracle模拟器生成高质量的多轮交互参考历史。然后通过行为克隆 (SFT) 最小化负对数似然 (NLL) 来对齐模拟器：

$$ \mathcal{L}_{\text{Calibration}}(\phi) = -\mathbb{E}_{(x, y^*, h_{real}, a_{real}) \sim \mathcal{D}} \left[ \sum_t \log \pi_\phi^{sim} (u_t \mid x, y^*, h_t, a_t) \right] $$

这一步至关重要，它使得模拟器学会在真实人类分布中提供反馈（例如，要求澄清，表达部分理解，或者坚持拒绝不正确的解决方案），从而封堵了策略模型进行 Reward Hacking 的漏洞。

Phase II: Interactive Policy Optimization (交互式策略优化)

冻结已校准的模拟器，并将基础策略模型 (Gemma-3-4B-IT) 放入该模拟环境进行闭环交互。生成完整的多轮轨迹（$h \sim d^\pi_t$），从而让模型在自生成的分布中学习错误恢复。

• 稀疏任务奖励： 交互质量完全由最终回合 $H$ 的任务结果决定（如代码的正确性或BLEU分数）。强制Agent进行有意义的信息搜寻。
• 优化算法： 为了降低长序列多轮训练的显存压力，放弃了传统的PPO，转而采用 GRPO (Group Relative Policy Optimization)，通过组内奖励归一化免去了Value Network的需求。