方法论与技术实现 (Methodology)

XKD-DIAL 的精髓在于渐进式的技能组合 (Skill Composition)。整体 Pipeline 划分为四个紧密衔接的 Stage：

Stage 1: 多语言适配 (Multilingual Adaptation)

为了让底座模型（尤其缺乏印地语语料的小模型）具备基础双语表征，使用 IIT Bombay 英印平行语料库进行 1 个 Epoch 的翻译任务训练。目标函数为标准 Seq2Seq 交叉熵：

$\mathcal{L}_{\text{Stage1}} = -\sum_{t=1}^T \log P_\theta(y_t | y_{

Insight：仅做非常浅的 1 Epoch 训练，提供广泛双语暴露，防止过度训练抹杀预训练阶段获得的指令遵循能力。

Stage 2: 英文引用对话 SFT (English Dialogue SFT)

利用带有明确引用标记 [1], [2] 的英语 RAG 对话数据进行 SFT。这不仅教模型生成回复，最重要的是强行植入引用挂载机制 (Citation Attachment Mechanics)。这也是让 Encoder-decoder 模型幻觉率清零的决定性阶段。

Stage 3: 双语引用对话 SFT (Bilingual Dialogue SFT)

按 $\alpha = 0.4$ 混合英语数据，与 $1-\alpha = 0.6$ 的印地语数据一起进行微调。英文数据作为 Replay Buffer 防止灾难性遗忘：

$\mathcal{L}_{\text{Stage3}} = \alpha \cdot \mathcal{L}_{\text{EN}} + (1 - \alpha) \cdot \mathcal{L}_{\text{HI}}$

结果发现：格式化打标签的能力是一种“语言无关的结构化能力”，在 Stage 2 学会后可以迅速跨语种 Zero-shot 迁移到印地语中。

Stage 4: GRPO 对齐 (GRPO Alignment)

使用 DeepSeek 提出的 Group Relative Policy Optimization (GRPO) 算法替代传统的 PPO。GRPO 摒弃了额外的 Critic 模型，通过对同一 Prompt 采样 $G$ 个候选回复，通过各自的 Reward 在组内计算相对 Advantage $A_i^g$ 来更新策略：

$A_i^g = \frac{R(r_i^g) - \mu(\{R(r_i^j)\})}{\sigma(\{R(r_i^j)\}) + \epsilon}$

设计的复合奖励函数 $R = \sum w_j \cdot r_j$ 包含：事实一致性（NLI, +5.0）、实体覆盖（+3.0）、正确引用奖励（+5.0），以及最严厉的幻觉惩罚 (-10.0)（伪造了没有提供的知识段落编号）。

⚙️ 方法论与技术实现

SafeFQL 的核心机制遵循了“价值评估与策略优化解耦”的设计哲学，整个框架包含四个递进阶段：

1. 奖励与安全评论家学习 (Learning Reward and Safety Critics)

框架分别训练两套评价系统，全部基于隐式 Q 学习（Implicit Q-Learning, IQL）的 Expectile Loss 框架以避免查询分布外（OOD）动作：

• 奖励 Critic：正常的 IQL 训练，用于拟合行为分布下的最优期望回报。
• 安全 Critic ($Q_c, V_c$)：为了实现硬约束，SafeFQL 采用了受 Hamilton-Jacobi 可达性启发的 max-backup Bellman 递归进行更新：
  $y_c(x, a, x') = \max \{ \ell(x), \gamma \bar{V}_c(x') \}$
  其中 $\ell(x) > 0$ 表示当前状态已违规。这个公式保证了“最坏情况安全”：只要未来可能进入危险区域，$y_c$ 就会通过 max 操作向后传递高代价。如果评估出 $Q_c(x,a) < 0$，则意味着该动作不仅当下安全，其后续演化也处于安全可行集内。

2. 流匹配教师训练 (Flow Teacher Training)

采用行为克隆（Behavioral Cloning）训练一个以状态为条件的连续流匹配模型 $\mu_\theta(x, z, t)$。该模型学习从纯噪声分布 $z \sim \mathcal{N}(0, I)$ 到经验离线动作分布的无约束映射，保证了策略对底层数据的多模态表达能力。

3. 基于可行性门控的 Actor 单步蒸馏 (Feasibility-Gated Actor Training)

将多步流匹配“教师”蒸馏为一个直接由状态和噪声输出动作的确定性单步“学生” Actor $\mu_\omega(x, z)$。有别于软约束中将 Reward 和 Cost 进行加权求和，SafeFQL 引入了一个二值可行性门（Binary Gate）：
$\zeta(x, z) = \mathbb{I}\{Q_c(x, \mu_\omega(x, z)) < 0\}$
Actor 的整体损失函数为：
$\mathcal{L}_{\text{actor}}(\omega) = \lambda \mathcal{L}_{\text{distill}}(\omega) + \mathbb{E}_{(x,z)}\left[ \zeta \cdot (-Q_r(x, a_\omega)) + (1 - \zeta) \cdot \max(0, Q_c(x, a_\omega)) \right]$
机制解析：$\mathcal{L}_{\text{distill}}$ 确保动作不出数据分布界限。核心在于门控：如果当前动作预测是安全的（$\zeta=1$），则系统完全忽略惩罚项，全力优化 Reward 最大化；一旦动作越界（$\zeta=0$），优化目标立刻切断 Reward 梯度，100% 专注于降低 $Q_c$ 直到恢复到可行域内。这彻底消除了拉格朗日法中存在的奖励与安全相互干扰的顽疾。

4. 基于共形预测的安全验证 (Safety Verification via Conformal Prediction)

考虑到神经网络逼近误差，学到的 nominal 安全边界（即 $Q_c=0$）可能是不准的。SafeFQL 在独立的校准数据集上，利用分离共形预测（Split Conformal Prediction）方法，计算出一个修正边距 $\delta^*$：
$\delta^* := \min_{x \in X} \{V_c(x) : V_c^\pi(x) \ge 0\}$
在测试时，只允许将状态保留在 $V_c(x) \le \delta^*$ 的子水平集（Sub-level Set）内，从而为策略部署提供了一个严格的、无分布假设的有限样本概率覆盖保证（Probabilistic Safety Coverage）。

🛠 方法论与技术实现

OpenResearcher 将典型的 ReAct 工作流进行了数学形式化。给定 Query $q$ 和系统提示 $s_0$，Agent 通过不断输出思考链 $r_t$ 和动作 $a_t$ 来与环境互动：

$r_t, a_t \sim \pi(\cdot|\mathcal{H}_{t-1})$

环境返回观察结果 $o_t = \mathcal{E}(a_t)$，以此更新交互历史：

$\mathcal{H}_t = \mathcal{H}_{t-1} \cup \{(r_t, a_t, o_t)\}$

最终产生的轨迹序列即为 $\mathcal{H}_T$。为了解决成本和可控性问题，本文提出了三步走的合成管线：

1. Question Collection（复杂问题收集）： 从多跳异构长程推理数据集 MiroVerse-v0.1 中抽样 6K QA 对。这些问题通常需要极长的搜索步骤（往往超过 100 步）才能找到零碎的证据链。
2. Offline Search Engine Construction（构建离线搜索引擎）：
   • Online Bootstrapping：对于这 6K 个问题，系统只在线运行一次，根据标准答案强制抓取并清洗出 10K 篇“金标准文档（Gold Documents）”。这一步确保了问题的解绝对存在于语料库中。
   • Distractor Corpus：引入 1500万篇（约 10 Trillion Tokens）的 FineWeb 文档作为噪音和干扰项，真实模拟 Web-scale 的检索难度。
   • Indexing：使用 Qwen3-Embedding-8B 对所有文档向量化，并构建 FAISS 本地索引。
3. Trajectory Generation（离线轨迹生成）： 依托该离线引擎，使用 GPT-OSS-120B 作为教师模型。为其配备三个浏览器工具：
   • search: 执行自然语言 Query 并返回 Top-K snippets。
   • open: 获取某个 URL 的完整页面内容（模拟人类点击网页）。
   • find: 在已打开的长页面内执行字符串精准匹配（模拟 Ctrl+F，是落地证据的核心）。
   通过拒绝采样（Rejection Sampling），过滤掉 Context 溢出或未能得出结论的尝试，最终筛选出 97K+ 条成功与失败的轨迹。

4. 方法论与技术实现

BubbleRAG 包含离线图构建步骤与在线检索生成的四个阶段：

4.1 离线数据构建与边缘强化 (Edge Enrichment)

与仅用关系名称连接实体的传统图不同，BubbleRAG 在提取三元组 (A, R, B) 时，会将包含该关联的原始文本块内容融合到边的属性中。这种做法使得“边”本身也具备极高的语义匹配能力，能够承接查询中大量以“关系谓词（如：authored by）”为主体的语义检索。

4.2 语义锚点分组 (Semantic Anchor Grouping)

旨在解决召回层的词汇异构映射。不仅抽取显式实体，还利用LLM推理出查询背后的隐式概念。随后将具有相同业务意图的候选锚点聚合为组 $\mathcal{S} = \{S_1, S_2, ..., S_m\}$ 并赋予权重 $w_i$（如：主语权重高，时间修饰权重低）。这一设计极大提高了图谱应对异构实体命名的鲁棒性（Schema Relaxation）。

4.3 候选证据图发现 (Bubble Expansion Heuristic)

将寻找最优连通子图建模为 OISR 问题，并通过自底向上的启发式搜索进行高效求解：

• 定义图节点转移的语义阻力成本：$\text{cost}(v) = 1 - \cos(z_q, z_v)$。
• 局部限制与各向异性膨胀： 在锚点的 $h$-hop 内截取局部子图；从锚点组出发，进行类似于 Dijkstra 的优先队列扩展（优先传播语义高度相关、阻力成本低的节点）。
• 碰撞检测： 当来自不同语义锚点组的扩展波前（Wavefronts）触碰（Bitmask合并重叠）时，记录为 Steiner Node，反向回溯提取候选证据图（CEG）。

4.4 CEG 复合排序 (CEG Ranking)

该过程独立于图搜索，基于“语义纯度”和“结构完整性”对 CEG 进行评估： $$\text{Score}(T) = \frac{1}{\text{Cost}_{\text{sem}}(T) \cdot \text{Penalty}_{\text{miss}}(T) + \epsilon}$$ 其中 $\text{Penalty}_{\text{miss}}(T) = e^{\alpha \cdot r_{\text{miss}}}$ 为缺失高权重锚点组时的结构惩罚。该指标动态容忍了低权限制的丢失，并在遇到 AND / OR 逻辑分叉时，通过调整常数 $\alpha$ 可以做到自然兼容。

4.5 推理感知拓展与生成 (Reasoning-Aware Expansion)

针对答案实体恰好在推理骨架之外1到2跳距离的情况（比如骨架找到了电影，但问题问的是该电影的演员），使用 LLM 对 Top-K 的 CEG 边界实施目标明确的拓展探测。最终合并提取的子图及相关原始文本，组装入Prompt由LLM执行生成。

⚙️ 方法论与技术实现

REVERE 将研究代码复现形式化为一个测试时提示词自适应问题。其行为由三个可编辑的上下文段落 $\mathcal{F} = \{\mathcal{F}_s, \mathcal{F}_x, \mathcal{F}_c\}$ 参数化，目标是在不修改模型权重的情况下最大化目标函数：

$\mathcal{F}^* = \arg \max_{\mathcal{F}} \mathbb{E}_{(x,o)\sim\mathcal{T}} [\mu(\Phi(x; \mathcal{F}), o)]$

1. 全局训练上下文 (Global Training Context)

为了摆脱局部最优，REVERE 为 Reflector 提供了超越单一批次反馈的三大信号：

• 累积速查表 (Cumulative CheatSheet, $\mathcal{F}_c$)：一个持久化的自然语言记忆库，以短小精悍的启发式规则和提醒（而非冗长的轨迹）的形式累积领域特定策略。Agent在任务执行时直接读取。
• 反思历史 (Reflection History, $\mathcal{H}$)：记录过去适应步骤的基本原理和结果。它使得 Reflector 在决定下一次更新时，能看到之前的修改意图，防止因噪声反馈引起策略的“反复横跳”。
• 辅助上下文 (Auxiliary Context, $\lambda$)：抽取少量未见过的任务或打乱的历史任务描述。通过向 Reflector 暴露当前批次之外的任务，强迫它做出的更新必须具有跨任务的普适性。

2. 基于代码的外科手术式字段更新 (Code-based Field Update)

这是防止“语义漂移”的核心技术。相比于多智能体对话重写 Prompt 的模糊性，REVERE 受到 CodeAct 启发，让 Reflector 输出一小段 Python 程序 $p$ 来修改字段 $f \in \mathcal{F}$。例如：

这套机制在一个具有静态安全过滤层 (Safety Filter) 的隔离沙箱中运行，屏蔽文件I/O等越界操作。其优势在于：(1) 修改目标极具针对性；(2) 增删改的表达能力无限制；(3) 确保原有已验证有效的 Prompt 结构被绝对保留。