⚙️ 方法论与技术实现

ST-CR（基于锥体细化的序贯交易算法）将多物品交易转化为在连续状态空间 $\mathbb{R}^n_{\geq 0}$ 中的优化过程。其核心思想是利用一阶泰勒展开和贪婪理性假设（Greedy Rationality）。

1. 反馈到梯度的映射机制

设出价方为 $A$，响应方为 $B$。交易向量为 $T \in \mathbb{R}^n$。根据一阶泰勒近似，交易对 $B$ 的效用变化为： $$ f^B(S_B - T) - f^B(S_B) \approx \langle -T, \nabla f^B(S_B) \rangle $$ 如果 $B$ 拒绝（Reject）了出价 $T$，基于贪婪理性假设，说明该交易对 $B$ 无益： $$ \langle -T, \nabla f^B(S_B) \rangle < 0 \implies \langle T, \nabla f^B(S_B) \rangle > 0 $$ 这意味着，每一个被拒绝的 $T$ 都隐式地提供了一个关于 $\nabla f^B(S_B)$ 所在方向的半空间约束（Halfspace constraint）。真实梯度必须位于与 $T$ 成锐角的一侧。

2. 锥体细化算法 (Cone Refinement)

ST-CR 使用一个以向量 $\tau$ 为中心、半顶角为 $\theta$ 的正圆锥 $C(\tau, \theta) = \{x \in \mathbb{R}^n | \angle(x, \tau) \leq \theta\}$ 来表示对手 $B$ 可能的梯度方向集合。

1. 生成正交探测（Probing）：算法在 $\mathbb{R}^n$ 空间内生成 $n-1$ 个相互正交、且与当前锥体中心 $\tau$ 正交的交易向量 $T_i$。同时保证这些出价对自身（Agent A）是有利的，即 $\langle T_i, \nabla f^A(S_A) \rangle \ge 0$。
2. 切割锥体：如果对手拒绝了这 $n-1$ 个报价，算法会收集这 $n-1$ 个半空间约束，将其与当前锥体求交集，切除掉无效的梯度方向区间。
3. 重构更小的锥体：基于切割后的可行域，算法计算出一个新的中心方向 $\tau'$ 和一个更小的顶角 $\theta'$。为了处理因为二点比较（而非严格的三点线搜索）可能带来的符号推断错误，算法采用了一种稳健的角度更新公式（Theorem 1证明其可安全包裹所有潜在梯度）： $$ \theta' \leftarrow \sin^{-1}\left(\sin(\theta)\sqrt{1 - 1/2n}\right) $$

3. 近似帕累托最优保证 (Theoretical Guarantee)

算法持续缩小锥体。如果在收缩到极小阈值后，依然找不到被双方接受的交易，定理1证明了此时系统已处于 $\epsilon$-弱帕累托最优状态。因为此时：
要么 (Case 1) 双方的效用梯度几乎处于完全平行的方向（利益冲突极大化，没有正交的双赢空间）；
要么 (Case 2) 响应方的状态已经极度接近其自身的全局最优点（梯度模长 $\|\nabla f^B\| \approx 0$），任何交易带来的收益都被平滑常数 $\beta$ 限制在一个微小的极值 $\epsilon$ 内。

⚙️ 方法论与技术实现 (Methodology)

寻找最优离散数据子集 $\mathcal{X}^*$ 本质上是一个极高维度的离散组合优化难题。DUET 通过理论推导，将原问题重参数化 (Reparameterization) 为一个优雅的双层优化问题：外层搜索连续的单纯形比例空间（各Domain配比），内层在固定比例下寻找最优子集。

1. 内层优化 (Local Problem): IF-driven Estimator

在给定外层提议的混合比例 $r$ 后，如果直接做均匀随机采样 (Uniform Random Sampling)，由于高质量数据密度低，评估的方差极大。DUET 引入了 IF-driven estimator。针对每一个 Domain 的数据集 $\mathcal{D}_i$，预先训练一个 Domain LLM 并计算每条数据的 Influence Function (IF) 分数：

$IF_{z, z_{test}} = - \nabla_{\theta}\mathcal{L}(z_{test}, \theta)^T H_{\theta}^{-1} \nabla_{\theta}\mathcal{L}(z, \theta)$

在采样时，根据 IF 分数进行加权采样。论文通过定理 3.2 证明，采样的下游任务 Loss 估计值服从截断指数分布 (Truncated Exponential Distribution)。这种带导向的采样大大缩小了对内层最优解的估计偏差和方差。

2. 外层优化 (Global Problem): Bayesian Optimization

因为内层评估给出的依然是带有噪声的反馈，且评估过程 $\mathcal{L}_{eval}(\theta_\mathcal{X})$ 并没有解析表达，这完美契合了贝叶斯优化的应用场景。DUET 将目标定义为 $\min_{r} f(r)$（约束 $\Vert r \Vert_1 = 1$），利用高斯过程 (Gaussian Process, GP) 对目标函数建模。每轮迭代 $t$，通过最小化置信下界 (Lower Confidence Bound, LCB) 来平衡探索与利用 (Exploration vs. Exploitation)：

$r_{t+1} = \arg\min_r \mu_t(r) - \beta_{t+1}\sigma_t(r)$

BO 框架天然具备对观测噪声的容忍能力，成功把内层 Data Selection 残留的方差“吸收”到后验更新中。理论分析（定理 4.1）证明了 DUET 在 $T$ 轮迭代后其 Average Cumulative Regret 具备 $O(\frac{1}{\sqrt{T}})$ 级别的收敛上界。

🛠️ 方法论与技术实现

Progent 的架构在设计上巧妙地分离了“基于 LLM 的非确定性意图推断”与“基于符号化策略的确定性执行”。具体分为三个核心模块：

1. 符号化安全策略与运行时执行 (Policy Runtime)

Progent 采用类似 JSON Schema 的方式定义策略集合 $P$。每条规则针对特定的工具 $t$，包含：

• Effect： allow 或 forbid。
• Conditions： 针对参数的布尔表达式 $e_i$，支持正则匹配、数值比较、数组成员检查等细粒度约束。
• Fallback： 拦截后的替代动作，默认向 Agent 返回一段包含失败原因的自然语言，以引导其继续完成原始任务（避免 Agent 直接崩溃）。

在运行时，给定策略 $P$ 和具体的调用 $c := t(\overline{v}_i)$，Progent 会按优先级（forbid 优先于 allow）计算参数是否满足条件。这一步完全不涉及 LLM，是 $O(1)$ 或 $O(N)$ 复杂度的确定性计算。

2. 基于 SMT 的策略比较 (Policy Comparison)

为了判断新策略 $P'$ 相对旧策略 $P$ 是收缩还是扩展，Progent 将策略转化为可满足性模理论（SMT）公式。令 $A(P)$ 为策略 $P$ 允许的所有 Tool calls 的集合，判断“收缩”即证明 $A(P') \subseteq A(P)$。

转化为逻辑公式，需验证对所有可能的工具和参数，如果 $P'$ 允许，则 $P$ 必然允许：

$$ \forall \overline{v}_i . \Phi_{P'_t}(\overline{v}_i) \Rightarrow \Phi_{P_t}(\overline{v}_i) $$

其中 $\Phi_{P_t}$ 是基于规则集生成的布尔表达式。Progent 使用 Z3 求解器在毫秒级自动完成该形式化验证。

3. 动态 Agent 执行与单调限制 (Dynamic Execution & Monotonic Confinement)

为适应动态上下文，Progent 允许在 Agent 执行的每一步（获取到新 Tool return 时）生成候选策略 $P'$。这一步由一个独立的 LLM Updater 完成。

核心安全闭环在于：即便 LLM Updater 受到了环境中恶意数据的污染（例如被诱导生成了允许敏感 API 的规则），生成的 $P'$ 必须经过 SMT 检查。

• 如果 $A(P') \subseteq A(P)$（策略收缩，例如将通配符改为特定 ID）：系统自动静默应用更新。
• 如果 $A(P') \not\subseteq A(P)$（策略扩展，例如请求新工具）：操作被挂起，交由 Approver 模块（可配置为自动拒绝、按规则放行或人工审批）。

这就在数学上保证了 Monotonic Confinement（单调限制）：在没有任何显式批准的情况下，Agent 的可用动作空间是单调递减的序列：$A(P^{(0)}) \supseteq A(P^{(1)}) \supseteq A(P^{(2)}) \supseteq ...$，彻底锁死了攻击者利用非确定性进行隐蔽越权的可能性。

方法论与技术实现

针对传统“休眠神经元（Dormant Neuron）”仅依据前向激活值为零来判定的不完善之处，论文提出了双向评价指标。因为一个前向输出为零的神经元，只要其回传梯度不为零，它仍能参与学习过程并提供表征能力。

1. 沉默神经元 (Silent Neuron) 的严格定义
结合前向输出 $h_{l,i}(\mathbf{x})$ 和独立于具体 Loss 的后向梯度 $g_{l,i}(\mathbf{x}) = \frac{\partial}{\partial h_{l,i}} \sum_n f_w(\mathbf{x}_n)$，定义了神经元活跃度指数 $\xi_{l,i}$： $$ \xi_{l,i} = \frac{\mathbb{E}_{x\in D}|h_{l,i}(\mathbf{x})| + \mathbb{E}_{x\in D}|g_{l,i}(\mathbf{x})|}{\frac{1}{H_l} \sum_{j\in h} (\mathbb{E}_{x\in D}|h_{l,j}(\mathbf{x})|)} $$ 当 $\xi_{l,i}$ 小于极小阈值 $\epsilon$ 时，即判定该神经元为真正的“沉默神经元”。使用 Loss-independent 梯度的好处在于，它直接评估网络对输入的绝对敏感性，避免了特定任务优化目标（Loss）造成的梯度掩蔽效应。

2. 沉默子空间投影与扰动重置 (ReSiN)
对于被识别为沉默神经元的参数，直接进行参数重新初始化等同于在特定坐标子空间添加随机扰动。设 $\Pi_t$ 为第 $t$ 步时沉默神经元对应参数集的正交投影矩阵（可看作二进制 Mask），则 ReSiN-PPO 的更新法则变为： $$ \mathbf{w}_{t+1} = \mathbf{w}_t - \eta \nabla L_t(\mathbf{w}_t) + \eta\gamma\Pi_t\epsilon_t, \quad \epsilon_t \sim \mathcal{N}(0, I_d) $$ 通过将噪声注入严格限制在沉默神经元所在的子空间 $\Pi_t\epsilon_t$，ReSiN 既激活了死亡神经元以扩张可探索的解空间，又完好保留了活跃神经元已经学到的优秀表征（不造成破坏性遗忘）。

3. 理论性能追踪误差上界
论文通过理论证明，带有子空间扰动的 PPO 更新（Theorem 3）产生的均方误差界限正比于沉默子空间的维度 $d_{s,t}$，而非传统 PA-MoE 中的全局参数维度 $d$。因为在实践中 $d_{s,t} \ll d$，这在理论上保证了 ReSiN 拥有更小、更紧的误差收敛上界。

⚙️ 方法论与技术实现 (Methodology & Architecture)

AF-Retriever 流水线通过算法 $\text{Algorithm 1}$ 进行模块化编排，包含8个核心步骤：

1. 目标类型预测 (Target Type Prediction): 使用小Prompt让LLM从知识库支持的节点类型中，判断查询的目标实体类型（如：商品、论文、蛋白质）。
2. Cypher查询提取 (Cypher Query Extraction): 将自然语言转化为图数据库的Cypher查询。论文发现无需特定的微调，当前强大的开源Base LLM配合Few-shot Prompt即可输出包含常量、变量与关系约束的准确语法。
3. 结构化解析 (Parsing with Regex): 放弃直接在图数据库中运行Cypher（因为图数据库不支持模糊向量匹配），而是通过正则表达式将Cypher解析为“三元组集合 $\mathbb{T}$”和“节点属性约束 $\mathbb{S}_{raw}$”。
4. 符号候选向量匹配 (Symbol Candidates Retrieval): 针对上一步提取的常量（如机构名、属性值），在受限集合 $l_{max}$ 内，利用 Embedding 的 Cosine 相似度进行初步的实体链接。
5. 图谱对焦链接 (Triplets Grounding): 利用提取的关系边，在知识图谱上进行多跳遍历。算法从 $l=1$ 开始，按指数递增扩展常量候选池大小（$l \leftarrow l^{1.5} + 0.5$），通过集合交集过滤掉不符合图谱拓扑结构的路径，直到找到至少 $k$ 个候选目标或达到 $l_{max}$。
6. 约束候选向量打分 (Graph-based VSS): 对上述图谱路径过滤后得到的候选集，使用向量模型进行相似度打分，选取 Top-$\alpha k$ 个。
7. 全局兜底向量检索 (Global VSS): 为防止图谱信息缺失或LLM提取Cypher出错，使用纯文本向量检索在全图谱目标类型节点中召回 Top-$(1-\alpha)k$ 个候选，实现“神经-符号”混合鲁棒性。通常 $\alpha=2/3$。
8. LLM 深度重排序 (LLM Reranking): 将图谱流与向量流召回的候选集合并，利用大模型庞大的上下文窗口和逻辑推理能力进行最终排序。文中详细对比了三种范式：
   • Pointwise: 给每个候选打分 (0.0~1.0)，调用 $k$ 次，复杂度 $O(k)$。
   • Pairwise: 利用二分插入排序思想，每次两两比较谁更符合 Query，需发请求，复杂度 $O(k \log k)$。准确率最高，但延迟极大。
   • Listwise: 将所有候选打包成一个长Prompt，要求LLM一次性输出排序后的ID列表，复杂度 $O(k)$。利用了现代LLM长上下文能力，性价比极高。