大模型 Agent 与强化学习 (RL) 深度学术解读报告

方法论与技术实现

GraphBit 将节点拆成 Agent Node、Tool Node 和 Control Node。Agent Node 专注于语义推理；Tool Node 做确定性外部操作；Control Node 负责条件判断、并行 fan-out / fan-in 与错误恢复。其核心思想是：让 LLM 只输出业务语义，让系统代码负责流程语义。

如果记全局状态为 $s$，某个控制节点的转移可以表示为 $n_{t+1} = f(s_t)$；而 agent 只做 $y_t = g_\theta(x_t, s_t)$。这本质上把“决策函数”和“生成函数”拆成两层，提高系统可验证性。

方法论与技术实现

认知功能轴包括 Context Engineering、Memory、Reasoning、Action、Reflection、Collaboration、Governance；执行拓扑轴包括 Chain、Route、Parallel、Orchestrate、Loop、Hierarchy。论文实际上是在给 Agent 领域建立一套“AI Native 的 GoF 设计语言”。

例如一个模式可记作 $(C_i, T_j)$。其中 $C_i$ 表示 agent 在解决“什么问题”，$T_j$ 表示系统以什么控制结构运行。这种分解的价值在于，同一拓扑可以承载不同功能，同一功能也可以映射到不同拓扑。

方法论与技术实现

作者使用公开对话与内部独白双通道数据估计病理指标，核心定义可写为：

$$DI = z(\mathrm{mono\_ratio}) + z(\mathrm{protective\_hits}) - z(\mathrm{sexual\_hits})$$

$$CPI = z(\mathrm{mono\_ratio}) + z(\mathrm{sexual\_hits}) - z(\mathrm{protective\_hits})$$

虽然这里的指标构造带有研究者选择性，但它提供了一个重要范式：多 Agent 安全不能只看最终回复，还要看 system telemetry 和内部交互结构。

方法论与技术实现

PREPING 的流程可以抽象成三步：proposer 生成任务，solver 在真实环境中执行，validator 评估任务和轨迹是否可行。若记 proposer 为 $A_{prop}$、solver 为 $A_{sol}$、validator 为 $A_{val}$，则：

$$x_t \sim A_{prop}(M_{prop}^{(t)}, \mathcal{D})$$

$$\tau_t \sim A_{sol}(x_t, M_{sol}^{(t)}, E)$$

只有当 validator 认为轨迹可行时，solver memory 才更新；而 proposer memory 会吸收成功与失败两种反馈，用于调控下轮合成任务分布。

方法论与技术实现

Supervisor 维护全局目标和 to-do list，Searcher 负责检索与网页阅读，Archive 保存关键证据切片，Coder 最终把结果组织成可评测 JSON。FactNet 则对输出事实逐条验证，若某事实虽不在原始 ground truth 中，但能被底层证据支持，就动态扩充 ground truth。

若把事实空间看作隐式图 $G=(V,E)$，则 agent 的目标是在预算约束下最大化对未知节点的召回。这比传统 QA 更接近真实 research agent 的工作模式。