📡 每日 LLM Agent 论文速递

计算精神病学长期面临一个根本性的权衡困境：传统 RL 模型虽然可解释性强，但行为真实性不足；LLM Agent 能够生成逼真行为，却缺乏结构性可解释性。BioLLMAgent 通过引入一套新颖的混合框架，首次将经过验证的认知模型与 LLM 的生成能力深度融合，在爱荷华赌博任务（IGT）的六个临床与健康数据集上，准确再现了人类行为模式，参数可识别性相关性达 0.67 以上。框架还成功模拟了认知行为疗法（CBT）原则，并通过多智能体动态揭示了社区层面教育干预可能优于个体治疗的重要发现，为精神病学假设检验提供了可计算的"沙盒"平台。

框架以经典 RL 认知模型（如 Prospect Valence Learning）为内核，构建内部 RL 引擎，负责跨试验的价值更新与期望估计。外层 LLM Shell 则读取当前任务状态、内核的价值估计及历史交互，生成高层次的认知策略（如风险规避/寻求倾向调整），并输出治疗性话语。决策融合机制通过加权效用函数将 RL 的数值化价值信号与 LLM 的语言推理输出动态整合为最终行为选择。在多智能体实验中，多个 BioLLMAgent 实例构成虚拟社区，通过模拟相互影响的干预传播过程来评估群体级治疗效果。

基于 LLM 的 Agent 依赖有效的工具调用策略来解决复杂任务，但由于长程轨迹中的延迟监督与信用分配困难，策略优化极具挑战。现有方法要么采用整体优化方式（容易纠缠行为），要么仅优化单一方面（忽视跨模块的错误传播）。EvoTool 提出一套无梯度进化范式，将 Agent 的工具调用策略分解为规划器（Planner）、选择器（Selector）、调用器（Caller）和综合器（Synthesizer）四大模块，通过三项创新机制迭代优化：轨迹归因定位错误模块、自然语言反馈驱动精准突变、多样性感知种群选择保留互补候选方案。在四个基准上，EvoTool 在 GPT-4.1 和 Qwen3-8B 上均超过强基线 5 分以上，同时表现出更优的效率和可迁移性。

EvoTool 采用进化算法框架（无需梯度）：首先执行完整任务轨迹，收集工具调用序列；随后通过轨迹分析模型（另一 LLM）进行归因，输出针对各模块的自然语言错误报告；目标模块随即接收此报告作为突变指令，生成新版本策略（即"子代"）；最后从当前种群中依据多样性度量（语义去重+性能排名）筛选保留最优子集，进入下一轮迭代。该循环在无监督奖励信号下通过内部自评估驱动持续演进。

顺序式 LLM Agent 在面对具有预算、多样性等硬约束的长程规划任务时往往失效——随着规划深度增加，上下文膨胀导致 Agent 逐渐偏离全局约束。HiMAP-Travel 提出层次多智能体框架，将规划拆分为战略协调与并行天级执行两层。协调者（Coordinator）跨天分配资源，各天执行器（Day Executor）独立并行规划。三项关键机制保障方案质量：跨并行 Agent 执行预算与唯一性约束的事务监控器；允许 Agent 拒绝不可行子目标并触发重规划的协商协议；以及驱动所有 Agent 的单一 GRPO 训练策略（通过角色条件化区分行为）。在 TravelPlanner 上，HiMAP-Travel + Qwen3-8B 达到 52.78%（验证集）/ 52.65%（测试集）的最终通过率，较顺序基线 DeepTravel 提升 +8.67 pp，同时通过并行化将延迟降低 2.5 倍。

系统在推理阶段的执行流程为：Coordinator 首先分析整体旅行需求，基于预算约束和多样性要求制定跨天的资源分配方案；随后启动 N 个 Day Executor 实例并行工作，每个实例仅关注分配给自己的预算与约束片段；事务监控器作为共享的全局状态管理器，在每次 Executor 提交方案时验证全局约束是否满足；若某 Executor 遇到不可行子目标，通过协商协议通知 Coordinator 重新规划。训练阶段采用 GRPO（Group Relative Policy Optimization）对所有角色的行为进行统一优化，奖励信号来自最终规划方案的约束满足率与多样性指标。

基于 LLM 的 Agent 越来越依赖长期记忆支撑多会话推理，但现有系统对"哪些信息应被保留"缺乏有效控制：要么无差别积累大量对话内容（包括幻觉和过时事实），要么依赖不透明的 LLM 驱动记忆策略（成本高昂且难以审计）。A-MAC 将记忆准入建模为结构化决策问题，将记忆价值分解为五个互补可解释因子：未来效用、事实置信度、语义新颖性、时间近期性和内容类型先验。在 LoCoMo 基准上，A-MAC 将 F1 提升至 0.583，同时较最先进的 LLM 原生记忆系统降低延迟 31%。消融实验揭示内容类型先验是最重要的准入决策因子。

A-MAC 的工作流程分为特征提取、价值评估与准入决策三阶段。特征提取阶段采用轻量级规则模块，从对话片段中快速计算五个因子的数值化特征（如语义相似度计算新颖性、时间戳计算近期性、分类器计算内容类型）。价值评估阶段仅对特征置信度低的候选片段调用一次 LLM 进行效用判断，其余片段完全依赖规则打分。准入决策阶段将五维特征输入一个经交叉验证优化的轻量分类器，输出"保留/丢弃"决策。整套流程以透明可审计的方式替代了传统的黑盒 LLM 记忆策略。

LLM Agent 在长程任务中根本上受限于有限的上下文窗口：随着轨迹增长，保留工具输出和中间推理变得不可行——工作上下文过长、超出预算，且即使信息仍存在，远处的证据也难以有效利用。现有解决方案（截断或滚动摘要）本质上是有损压缩，因为它们会丢弃过去的证据本身。Memex 引入索引经验记忆机制，在不丢弃证据的前提下压缩上下文：维护由简洁结构化摘要和稳定索引构成的紧凑工作上下文，同时将完整交互存储于外部经验数据库。Agent 可按需解引用索引、恢复精确的历史证据。MemexRL 通过奖励塑形优化写与读行为，使 Agent 学会何时摘要、何时归档、如何索引以及何时检索。

Memex 系统由三部分组成：工作上下文层（包含结构化摘要和指向外部数据库的稳定索引）、外部经验数据库（存储完整历史交互的键值对）、解引用操作（Agent 决定检索某个索引时触发，返回完整原始内容）。训练阶段，MemexRL 为正确使用索引记忆的行为（合理归档、准确检索、高效压缩）设计奖励信号，并通过 RL 训练使 Agent 内化这些记忆使用策略。理论上，论文将 Memex 循环建模为受限马尔可夫决策过程，在预算约束下证明其决策质量界。

LLM Agent 在已学习任务上表现卓越，但在需要反馈适应的非平稳环境中往往力不从心。上下文学习和外部记忆虽提供了一定灵活性，却无法将适应性内化为长期能力。元强化学习（Meta-RL）通过将学习过程直接嵌入模型来提供替代方案，但现有 Meta-RL 方法主要关注单智能体的探索，忽视了多智能体环境中必要的策略性利用。MAGE 提出元强化学习框架，赋予 LLM Agent 在探索与利用间动态平衡的能力，通过多回合训练机制将交互历史与反思融入上下文窗口，以最终回合奖励为目标激励 Agent 基于过去经验精炼策略，并结合种群训练与 Agent 特定优势归一化增强多样性与学习稳定性。

MAGE 在训练阶段将多个游戏回合（Episode）串联为一个"超级回合"（Meta-Episode），Agent 的上下文窗口包含所有历史回合的完整交互记录与由 LLM 生成的反思摘要。优化目标设为最终回合的累积奖励，这迫使 Agent 在前期回合主动探索（即使短期收益较低），以积累信息用于后期回合的策略改进。种群训练通过维护多个具有不同行为风格的 Agent 副本，配合 Agent 特定优势归一化，确保种群多样性并防止所有 Agent 收敛至同一策略。最终测试通过与未见对手的对局来评估元学习泛化能力。

工具增强型 LLM Agent 有望统一科学推理与计算能力，但在药物发现等高风险领域的部署受到两大瓶颈制约：无约束的工具使用治理不足，以及长程任务可靠性差。在依赖链复杂的制药流水线中，自主 Agent 常常偏离可重现轨迹，早期幻觉的乘法效应导致下游大规模失败。Mozi 提出双层架构，以"安全任务自由推理，长程流水线结构化执行"为设计原则，通过角色隔离、执行约束、反思性重规划以及人机协作检查点，将 LLM 从脆弱的对话者转变为可靠、受治理的共同科学家。在 PharmaBench 生物医学 Agent 基准上，Mozi 的编排准确性超越现有基线。

Mozi 的控制层维护一个监督者 LLM Agent，负责任务分解、子任务分配和全局状态追踪；各工作者 Agent 被限定在预定义的工具集和动作空间内执行，无法访问超出其角色权限的工具，从而防止跨模块的幻觉传播。工作流层将药物发现的标准流程（靶点识别、苗头化合物发现、ADMET 优化、先导化合物优化等）编码为有状态的 DAG（有向无环图）技能图谱，每个节点对应一个专门化工具调用序列，节点间的数据传递经过严格的 Schema 验证。HITL 检查点由预设的置信度阈值或任务类型标签触发，确保人类专家在关键时刻参与决策。

LLM Agent 在高风险场景中的应用日益广泛，但当前基准测试主要评估任务"是否完成"，而非"如何完成"。研究者提出流程感知评测框架（PAE），将 Agent 执行流程形式化为结构化观测，揭示 Agent 在观测、通信与执行之间的一致性关系。PAE 从四个互补维度评估 Agent（效用、效率、交互质量、流程完整性），并应用多维门控彻底排除"腐化成功"结果。令人震惊的发现是：在 tau-bench 基准上，最先进 LLM Agent 报告的成功案例中有 27%–78% 是"腐化成功"（表面完成实则违规），且不同模型呈现出截然不同的失败特征：GPT-5 错误分布在策略、执行和意图三个维度；Kimi-K2-Thinking 78% 的违规集中在策略忠实性；Mistral-Large-3 主导性失败为忠实性问题。

PAE 框架的核心是将 Agent 执行轨迹解构为结构化观测三元组（<观测内容, 通信内容, 执行动作>），通过一致性规则检查三者之间是否存在矛盾（如 Agent 观测到 X 却报告 Y，或报告 Y 却执行 Z）。基于此，PAE 沿四个轴计算得分并应用门控逻辑：若任一轴的腐化标志被触发，整个案例即被标记为腐化成功并从通过率统计中排除。失败模式分析通过对腐化案例按维度聚类，生成每个模型的"失败指纹"，量化各维度违规的比例分布。基准结构性缺陷分析则通过对比 PAE 门控前后的模型排名变化来识别排名不稳定性来源。