AIVV: Neuro-Symbolic LLM Agent-Integrated Verification and Validation for Trustworthy Autonomous Systems
AIVV：面向可信自主系统的神经符号LLM智能体集成验证与确认
作者：Jiyong Kwon, Ujin Jeon, Sooji Lee, Guang Lin
机构：普渡大学（Purdue University）
🔍 研究背景与痛点 (Background & Challenges)
在关键任务领域（如无人水下航行器 UUV、工业控制系统），自动化异常检测面临着巨大挑战。当前的痛点主要集中在以下几个维度：
- 纯深度学习模型的“语义盲区”： 基于 RNN/Transformer 和不确定性量化（UQ）的数学模型（如 MC Dropout LSTM）在检测极端故障时效率极高，但它们缺乏对物理控制系统的上下文理解。它们无法区分真正的系统级故障（Genuine Faults）和由环境噪声/正常动态机动引起的滋扰性故障（Nuisance Faults/瞬态响应）。
- HITL（Human-in-the-Loop）的不可扩展性： 为了过滤这些“假阳性”警报，工业界严重依赖人类工程师的回路验证（V&V）。但在高频遥测数据流下，人类专家的响应延迟极高，导致工作流不可持续。
- 大模型（LLM）直接部署的风险： LLM 具备强大的零样本推理能力，但存在幻觉（Hallucination）且缺乏确定性的数学严谨性。如果直接将 LLM MAS（多智能体系统）放入连续时间推理的控制闭环中，其 API 延迟和不稳定性将引发灾难性后果。
💡 核心贡献 (Core Contributions)
本文提出了一种双层混合神经符号架构 AIVV（Agent-Integrated Verification and Validation），旨在安全地将 LLM 引入自动化 V&V 流程，替代传统 HITL：
- 基于角色的 LLM 智能体自动化 V&V： 构建了一个 LLM Council（委员会），通过多智能体协作、自然语言（NL）操作公差比对以及多数投票机制，消除控制系统的假阳性警报。
- 神经符号门控机制（Neuro-Symbolic Gating）： 将 MC Dropout LSTM 与共形预测（Conformal Prediction）结合，作为 LLM 的“硬性数学前线”。只有在数学边界被突破时，才将上下文升级给 LLM 委员会，兼顾了数学严谨性与推理效率。
- 闭环自适应与工程伪像生成： AIVV 不仅能输出分类结果，还能将其转化为结构化的工程产物（如 PID 增益调整提案），并通过“克隆-测试-晋升（Clone-and-Promote）”机制在沙盒中安全地进行在线微调（Fine-tuning）。
🛠 具体案例剖析 (Case Study: UUV PID Gain-Tuning)
为直观展示 AIVV 的系统级诊断与自恢复能力，论文展示了其在 REMUS 100 UUV 控制系统 上的 JSON 交互执行链路。当 UUV 遭遇真实的机械故障（如阻尼器失效导致偏航角异常）时，多智能体系统的运作如下：
// 1. Requirements Engineer 判定违反操作限制
"vote": "FAIL",
"reasoning": "Error magnitude (77.00) exceeds max allowable error..."
// 2. Failure Manager 判定故障响应未收敛
"vote": "FAIL",
"reasoning": "Response is DIVERGING, oscillation_count=0..."
// 3. System Engineer 综合判定并输出增益调整提案（Gain-Tuning Proposal）
"vote": "FAIL",
"tuning_proposal": {
"Kp": 0.7, // 比例增益提高以减少误差
"Ti": 15.0, // 积分时间降低以抑制振荡
"Td": 1.2,
"Reference_Max_Velocity": 9.0
},
"tuning_reasoning": "Since both failure manager and requirements engineer voted FAIL, adjusted parameters are proposed. Increased Kp to 0.7 to reduce error, decreased Ti to 15.0 to reduce oscillations."
"vote": "FAIL",
"reasoning": "Error magnitude (77.00) exceeds max allowable error..."
// 2. Failure Manager 判定故障响应未收敛
"vote": "FAIL",
"reasoning": "Response is DIVERGING, oscillation_count=0..."
// 3. System Engineer 综合判定并输出增益调整提案（Gain-Tuning Proposal）
"vote": "FAIL",
"tuning_proposal": {
"Kp": 0.7, // 比例增益提高以减少误差
"Ti": 15.0, // 积分时间降低以抑制振荡
"Td": 1.2,
"Reference_Max_Velocity": 9.0
},
"tuning_reasoning": "Since both failure manager and requirements engineer voted FAIL, adjusted parameters are proposed. Increased Kp to 0.7 to reduce error, decreased Ti to 15.0 to reduce oscillations."
结果验证： 仿真系统直接采纳该 tuning_proposal 更新底层 PID 参数后，原本发散的偏航角（Yaw angle）被成功稳定，证明了 LLM 不仅能做“判断题”，还能基于系统动力学给出“操作级代码/参数”。
⚙️ 方法论与技术实现 (Methodology)
AIVV 架构采用 System-1（快速直觉数学引擎） + System-2（慢速逻辑 LLM 委员会） 的设计模式。
1. 数学引擎层（Mathematical Engine Layer）
使用带有 MC Dropout 的 LSTM（$f_\theta$）对输入序列 $x_t$ 进行随机前向传播，输出预测均值 $\hat{y}_t$ 和认知不确定性 $\sigma_t$。结合共形预测（Conformal Prediction），在校准集上计算出严格满足用户定义置信度（如 $1-\alpha=95\%$）的动态边界 $C_\alpha$。
2. 多智能体管道（MAS Pipeline）的三阶段执行
- Phase 1: 确定性共形门控（The Sentry）
计算绝对残差 $e_t = |\hat{y}_t - y_t|$。门控逻辑极其轻量：$d_t = \text{FAIL, if } e_t > C_\alpha \text{ else PASS}$。只有当 $d_t$ 为 FAIL 时，才调用 LLM 接口，大幅节省 Token 成本并降低延迟。 - Phase 2: 审议仲裁委员会（The Council）
一旦被 Sentry 拦截，时序数据的上下文将发送给 3 个独立且异构的 LLM Agents，实行 三分之二多数决（2-of-3 majority rule）：- Requirements Engineer (LLaMA-4-17B): 根据 NL 操作手册，检查正常模式下的规则合规性。
- Failure Manager (GPT-OSS-120B): 评估系统的故障恢复/收敛状态（FMEA）。
- System Engineer (LLaMA-3.3-70B): 结合数学不确定性与动态控制逻辑，分辨“环境噪声造成的假阳性”还是“真故障”，并在确认故障时提供系统级反馈。
- Phase 3: 自适应微调管道（Inspector & Tuner）
如果委员会判定这是一个 滋扰性故障（PASS，假阳性），触发自适应更新。Inspector (Qwen3-32B) 根据委员会的推理 JSON，决定是调整共形置信度门限（RECALIBRATE）还是微调 LSTM 网络（FINE_TUNE）。Tuner (GPT-OSS-20B) 克隆一个数学模型副本执行这些建议，Sentry 重新验证该副本，只有解决假阳性后，副本才会晋升为主模型。
📊 实验设置与结论分析 (Experiments & Results)
实验在一个 REMUS 100 UUV Simulink 模型上展开，注入了传感器漂移、非高斯噪声以及机械/电气故障。数据集包括：悬停（Hovering）、割草机模式建图（Lawnmower）、复杂任务（Complex Mission）。
- 故障验证率（Failure Validation Rate, FVR）： 在极端复杂的动态机动下（Baseline 纯数学模型误报率极高，FVR 跌至 0%），引入 LLM 委员会后 FVR 飙升至 73.33%-98.67%；引入完整的微调管道后，最终 FVR 达到 100% (Hovering), 89.33% (Lawnmower), 93.33% (Complex)。
- LLM 角色特异性模型对齐（Role-Specific Model Alignment）： 这是一个极为关键的工程发现。作者测试了模型分配的“轮换”，发现并不是“模型越大越好”。
- Req Engineer 适合小规模的高指令微调模型（如 LLaMA-4-17B），因为它只做严格的数值/规则对比（低延迟）。
- Failure Manager 极度依赖序列逻辑推理（判断振荡序列），必须使用 GPT-OSS 架构。分配其他模型会直接导致逻辑崩溃。
- System Engineer 需要深度领域综合与复杂 JSON 生成，只有 70B+ 的重参数模型（LLaMA-3.3-70B）能够承载其认知负载，较小的模型会频繁输出损坏的 JSON。
- 延迟与效率： 由于第一层数学门控的存在，仅有 ~5%（常规任务）至 ~50%（复杂任务）的样本调用了 LLM 委员会，将平均端到端延迟控制在单样本最高 6.0 秒左右，兼顾了成本与推理可行性。
🌟 关键技术亮点分析 (Takeaways for LLM Practitioners)
对于 LLM 架构师和 Agentic AI 开发者而言，AIVV 提供了三个绝佳的系统设计范式：
- “物理学挂载”的神经符号系统： 解决 LLM 幻觉的最佳方式不是让 LLM 学习物理公式，而是用严格的数学边界（Conformal Prediction）将 LLM “圈养”起来。LLM 仅在统计模型“表示不懂（认知不确定性极高/越界）”时才被唤醒进行语义降维打击。
- Cognitive Load Balancing（多智能体认知负载均衡）： 在 MAS 设计中，摒弃了“全部使用 GPT-4”的做法。通过任务解耦，让擅长死记硬背小模型做 Requirement 校验，擅长数学序列推理的 GPT 做 Failure 追踪，擅长整合的 70B 开源模型做大闭环 Tuning。这种 Heterogeneous MAS（异构多智能体） 设计是企业级落地的必由之路。
- 安全的 Clone-and-Promote 执行机制： LLM 在闭环控制（Cyber-Physical Systems）中直接修改参数是极为危险的。本文通过沙盒克隆数学引擎，让 LLM 充当“教练”去 Tuning，只有在原有数据集上通过验证后才替换线上主节点，完美地规避了灾难性遗忘与自动驾驶系统崩溃的风险。