多智能体协同、贝叶斯优化与具身智能决策新进展

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖多智能体系统理论、提示词优化、多模态视觉推理、数据FAIR性评估、自动驾驶威胁情报、机器人模仿学习、最优传输理论与电网控制等前沿方向。

1. 多智能体系统何时有效？一种信息瓶颈视角

作者: Wendi Yu, Lianhao Zhou, Xiangjue Dong, Sai Sudarshan Barath, Declan Staunton et al. | 分类: cs.LG, cs.AI 链接: arxiv.org/abs/2607.16133v1

基于LLM的多智能体系统（MAS）已成为处理复杂任务的有前景范式。然而，其相较于单智能体系统（SAS）的优势仍不明确，在不同设置下性能波动较大。本文从信息瓶颈视角出发，阐明了MAS与SAS之间的本质差异。核心观察是：SAS将完整的推理轨迹累积在同一个共享上下文中，而MAS则使用由有界中继消息连接的隔离局部上下文。我们证明，在中继带宽无限的条件下，任何SAS都可以通过传输完整上游上下文的MAS来模拟。因此，MAS的非平凡优势出现在有界中继条件下——压缩引入了一个根本性的权衡：减少冗余上下文可以提升效率，但也可能导致任务相关信息丢失。我们将这一权衡形式化为由有效参数β控制的信息瓶颈问题，该参数刻画了随模型能力变化的平衡点，并表明MAS的优势出现在上下文缩减带来的收益超过中继信息损失时。我们在5个基准测试和3个模型规模上进行了18项受控实验来验证理论分析。观察发现，当中继接近充分时，MAS始终有效，尤其对较弱模型而言。相反，当中继造成信息损失时，MAS的增益会缩小甚至逆转，特别是对于已经能够从冗余上下文中提取有用信息的强模型而言——它们从压缩中获益甚微。研究表明，多智能体设计本质上是一个信息瓶颈优化问题，这一视角解释了有界智能体间通信何时有效或有害。

点评: 首次从信息瓶颈理论出发系统性地解释了多智能体系统的优势边界，为这一日益热门但缺乏理论指导的领域提供了重要框架。无论是MAS架构设计还是实际部署决策，本文都具有极强参考价值。

2. BayesPO：基于并行退火梯度引导离散MCMC的贝叶斯提示词优化

作者: Junjie Zhou, Zhijian Ou | 分类: cs.CL 链接: arxiv.org/abs/2607.16001v1

提示词优化无需更新模型参数即可适配大型语言模型（LLM），但目前许多自动提示词优化器仍然是候选指令上的启发式搜索过程。本文将提示词优化视为离散提示词令牌上的贝叶斯后验采样问题。我们定义了一个后验分布：结合任务似然项（奖励能够解释输入-输出示例的提示词）与语言模型先验（偏好流畅指令）。这将提示词优化转化为一个基于能量的后验采样问题，可以利用梯度引导词汇表上的离散马尔可夫链蒙特卡洛（MCMC）提议。我们将此框架称为BayesPO。论文中使用MCMC实现BayesPO：采用经Metropolis-Hastings校正的Gibbs-with-Langevin（GwL）提议，并集成并行退火以在崎岖的LLM能量景观中进行全局探索。具体采样器进一步将GwL适配至非权重共享LLM嵌入的实际约束。使用Qwen2.5模型的实验表明，该采样器能在诊断任务中发现语义上有意义的提示词；并行退火有助于在诗歌补全任务中逃离局部最优；在24个指令归纳子任务上对APE提示词进行后优化可将平均准确率从60.04%提升至63.23%。研究也揭示了两个主要局限：能量最小化可能导致过拟合小规模优化集，且当前采样器计算成本较高。这些发现将贝叶斯提示采样定位为一种有原则的后优化工具，为概率式提示词优化指明了有前景的方向。

点评: 将提示词优化从启发式搜索提升为有严格贝叶斯理论基础的采样问题。语言模型先验与梯度引导MCMC的结合思路新颖，虽计算效率有待改进，但方法论价值突出。

3. 主动观察者的考试

作者: Jiarui Zhang, Muzi Tao, Shangshang Wang, Ollie Liu, Xuezhe Ma et al. | 分类: cs.CV, cs.AI, cs.CL, cs.LG 链接: arxiv.org/abs/2607.16165v1

人类视觉是一个闭环系统：注视方向由中间假设持续引导，而非单一快照决定。数十年的心理物理学和认知科学研究表明，这种主动观察对广泛的任务至关重要。当前的多模态大语言模型（MLLM）是否具备主动观察能力是一个实证问题，而现有的视觉-语言基准无法回答。我们提出了ActiveVision基准，使MLLM的主动观察能力变得可测量，包含3类共17项任务。这些任务被设计为强制要求反复的视觉感知而非单一静态描述。前沿MLLM在ActiveVision上表现不佳：我们评估的最高分模型——GPT-5.5（最高推理努力层级）——仅解决了10.6%的问题，在17项任务中有11项得分为零；而Claude Fable 5虽然在大多数推理和编程排行榜上位居前列，也仅解决了3.5%，远低于三位人类参与者的平均96.1%。此外，即使模型编写并运行自己的视觉代码，差距仍然很大：这种代码在真实图像上不可靠，而捕获其失败本身就需要模型所缺乏的主动感知能力。这些结果表明，当前MLLM缺乏鲁棒的主动视觉观察能力，这呼吁能闭合感知-推理循环的新型架构和训练目标。

点评: 直击当前多模态大模型的致命短板——没有真正的主动视觉观察能力。17个任务，最高分仅10.6%，这组数据充分说明MLLM离人类感知智能还有多远。值得所有多模态研究者警醒与深思。

4. AgentFAIR：面向地理空间数据集FAIR性评估的多智能体协作框架

作者: Ming Chen, Pranav Pai | 分类: cs.AI, cs.ET, cs.MA 链接: arxiv.org/abs/2607.15781v1

地理空间数据集支撑着从城市规划到气候建模的众多应用，然而对FAIR合规性的持续评估十分困难。现有评估工具使用不同的评分标准和证据来源，且可能在JavaScript渲染页面或仓库特定标识符上失效。对来自10个仓库的50个数据集，各工具间归一化得分的标准差平均为15.0个百分点，最高达30.3。由于这些输出并非等价测量，我们利用它们来刻画差异性和失败模式，而非比较准确性。我们提出AgentFAIR，一个多智能体框架，将结构化元数据提取与13个子原则特定的LLM评估器相结合。每个评估器生成0-3分的成熟度评分、引证证据和建议；批评者检查证据一致并可在需要时请求针对性重评。平均可发现性、可访问性、互操作性和可重用性得分分别为79.7%、70.4%、45.3%和72.0%。与四种基线工具的秩相关系数在0.31至0.61之间；FAIR-enough比较无统计学显著性。在10个数据集的重复运行子集上，子原则一致性平均为89%（标准差3个百分点），而无批评者时为71%。初步的15数据集专家研究得出Fleiss’ kappa为0.71，与专家共识的一致性达82%。API成本约每数据集0.054美元。这些结果支持可审计性和可行性，但有限的基准、不完整的消融实验以及单一模型族的验证限制了关于准确性和泛化性的结论。

点评: 将多智能体协作与LLM评估器用于解决数据FAIR性评估这一实际痛点，批评者机制的设计提升了评估一致性。成本低廉、高一致性，虽然泛化性还有待验证，但实用价值明显。

5. 评估开源权重大语言模型生成自动驾驶车辆漏洞结构化威胁信息的能力

作者: Md Erfan, Ahmed Ryan, Md Kamal Hossain Chowdhury, Md Rayhanur Rahman | 分类: cs.CR, cs.AI 链接: arxiv.org/abs/2607.16175v1

网联自动驾驶车辆（CAV）依赖互联的软硬件组件，包括传感器、电子控制单元、车载信息娱乐系统和远程信息处理单元，其中的漏洞可能危及资产、用户和车辆运行。这些漏洞通常以纯文本形式记录在通用漏洞与暴露（CVE）数据库中；但安全从业人员需要关于受影响资产、弱点类型和攻击行为的结构化信息，才能有效缓解风险。为此，我们评估了开源权重大语言模型（LLM）为CAV相关CVE生成结构化威胁信息表达（STIX，一种表示威胁信息的著名结构化格式）的能力。我们构建了一个名为CAV-STIXGen的数据集，将CAV漏洞描述映射到STIX域对象（SDO）、STIX关系对象（SRO）、通用弱点枚举（CWE）和MITRE ATT&CK技术映射。基于该数据集，我们在多种提示策略和温度设置下评估了11个开源权重LLM（4B至120B参数）。单模型配置在SDO上F1得分为0.94，SRO为0.63，CWE映射为0.99，而完整的MITRE ATT&CK映射仍具挑战性。在多智能体设置中，Gemma-4-31B和Codestral-22B在SDO上分别达到0.91，SRO为0.43。最后，我们分析了CWE和MITRE ATT&CK的共现模式，识别出CAV领域的反复出现威胁模式，展示了AI辅助的漏洞到STIX翻译如何自动化威胁情报并优先化运输安全防御。

点评: 安全领域与AI的深度结合——将CVE中非结构化漏洞描述自动转化为STIX结构化威胁情报。结果亮眼（SDO F1=0.94），对自动驾驶安全防护有切实的应用前景。

6. 基于拉普拉斯最优传输的簇感知匹配

作者: Gabriel Samberg, YoonHaeng Hur, Yuehaw Khoo, Nir Sharon | 分类: stat.ML, cs.LG, math.NA, stat.ME 链接: arxiv.org/abs/2607.16178v1

在许多匹配应用中，待匹配的点云不仅仅是无结构的点集，而是具有内在簇结构的分布样本。在这种情况下，由于单个点在连贯区域内通常是可互换的，寻找稳健的区域到区域对齐比建立精确的点到点对应更为可取。为此，我们提出了一种基于拉普拉斯最优传输（LapOT）的簇感知匹配新方法。其核心理念是通过点云相似度图构建的二次拉普拉斯项对最优传输问题进行正则化，这促使最优耦合尊重两个点集的簇结构。我们还引入了精炼同步聚类（RSC）方法，利用从LapOT获得的簇感知耦合在点集间产生一致的划分，能够克服独立聚类的局限性，产生更稳定和可解释的结果。通过理论分析和实证实验，我们展示了该方法的有效性，表明LapOT确实能产生簇感知匹配，从而实现点云之间更一致、更有意义的对齐。

点评: 将最优传输理论与拉普拉斯正则化结合，创造性地解决了聚类结构数据的匹配问题。对计算机视觉、图形学和数据分析中涉及结构对齐的应用场景有重要启发。

7. 动力学感知元模仿学习实现未知机器人操作任务泛化

作者: Zhenduo Shang, Xiyao Liu, Bohan Li, Xudong Wang, Teng Ren et al. | 分类: cs.RO, cs.LG 链接: arxiv.org/abs/2607.15880v1

模仿学习旨在从大量的机器人观测和示范中学习技能，因此受到数据稀缺和环境泛化问题的困扰。现有方法主要专注于领域内任务的模仿，难以泛化到未见任务。为弥合这一泛化差距，我们提出了动力学感知元模仿学习（DAMI）框架。通过集成元学习构建共享技能空间，DAMI使智能体能够快速适应新任务。我们引入了视觉-运动轨迹（VMT）模块来捕获任务潜空间中的复杂时空动力学。此外，我们提出了非配对统一任务（U2T）模块来融合非结构化多模态观测。为协调这些表示，我们集成了任务条件特征调制（TCFM）机制，专门用于调制底层3D特征。通过从随机完整参考示范中捕获内在动力学，我们的框架学习底层任务逻辑而非记忆静态线索，从而确保有效泛化。在仿真和真实环境中的大量实验表明，我们的方法在已见任务的直接推理和通过少样本微调适应未见任务方面均优于最先进的基线方法。

点评: 元学习+动力学建模+多模态融合，三步走解决机器人模仿学习的泛化瓶颈。从随机示范中学习任务逻辑而非静态线索这一思路值得关注。

8. 基于强化学习的低压配电网拥塞管理鲁棒性研究

作者: Josef Hoppe, Sarra Bouchkati, Farah Nasr, Jonathan Krapp, Alexander Och et al. | 分类: eess.SY, cs.AI 链接: arxiv.org/abs/2607.16004v1

光伏发电增加、电动汽车充电和热泵需求对低压配电网的运行极限提出了挑战。这需要能够在稀疏可观测性、噪声测量和不完美电网模型下运行的矫正性削减方法。与以往针对部分可观测削减问题的端到端强化学习方法不同，本文通过将随机森林违规预分类器与演员-评论家控制器相结合，解耦了拥塞检测和控制，并评估了其对测量噪声和电网参数不匹配的鲁棒性。该框架在真实低压配电网中使用低可观测性和可控性的合成未来运行场景进行了测试。在电网参数准确的情况下，控制器将总违规幅度减少了98.9%，且该性能在测试的测量噪声设置下几乎保持不变。电网模型不匹配更具挑战性，但在所测试的不匹配假设下，控制器仍能缓解大部分违规行为。

点评: 强化学习赋能电网拥塞管理的实用化尝试——在真实配电网数据下达到98.9%的违规幅度降低，且对测量噪声高度鲁棒。电网模型不匹配问题虽存，但整体方案可靠性令人印象深刻。

本内容由 AI 辅助生成，论文信息来源于 arXiv。