多智能体通信、模型对齐与自动驾驶安全
精选 8 篇 AI/ML 论文,涵盖LG, CL, CV, AI, stat.ML, RO, SE, CR, eess.SP, MA等方向
今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文,涵盖科学智能体基座模型、多智能体潜在通信、开放数据语言模型、异构模型集成路由、鲁棒分布学习、人形运动跟踪评测、自动驾驶动态威胁分析以及 6G 语义通信等多个前沿方向。
1. Intern-S2-Preview:科学智能体基座模型
作者: Lei Bai, Jiaqi Cao, Chiyu Chen, Guanzhou Chen, Kai Chen et al. | 分类: cs.LG, cs.CL, cs.CV 链接: arxiv.org/abs/2608.13505v1
科学发现越来越需要 AI 系统能够对异构模态的科学证据进行推理、与科学工具和环境交互,并在长任务视野中持续取得进展。我们提出了 Intern-S2-Preview,一系列科学智能体基座模型,旨在支持多模态科学理解、推理、生成和长时程任务。训练流程始于对渲染科学文档、交错图文数据和多样科学语料库的科学多模态预训练。从预训练检查点出发,我们应用了统一的后期训练流程,包括监督微调、可扩展多任务强化学习(RL)、黑盒与白盒智能体 RL 以及在线蒸馏。该流程得到实用技术的支持,这些技术提高了 rollout 和训练的稳定性与效率,包括带离策略校正的部分 rollout、自适应长度正则化、在线投机解码、稳健的多任务优化以及智能体任务的轨迹感知体验组装。在架构层面,Intern-S2-Preview-397B 将时间序列建模从高效长序列理解扩展到数值预测,而 Memory Decoder 作为独立的记忆增强路径被研究,用于在不修改冻结的 397B 主干的情况下快速实现科学领域专业化。跨科学、多模态、智能体和通用基准的评估表明,Intern-S2-Preview-397B 在多种设置下取得了具有竞争力或领先的结果。时间序列模块提升了 SciTS 上的科学信号理解和预测能力,而独立的 Intern-MemDec-4B 扩展将 Biology-Instructions 平均得分从 56.92 提升至 60.32,且无需修改冻结的 397B 主干。
点评: 397B 参数的科学智能体模型配合内存解码器实现”即插即用”式领域专业化,为科学发现场景下的长时程任务提供了新思路,值得关注。
2. StateBridge:用于 LLM 多智能体系统中潜在通信的无训练隐状态对齐
作者: Yanwen Peng, Delvin Ce Zhang, Xi Wang, Nikolaos Aletras | 分类: cs.AI 链接: arxiv.org/abs/2608.13317v1
基于大型语言模型的多智能体系统通常以文本(即离散 token)形式进行通信。然而,文本引入了离散瓶颈。将发送方的连续隐状态转换为离散 token 会丢弃 token 身份本身无法捕捉的信息。最近的工作提出潜在通信作为替代方案,即智能体直接传输隐表示而不将其转换为文本。然而,现有的潜在方法要么在 Transformer 中逐层注入工作记忆,要么需要训练投影器,这限制了可移植性。我们提出了 StateBridge,一种无训练的潜在通信方法,通过闭式正交变换将发送方的最终层隐状态对齐到接收方的输入空间。轻量级范数校准和词汇锚定确保与预训练输入分布的兼容性。对齐后的状态作为连续前缀添加到接收智能体的输入中。我们在四个模型、两个模型家族的数学推理、代码生成和问答任务上评估了 StateBridge。StateBridge 在 26 个模型-任务对中的 22 个上取得了最佳或持平最佳的得分,持续优于最强基线。
点评: 无需训练即可实现智能体间潜在通信,有效避免了文本离散化带来的信息损失,对多智能体协作效率提升有重要意义。
3. DFM Mimir v1:仅使用许可后期训练数据在 1B 参数下实现前沿性能的开放 HRM
作者: Peter Schneider-Kamp, Jacob Nielsen, Gianluca Barmina, Kenneth Enevoldsen, Lukas Galke Poech | 分类: cs.CL, cs.AI 链接: arxiv.org/abs/2608.13517v1
当前大型语言模型的开发依赖于大规模、通常非许可的数据集,这为致力于开源和伦理来源数据的研究人员设置了高门槛。我们介绍了 Mimir v1,一个基于层次推理模型(HRM)架构的 10 亿参数语言模型,该模型从零开始训练,仅使用许可的后期训练数据,在英语上提供了极具竞争力的性能,并为丹麦语设立了新的最先进水平。Mimir v1 在 161 个数据集的混合上训练,在 20 个英语、数学与代码以及丹麦语基准测试中,优于原始 HRM-Text 1B,并与更大的前沿模型(如 Qwen 3.5 4B 和 Gemma 4 E2B)竞争。该模型可在 Hugging Face Hub 上获取:https://huggingface.co/danish-foundation-models/DFM-Mimir
点评: 仅用合规数据训练出能与 4B 级模型抗衡的 1B 模型,对开源社区和伦理 AI 研究具有重要参考价值。
4. MLLM 路由的异构集成用于稳健跨数据集图像分类
作者: Daniel Perkins, John Squires, Janou Milligan, Chandra Raskoti, Linda Ungerboeck | 分类: cs.CV, cs.AI, cs.CL, cs.LG 链接: arxiv.org/abs/2608.13463v1
现代图像分类模型在单一任务特定数据集上训练时表现出色,但往往难以跨领域和难度水平泛化。我们提出了 ARMDIL,一种用于多领域图像分类的自适应路由器。ARMDIL 是一个集成系统,使用多模态大语言模型(MLLM)智能体将每张图像动态路由到最合适的视觉主干网络。我们的多样集成采用卷积神经网络(ResNet)、自监督表示学习器(SSL)和视觉-语言模型(VLM),每个都在从多个具有不同分布和特征的图像数据集构建的统一标签空间上训练。实证评估阐明了每种架构在不同视觉领域中的独特能力和弱点。关键的是,我们展示了 ARMDIL 有效驾驭了这些权衡,与专门的基于训练的路由器表现相当。此外,它通过简单的提示修改允许集成新信息,极大地提高了适应性,同时通过自然语言推理轨迹增强了可解释性。这些跨数据集图像分类的进展为更可靠的通用视觉系统(如 AI 助手和自主机器人)铺平了道路。
点评: 利用 MLLM 作为动态路由器整合异构视觉模型,兼顾性能、可扩展性和可解释性,是通用视觉系统的一种务实方案。
5. Wasserstein 过滤:用于稳健分布学习的样本选择方法
作者: Yikai Xu, Zhao Chen, Jian Huang | 分类: stat.ML, cs.LG 链接: arxiv.org/abs/2608.13418v1
给定一个部分样本被污染的数据集,我们的目标是恢复底层的干净总体分布。为此,我们提出了 Wasserstein 过滤(WF),一种新颖的样本选择框架,丢弃一部分可疑样本,并使用剩余数据的经验度量来估计目标分布。核心见解是选择其经验分布与完全受污染的经验分布之间的 Wasserstein 距离最大化的样本子集,从而优先隔离并移除几何上具有影响力的离群值。为了使该优化在计算上可处理,我们引入了三种算法:边际筛选方案 SinkMarg,以及两种联合优化算法 SinkWF 和 SlicedWF,分别利用熵最优传输和切片 Wasserstein 近似。在理论方面,我们引入了 Far Exclusion and Local Projection(FELP)污染模型,该模型刻画了由分离良好的离群值和局部不可区分的扰动组成的 corruption。在此模型下,我们证明了 WF 估计器在具有有界协方差的分布族上实现了极小化最优性。在合成数据集、基准异常检测套件以及使用扩散模型的稳健生成学习上的大量数值实验表明,WF 作为一种高度实用、模型无关的预处理工具,提供了具有竞争力的离群值检测性能,并在重度污染下为生成建模带来了显著的下游收益。
点评: 从 Wasserstein 距离视角设计样本过滤,理论上有极小化最优保证,实践上可作为扩散模型等生成任务的通用预处理方案。
6. HumanTracker:迈向全面且与人感知对齐的运动跟踪基准
作者: Dairu Liu, Zekun Qi, Jiayu Zeng, Ruixi Yu, Yu Guan et al. | 分类: cs.RO, cs.AI, cs.CV 链接: arxiv.org/abs/2608.13555v1
人形运动跟踪是遥操作和全身模仿的核心,但评估往往与人们在视频中的感知不一致。运动学误差平均每帧位姿差异,却忽略了最重要的物理伪影,特别是支撑不稳定和接触错误,如脚部滑动和不合时宜的触地。同时,广泛使用的测试集规模小,缺乏强调接触丰富、长时程行为所需的多样性。我们引入 HumanTracker,使人形跟踪评估既感知对齐又可扩展。HumanTracker 基准包含来自多位专业表演者约 153 小时的光学运动轨迹,组织为四个运动族,并带有文本标签用于细粒度诊断。我们进一步提出了 HumanScore,一种在 12K 运动对(包含 24K 个运动)上训练的偏好对齐度量。在代表性最先进的跟踪器上,HumanScore 更好地预测了人类偏好,并揭示了运动学指标经常遗漏的接触和稳定性失败。
点评: 针对人形跟踪评估与人类感知脱节的问题,构建大规模基准并训练偏好对齐指标,有望推动遥操作和模仿学习评测的标准化。
7. LLM 辅助的自动驾驶车辆攻击者可达软件弱点动态威胁分析
作者: Md Wasiul Haque, Sagar Dasgupta, Mizanur Rahman, Md Rayhanur Rahman | 分类: cs.SE, cs.CR, cs.LG 链接: arxiv.org/abs/2608.13450v1
自动驾驶依赖庞大的安全关键软件栈,其中从对抗性输入可达的弱点可能影响转向、制动或其他控制决策。静态分析可以识别候选位置,但动态确认可利用性需要可执行测试工件,而手工构建这些工件很困难。我们研究了大型语言模型(LLM)能否为开源自动驾驶栈 Autoware 自动化这一过程。我们对 185 个包进行了编译器精确的静态分析,识别出 1,375 条决策规则、2,274 个验证检查和 482 条输入到安全输出的流,由此推导出弱点分类法并抽样了 740 个可达位点。两个本地开放权重 LLM、一个无静态上下文的消融和一个朴素模板基线生成了 3,700 个工件集,这些工件集在 sanitizer 下针对真实构建进行编译,通过编译器循环反馈进行修复,并在可执行时进行模糊测试。主要结果是一个构建集成失败分类法,表明 80% 的首次编译失败源于依赖连接而非程序逻辑。推理模型首次尝试编译了 64% 的 harness,而代码专用模型仅为 6%。仅通过广泛 stubbing 才使推理模型实现了完全对象可编译性;其 harness 中不到一半到达了模糊器,所有 37 次观察到的崩溃都源于 stubbed 代码而非 Autoware。在预算内没有候选弱点被动态确认。这些结果表明,构建集成,而非候选生成或模糊测试,是可靠 LLM 辅助自动驾驶全栈动态分析的主要障碍。
点评: 揭示了 LLM 辅助动态分析的真实瓶颈在于构建集成而非漏洞生成,为安全自动化研究提供了重要的实证基线和方向指引。
8. AI 原生 6G 网络中语义通信的异构感知信念同步
作者: Muhammad Hannan Akram, Muhammad Abubakar Rashid, Wassi Haider Kabir, Haejoon Jung, Kapal Dev et al. | 分类: eess.SP, cs.AI, cs.MA 链接: arxiv.org/abs/2608.13394v1
6G 网络将不仅仅是通信基础设施;相反,它们有望演变为智能系统,其中数千个自主 AI 智能体相互连接。这些智能体部署在广泛的平台上,包括低地球轨道(LEO)卫星、高空平台(HAPs)、无人机(UAV)、边缘服务器和地面设备。这些智能体持续观察其环境并交换信息。语义通信提供了一种交换有意义信息而非原始数据的高效机制。然而,其有效性取决于通信智能体是否具有足够对齐的信念,以正确解释和解码传输的消息。在 6G 网络中,异构 AI 模型在不同的计算约束下运行,并不断从其本地环境获取不同知识,这一假设变得难以满足。本文提出了一个面向 6G AI 原生网络的异构感知信念同步框架。它利用部署在多接入边缘计算(MEC)服务器上的潜在翻译模型。这些模型将信念更新从一个智能体翻译为智能体特定的知识,而无需联合训练和同构模型架构。通过仅在必要时通过潜在翻译模型交换紧凑的信念更新,该框架保护了隐私,降低了同步成本,并最大限度地减少了本地知识漂移。我们通过一个多层地面/非地面网络案例研究验证了该框架。结果表明,在案例研究中,该框架在异构智能体之间保持了较低的同步成本(以传输的参数数量衡量)和较低的信念对齐误差。
点评: 针对 6G 中异构 AI 智能体的信念对齐难题,提出基于 MEC 的潜在翻译同步方案,兼顾隐私、成本与知识漂移控制,架构设计务实。
本内容由 AI 辅助生成,论文信息来源于 arXiv。