大模型诚实性对抗训练、Agent 安全防护与智能体基准评测

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖 LLM 诚实性对齐、O-RAN 智能控制、多模态视觉验证器、3D 代码生成、个性化机器人操作、控制系统中的在线学习、Agent 安全护栏的多语言鲁棒性，以及 LLM 辅助量子电路设计等方向。

1. CATCH：用连续对抗训练打造可迁移的 LLM 诚实性

作者: Yuan-Chen Chang, Niklas Herbster, Gauthier Gidel, Tommaso Tosato | 分类: cs.LG, cs.CL, cs.CY 链接: arxiv.org/abs/2610.22292

大语言模型（LLM）正越来越多地应用于对诚实性要求极高的场景。然而，尽管经过对齐训练，这些模型仍会表现出不诚实行为，例如输出与某些知识相矛盾的声明，或缺乏上下文支持的说法。我们提出连续对抗训练实现一致性诚实（CATCH），其灵感来自最初用于稳健拒绝有害查询的方法。CATCH 在保持模型能力的同时，训练模型趋向诚实回答、远离不诚实回答。我们在两种架构（Llama-3.3-70B-Instruct 和 Qwen3-3.6-27B）上进行评估。结果显示，仅用数百个由自我报告场景构建的目标样本训练，CATCH 就学到了能够稳健泛化并跨不同基准迁移的诚实行为：在 MASK 上持续降低压力下的不诚实表现，在 Among Us 多智能体游戏中增加坦白行为，并提升 AuditBench 中模型隐藏行为的发现率。CATCH 在提升诚实性方面优于提示工程和监督微调，与最先进的诚实性激活引导方法相当；但得益于新颖的效用数据选择，CATCH 在保持实用性上超越了诚实性引导。

点评: 诚实性对齐长期困于”基准上有效、换场景就失效”，CATCH 用数百个样本实现跨基准迁移是个亮眼结果；更关键的是它同时守住了模型效用，这对实际部署意义重大。

2. X-RIC：面向强化学习增强的 Agentic RAN 智能控制器基准

作者: Adhwaa Al-Chaab, Ayman Younis, Dario Pompili | 分类: cs.AI, cs.AR 链接: arxiv.org/abs/2610.22269

O-RAN ALLIANCE 通过解耦和 AI 驱动控制带来架构灵活性。虽然 RAN 智能控制器（RIC）支持集中式优化，但现有 AI 方法缺乏推理能力和可解释性。我们提出可解释 RIC（X-RIC），一个将 agentic AI 集成到 O-RAN 架构中的新框架。X-RIC 将反应式强化学习（RL）与策略性 agentic 推理相结合，包括：(i) 利用领域启发式进行自动化行为克隆（BC）以实现样本高效训练；(ii) 电信语言模型（TLM），一个基于 Transformer 的推理模块，提供上下文抽象与可解释性；(iii) 在 Near-RT RIC 控制环路内进行闭环协同自适应，实现持续策略优化。为确保部署就绪，我们引入 BARX（Benchmarking Agentic Reasoning for RAN），一个评估 agentic 控制在时延、合规性和确定性等指标上表现的领域专用评测框架。我们在仿真和符合 O-RAN 的测试床部署中，针对 SLA 感知的网络切片验证 X-RIC，实现 89% 运营成本降低且保持 SLA 合规，收敛速度快 75%、训练步数少 50%、方差低 46%。

点评: 把 LLM 式推理引入电信控制环路是 6G 时代的热门命题，X-RIC 的亮点在于同时给出可解释性模块和领域专用基准 BARX，让”agentic RAN”从概念走向可度量。

3. OmniVerifier-C1：面向规则约束生成式世界建模的分解式分级验证器

作者: Bowei Liu, Xinchen Zhang, Xuhuan Li, Tianlin Zhang, Kaian Jiang 等 | 分类: cs.CL 链接: arxiv.org/abs/2610.22355

生成式视觉验证器在推进多模态智能方面起着关键作用。为提升视觉验证器在涉及组合性要求的复杂多模态场景中的鲁棒性，我们超越仅输出真/假离散判断的传统二值验证器，提出一种能自动将复杂提示或环境规则分解为细粒度组件并给出逐点评分的验证器，从而提供连续且信息更丰富的评判信号。实验进一步表明，这种结构化、可解释的输出提升了验证器对域外多模态评判任务的泛化能力。为训练该验证器，我们引入解耦 RL 训练策略，联合优化子问题级二值判断与全局对齐评分，利用精确的局部反馈发展细粒度验证能力，为全局层面可靠的连续评分奠定基础。在通用强化学习框架下，我们首先实证表明所提出的逐点评分验证器在传统文生图场景中显著优于二值验证器；随后将研究扩展到规则约束的生成式世界建模——在显式规则下利用生成模型进行世界模拟与世界推理。理论层面，我们进一步证明当存在真值图像时，成对验证范式比逐点形式给出更准确的评判，并在 Maze、Sudoku 等多样结构化世界建模任务上的实证结果验证了该结论。总体而言，我们的发现揭示了一个关键洞见：从生成模型迈向结构化世界建模 agent，关键在于能否获得准确的成对分级视觉验证器。

点评: 从二值判断走向细粒度分级评分，是视觉验证器发展的自然一步；论文关于”有成对真值时 pairwise 优于 pointwise”的理论分析，为世界模型时代如何设计奖励信号提供了有价值的指引。

4. 3DCodeVerse：将 3D 世界作为代码来探索

作者: Yipeng Gao, Ziyao Zeng, Jinfa Huang, Yijiang Li, Haolin Xiong 等 | 分类: cs.CV, cs.AI 链接: arxiv.org/abs/2610.22341

我们提出 3DCodeVerse，一个使编码 agent 能够大规模创建可编辑、可验证 3D 内容的研究生态。3DCodeVerse 包含大规模高质量可执行 3D 代码数据集、用于空间推理与自动验证的编码 harness，以及 3D 编码的实践指南。首先，我们构建 3DCodeVerse-2M，一个大规模精选的独立 3D 可执行代码数据集：通过收集开源数据、转换专用表示以及用编码 agent 生成新程序来构建该语料；每个程序打包了在其声明环境中执行所需的源文件和关联资产，以及可用的描述与验证记录。其次，我们开发 3DCodeVerse Harness，一个用于生成与精炼 3D 内容的多 agent 有向无环图框架，利用执行检查、空间测量和视觉反馈在生成过程中无需人工反馈即可自动评估与修正生成程序。第三，我们对 3D 编码进行系统性实证研究，以微调的开源模型建立基线，并通过 harness 的组件级分析得出实践指南。大量实验表明，在我们的数据集上微调显著提升开源模型的 3D 编码能力；值得注意的是，当两者均由 Claude Opus 5.5 驱动时，我们的 3DCodeVerse harness 在成对人工评估中以 90% 的胜率击败 Claude Design（3D 对象）。

点评: “把 3D 内容写成代码”让生成结果天然可编辑、可执行、可验证，这一思路绕开了传统 3D 生成的不可控性；200 万规模数据集加自动化验证 harness，是通往 3D 世界模型的一条务实路径。

5. LIBERO-PeRM：个性化机器人操作基准

作者: Zhixu Li, Keqian Tang, Litian Gong, Jingyu Yao, Wenqian Zhang 等 | 分类: cs.RO, cs.AI, cs.LG 链接: arxiv.org/abs/2610.22372

个性化是通用机器人进入家庭环境并实现真正实用性的关键。虽然通用机器人操作已被广泛研究，但个性化机器人操作（PeRM）缺乏一个受控基准来区分任务完成与偏好满足。我们提出 LIBERO-PeRM，一个面向具身智能体偏好学习的基准，研究五个问题：1）策略在零样本设置下如何遵循偏好；2）它们如何从示范中学习单一偏好；3）随着示范增多，它们获取偏好的效率如何；4）学到的偏好如何跨布局和任务泛化；5）策略如何组合偏好并在冲突下行为。我们提出仿真中可观察偏好的受控形式化与分类法，涵盖运动、技能和用户画像选择，限于可用语言表达、可在 LIBERO 中不改变任务目标地实例化、可自动评估并跨任务复用的偏好。基于 LIBERO，我们的程序化流水线生成带偏好与不带偏好的成对示范，创建含高质量示范、丰富元数据与偏好满足度指标的五个任务套件（312 个任务）。实验表明，当前 VLA 策略在零样本个性化上表现吃力，而 SFT 使偏好变得可学。混合训练在无偏好保持上优于顺序适应，且在上下文提示下比仅偏好训练表现更好，但可能削弱运动偏好学习；偏好泛化、分解与冲突处理仍然困难。

点评: 家庭机器人不只是”把事做完”，还要”按我的方式做完”——LIBERO-PeRM 首次把偏好满足从任务完成中剥离出来单独评测，312 个受控任务和成对示范设计填补了 VLA 个性化评测的空白。

6. 学习改变世界，而所学之物亦随之改变：在控制环路中训练与部署神经网络

作者: Vittorio Lippi | 分类: stat.ML, cs.LG 链接: arxiv.org/abs/2610.22084

神经网络为控制复杂系统提供了关键的适应性，而这些系统的标称建模往往难以实现。然而，当离线训练的神经网络部署到闭环控制系统中时，其行为会从根本上改变训练时所依赖的状态分布。本文引入一个统一分类法来归类这些序贯失效模式：初始的闭环辨识误差、部署诱发的动作误差，以及持续的跟踪误差。通过离散时间灵敏度分析，本文形式化了离线学到的参数如何在部署时局部地保证轨迹发散，并因局部损失几何而导致性能退化。为缓解这种分布漂移，我们提出以时间尺度分离的在线适应为核心的可操作设计策略。通过对非线性 Duffing 振子的消融研究验证这些机制，结果表明有界持续学习能成功缓解轨迹发散，而静态部署则会失败，为在安全关键反馈系统中部署机器学习组件的从业者提供了具体指南。

点评: “训练时看到的世界，部署后已不再是自己面对的世界”——论文把闭环部署中的分布漂移拆解为三类可分析的误差，并给出时间尺度分离的在线适应方案，对安全关键场景下的控制部署很有实操价值。

7. 语言是 Agent 护栏的安全攻击面

作者: Hasan Demirkiran, Jens Ernstberger | 分类: cs.CR, cs.AI, cs.CL, cs.LG 链接: arxiv.org/abs/2610.22244

步骤级护栏在每次工具调用前判定 agent 的下一步动作在给定用户请求与迄今轨迹下是否安全。用户会用多种语言书写请求，而护栏提示词以及专用护栏训练与评估所依赖的基准都是英语。我们探究护栏的判定是否取决于请求语言。我们基于 TS-Bench AgentDojo-Traj 的 1,220 个有标注步骤构建 LinguaGuardBench：仅将用户指令翻译为德语、法语、土耳其语、斯瓦希里语和阿姆哈拉语，保持每次工具调用、观察与标签字节级一致，从而使任何判定变化都可归因于语言本身。六个英语改写和一个空白占位符作为对照，托管的护栏运行三次以测量噪声。在 19 个护栏（从前沿 API 到 4B 开源模型及四个专用 agent 护栏）中，多数开源、小型和专用护栏在翻译下的判定变化超出其自身噪声下限，且效应随语言稀有度增长：在九个参数量小于 13B 的护栏中，安慰剂校正后的平均翻转率从法语上的 +1.5 个百分点升至阿姆哈拉语上的 +4.4 个百分点。专用护栏最为敏感。损害方向往往随护栏规模而定：12–30B 参数的开源护栏拦截更多良性步骤（误报率最高上升 +5.0 个百分点），而所有显著的召回损失都发生在 10B 以下的护栏中（最高下降 -7.4 个百分点）。前沿护栏的偏移至多约一个百分点；最强的 Gemini 3.8 Flash 在有请求和无请求时给出完全相同判定。损害集中在少数指令上，且在事后分析中落在 agent 推理重述英语请求的步骤上，这与护栏对通道间不一致做出反应的解释相符。英语改写对每个护栏的影响都小于翻译。

点评: 这篇论文揭示了一个被忽视的安全盲区：护栏在低资源语言下会悄悄”漏判”，而且小模型护栏最脆弱。对多语言部署的 Agent 系统而言，这是一份必须正视的风险清单。

8. 用大语言模型发现最先进的量子电路

作者: Andi Gu, Alek H. Kemeny, Susanne F. Yelin, Mikhail D. Lukin | 分类: quant-ph, cs.AI 链接: arxiv.org/abs/2610.22367

当前大量努力正投向大规模量子信息处理器的实现，但实现有用的量子优势还需要开发高效的量子算法。虽然对许多实际问题而言，主要资源开销与一小部分计算原语相关，但在量子环境下优化它们面临独特挑战，包括经典计算中不存在的可逆性约束。本文引入一个演化框架：由大语言模型（LLM）提出电路设计，由独立评估器验证并评分。我们将该框架应用于数值计算、化学、优化、量子模拟和数论等任务。在八个任务中的七个上，所发现的电路相对最先进方案显著减少了 Toffoli 门数和量子比特数；在第八个任务中，搜索发现了素数域模逆的新可逆架构。通过以不同方式处理可逆性，该架构使 divsteps——一种此前在可逆整数运算中不实用的经典算法——变得可行，并大幅改善了模逆的 Toffoli-量子比特权衡。这些结果为评估器引导的 LLM 协同设计量子计算新算法结构打开了大门。

点评: LLM 提出设计、评估器独立打分，这套”演化式搜索”在 8 个量子任务中 7 个刷新纪录，还催生出全新的可逆模逆架构——说明 LLM 已不只是编程助手，而能成为科学算法发现的合作者。