多模态推理修复、时空生成与危险识别安全协议

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖大模型推理与对齐、具身智能部署、多模态内容生成、软件工程修复等多个前沿方向。

1. FormalAnalyticGeo: 基于神经符号的解析几何多模态问题自动生成框架

作者: Ruoran Xu, Wending Gao, Qiufeng Wang | 分类: cs.AI, cs.MA, cs.SC 链接: arxiv.org/abs/2607.12982v1

数学推理因多模态大语言模型的进步取得了显著进展，然而解析几何领域仍缺乏探索，主要原因是标注样本稀缺。现有图表生成方法难以处理解析几何问题：模板方法无法应对约束驱动的布局，生成模型缺乏渲染标注圆锥曲线的几何精度。本文提出 FormalAnalyticGeo，一个用于全自动生成多模态解析几何问题的可扩展框架。利用形式语言的严谨性，框架围绕 CDL（条件描述语言）设计，这是一种形式化中间表示，通过符号距离场引擎将自由形式的问题文本与精确的图表渲染桥接起来。框架依次使用四个专用 LLM 组件：生成器产生多样的解析几何问题，形式化器将问题转换为 CDL 进行 SDF 渲染，测量器通过基于视觉的测量从渲染图中提取真实答案，质量验证器在三个阶段检查输出。质量验证器的结构化反馈驱动自动重试，形成无需人工标注的闭环。大规模应用 FormalAnalyticGeo 生成了 AnalyticGeo7K 数据集，包含超过 7K 个经过验证的多模态问题，每个问题都有对齐的文本、图表、形式化标注和真实答案。实验表明，生成问题的中位数真实相对误差为 0.70%，82.3% 的答案落在精确符号解的 5% 以内。

点评: 通过形式化语言与符号距离场的组合，解决了高质量数学问题自动生成的“冷启动”难题，对教育科技领域有直接推动作用。

2. 基于验证器的推理模型强化微调：应用于热能存储控制

作者: Takumi Shioda, Kohei Terashima, Tatsuo Nagai | 分类: cs.LG 链接: arxiv.org/abs/2607.12856v1

建筑需要根据电网条件转移冷却负荷。热能存储技术可以实现这种转移，但良好的调度需要提前数小时规划并考虑存储约束。模型预测控制和强化学习难以跨建筑规模化部署。本研究通过带可验证奖励的强化学习适配开源推理模型。研究将精确的离线动态规划动作值转换为每个候选动作的密集奖励。仅使用 30 个训练提示，通过强化微调将模型训练为上层调度器，从基于文本的状态和预测中输出每小时热泵设定点。评估使用一个简化的办公楼 TES 基准，其中精确 DP 可行且最优解已知。RFT 将开源模型的碳排放从 70.5 降至 61.2 kg-CO2，接近 DP 最优值 60.8 kg-CO2。GPT-5 无需任务特定训练即可接近 DP 和 MPC，而 GPT-4o（非推理 LLM）产生的排放高于无存储基线，表明推理时推理至关重要。

点评: 将可验证奖励与推理模型结合，以极低的训练成本实现了接近最优的建筑能源调度，为科学计算与 LLM 的融合提供了范例。

3. 认知立场灵活性探测：衡量大语言模型中的提示条件化语域转换

作者: Binwen Liu, Yilin Ren | 分类: cs.CL 链接: arxiv://2607.12739v1

语言模型可能被要求回答专家对有争议主张的看法，也可能被问及模型自身的看法。值得信赖的对话代理应该区分这两种请求并以不同的认知语域回应：前者是中立归因，后者是立场表达。现有的准确性、指令遵循或安全性基准无法直接评估这种转换是否发生以及是否一致。本文提出 ESFP，一种行为基准，将外部归因提示与自我归因提示之间的对比作为基本测量单位。ESFP 包含 104 个精心控制的条目，涵盖六个认知类别和五个措辞模板，从四个维度评估模型响应。评估了来自五家供应商的八个前沿模型，发现认知灵活性与模型通用能力在很大程度上正交：一个 27B 开源模型与最强的专有系统匹敌，某系列旗舰模型表现不如其轻量级版本，推理优化模型并未一致表现出更高的灵活性。

点评: 论文敏锐地捕捉了“客观陈述”与“主观立场”之间的微妙边界，为构建更可信的对话 AI 提供了全新的评估维度。

4. Jetson-PI: 基于前瞻对齐异步推理的机载实时机器人控制

作者: Zebin Yang, Qi Wang, Yunhe Wang, Xiurui Guo, Bo Yu et al. | 分类: cs.RO, cs.AI 链接: arxiv.org/abs/2607.12659v1

视觉-语言-动作模型在多样的具身任务上取得了令人印象深刻的性能。然而，在低功耗机载设备上部署 VLA 模型仍具挑战性，其高计算复杂度导致显著推理延迟和低控制频率。异步推理可通过并行化动作执行和后续推理来部分掩盖延迟，但引入了两个关键问题：感知-执行不对齐和长反应时间。本文提出 Jetson-PI，一种通过前瞻对齐异步纠正实现高效 VLA 部署的方法。为了解决不对齐问题，训练了一个轻量级未来纠正模块，预测以已执行动作为条件的未来环境表示，使动作专家能直接从未来时间步预测动作。为了减少反应时间，引入了基于置信度的调度优化，自适应平衡 VLM 和动作专家的调用，辅以系统级加速。实验表明，在 NVIDIA Jetson Orin 上，与原生 PyTorch 和 vla.cpp 相比，控制频率分别提升了 8.66 倍和 5.41 倍，在 LIBERO 基准上平均成功率比 VLASH 高出 14.8%。

点评: 解决了机器人领域部署 VLA 模型“算不动也等不起”的核心痛点，异步推理与系统优化的组合方案极具工程价值。

5. Hallo4D: 多模态幻觉抑制实现一致时空生成

作者: Hongbo Wang, Huaibo Huang, Jie Cao, Jin Liu, Haoyang Tong et al. | 分类: cs.CV, cs.AI 链接: arxiv.org/abs/2607.12752v1

尽管近期 3D 生成的进展实现了令人印象深刻的视觉合成，但现有方法通常依赖 2D 扩散监督，缺乏几何一致性机制，导致空间幻觉如重复结构和几何错位。这些问题在 4D 生成中更为严重，跨视角和时态演化的一致性维护引入了额外挑战，包括抖动、身份闪烁和结构漂移。本文提出 Hallo4D，一个统一且模型无关的框架，用于缓解 3D 和 4D 内容生成中的时空幻觉。Hallo4D 引入生成-检测-纠正范式，利用大型多模态语言模型从多视角和多帧渲染中识别并总结时空不一致性。这些洞察指导一个共识驱动的图像空间一致性优化，其中基于 LMM 的选择器通过多模型投票评估候选纠正，无需重训练或架构修改。为了进一步改善时态一致性和优化效率，Hallo4D 集成了运动感知关键帧采样、LMM 引导初始化和外观对齐。

点评: “生成-检测-纠正”闭环设计简洁优雅，将 LMM 的语义理解能力转化为几何一致性的监督信号，解决了 4D 生成中的时间漂移顽疾。

6. CT-Repair: 基于代码属性图与时序执行图的多视角智能体程序修复

作者: Zhili Huang, Ling Xu, Hongyu Zhang | 分类: cs.SE, cs.AI 链接: arxiv.org/abs/2607.12605v1

大语言模型改进了自动化程序修复，但仍存在两个局限：原始执行轨迹通常过大且重复，难以作为有效模型上下文；重复补丁采样可能产生不同实现而不生成不同的根因假设或修复策略。本文提出 CT-Repair，一个智能体 APR 框架，将静态和动态证据表示为可查询的代码属性图和时序执行图。CT-Repair 应用三级过滤流水线构建紧凑的 TEG。三个有限状态机引导的智能体分别从静态、动态和混合视角分析每个错误，独立生成基于证据的修复策略。策略引导的生成过程将这些策略实例化为候选补丁，并使用验证反馈精炼最有前景的策略。在 Defects4J v3.0 的 854 个 Java 错误上评估，混合模型配置正确修复了 489 个错误。在受控配置下修复了 388 个错误，分别比 ReinFix 和 RepairAgent 多修复 19 个和 30 个。三种证据视角的联合比最强的单视角多修复 99 个错误。

点评: 将静态分析与动态执行有机结合，通过“多视角证据”显著提升了 APR 的根因定位能力，是智能体编程的重要进展。

7. ANGLE: 基于“Engression”的角度神经生成学习

作者: Rajdeep Pathak, Archi Roy, Tanujit Chakraborty | 分类: stat.ML, cs.LG, math.ST 链接: arxiv.org/abs/2607.12833v1

圆形数据表示角度或方向，常见于计算机视觉、生物学、地质学和气象学。传统回归针对条件均值，对于多模态、偏斜或非对称数据结构下的圆形响应，这通常会在几何上产生误导。为解决这些局限，本文引入 ANGLE，一个用于圆上非参数分布回归的轻量级深度生成框架。通过广义圆形能量分数损失优化的生成图，学习给定欧几里得和圆形协变量的角度响应完整条件分布。建立了理想的理论性质，包括损失的严格适当性和估计量的旋转等变性。该框架用于图像中物体姿态估计和风向预测，这些任务分别对监控、自动驾驶和能源系统至关重要。实验揭示了该方法在这些任务中优越的预测性能和稳健的不确定性量化。

点评: 针对圆形数据分布回归这一特殊但重要的统计问题，提出了理论上严谨、应用上有效的生成式解决方案，对自动驾驶中的姿态估计有直接价值。

8. Silent Alarm: 一种用于跨模型和量化级别比较危险识别的 J-Space 协议

作者: Roman Prosvirnin, Victor Minchenkov, Alexey Soldatov, Vladimir Bashun | 分类: cs.CR, cs.AI 链接: arxiv.org/abs/2607.12792v1

越狱鲁棒性研究通常通过用 LLM 作为判官评估生成响应来测试安全性。然而，此类评估对基准的评分过程敏感，仅捕获给定攻击集上的观察行为，而不直接揭示底层安全机制的隐藏脆弱性。本文提出 JADR，一种通过模型内部表示（Jacobi 空间）在生成首个响应 token 之前测量模型危险识别能力的协议。对于每个提示和层，记录 top-k J-space 令牌，将其分组成六个行为场景轴，并在基于 StrongREJECT 的危险样本和基于 XSTest 和 OKTest 的安全对照之间进行比较。该方法完全在被评估模型的激活上本地运行，无需外部判官模型，允许跨模型和同一模型的量化/微调变体进行比较。最终比较基于新提出的 SafetyAUC 指标。协议应用于六个模型，跨 BF16、INT8 和 INT4 三种权重表示，并与独立的 StrongREJECT 行为评估进行了对比验证。

点评: 通过分析模型内部激活而非输出文本进行安全评估，为量化攻击下模型的“隐藏脆弱性”提供了更本质的诊断工具。

本内容由 AI 辅助生成，论文信息来源于 arXiv。