最新 AI 新闻，即刻看见。

暴露并不等于承诺：针对使用工具的智能体的潜在监控器的双层评估

arXiv:2610.37679v1 发布类型：新 摘要：使用工具的语言模型容易受到间接提示注入的影响，而越来越多的研究试图通过探查模型内部来在不安全操作执行前将其捕获，但所得结果却存在严重分歧。我们认为，这种分歧很大程度上源于评估方法上的缺陷，并提出了一种双层评估协议：在评估与训练数据集中，将“提示注入”与“行为承诺”加以分离。在主要的Qwen AgentDojo基准测试集上，那些基于朴素的“不安全与其余”混合对比进行训练的监控器，大多仅学会识别“暴露”：它们会标记出所有被暴露的轨迹，无论智能体是否真正执行了相应操作，且几乎无法预测哪些情况最终会导致不安全行为。而当仅针对已暴露案例重新训练后，同一类探测器便能预测模型自身发出的不安全工具调用，时间延迟长达两秒。

评估与改进用于理解测序协议的 AI 智能体

arXiv:2610.37851v1 发布类型：新 摘要：现有的科学智能体基准测试很少评估智能体是否能够重建测序协议所指定的精确分子结构和生成流程，而这一能力对于分析定制化测序实验至关重要。我们提出了 LibStructBench，一个基于文档的基准测试，用于重建测序文库结构和分子工作流程。我们的实验表明，前沿的智能体通常能够生成大致正确的重建结果，但在精确重建方面仍不够可靠，尤其是在分子状态表示和工作流程连通性方面。更换底层语言模型所带来的平均性能差异，甚至大于更换智能体框架所产生的差异，且这种差异具有统计学上的显著性。

数据文化如何从零信任逐步发展为可交付的AI分析代理

Data Culture 构建了一个三步评估框架，使某项 AI 分析的部署准确率从 0% 提升至 94.7%。

Nace AI 推出用于搜索 AI 智能体的 Drex：在 BrowseComp-Plus 上的准确率为 92.05%，并进行了 12.6 次搜索调用

Nace AI 发布了 Drex for Search，将其 Drex 决策模型应用于 AI 智能体的文档搜索。Nace 在 BrowseComp-Plus 上取得了 92.05% 的成绩，仅需 12.6 次搜索调用，并且在 OfficeQA Pro 上实现了更少的智能体交互次数。该文章“Nace AI 为 AI 智能体发布 Drex for Search：在 BrowseComp-Plus 上取得 92.05% 成绩，仅需 12.6 次搜索调用”首发于 MarkTechPost。

Kimi 发布 K3.1 Pro，加量降价挑战 Opus 5.5

作者｜宇航猿 编辑｜靖宇 10 月 23 日上午，Kimi 官方在 X 和视频号上发了一段 24 秒的视频。 画面里是一台复古风格的老式电脑，屏幕上开着 Kimi Code，终端里一行行地写着 Three.js 代码，在生成一个复杂的 3D 场景。眼尖的网友很快在左上角的模型栏里找到了答案——「Model: Kimi K3.1」。 Kimi 官方发布的 K3.1 预热视频｜图片来源：X @Kimi_Moonshot 用一台老古董般的机器，跑一段今天最前沿的 3D 代码，这个反差本身就是月之暗面想说的话。 十几个小时后，10 月 24 日零点刚过，卡着程序员节，Kimi K3.1 Pro 正式上线，同步推出的还有一个速度快 2 到 3 倍的 Highspeed 版本。官方承诺，完整模型权重将在 11 月 4 日前放出。 距离上一代 K3 发布，过去了三个多月。这三个月里，月之暗面经历的事情，比大多数公司一年还多。 01 「加量不加价」的 0.1 先说清楚 K3.1 Pro 是什么。 它不是一个全新的模型。月之暗面明确表示，K3.1 Pro 是 K3 的后训练版本，底座没换——仍然是 2.8 万亿总参数、1040 亿激活参数的混合专家架构，仍然是 100 万 token 的上下文窗口，仍然原生支持图像和视频输入。 变的是后训练。官方的说法是投入了「大幅增加的后训练算力」，在数百个下游领域做了大规模联合强化学习，为此把强化学习框架、沙箱基础设施、长上下文推理这些底层工程都重构了一遍。 也就是时候，同一个大脑，被重新「教」了一遍怎么干活。 效果体现在榜单上。在考察编程智能体的 Terminal-Bench 4.0 上，K3.1 Pro 拿到 65.7%，超过 GPT-6 Astra 的 58.2%，和 Claude Opus 5.5 的 66.4% 只差不到一个点。上一代 K3 在

BARC基准测试：良性请求，风险后果

arXiv：2610.32024v1 发布类型：新 摘要：用户向智能体发出的任务指令往往存在固有的表述不充分问题，尤其是在安全边界方面——这会带来行为风险。为研究此类风险，我们提出了 BARC-Bench 基准，它包含涵盖九种模拟工作空间环境的 110 项任务，在这些环境中，看似无害的请求可能会为不安全操作留下可乘之机。在该基准中，我们依据工作空间记录、隐含的环境背景以及未明示的社会规范所设定的安全边界，对智能体的行为进行评估。例如，当一个智能体被要求安排离职面谈时，必须在不通过共享日历邀请过早暴露员工辞职信息的前提下安排会议。通过对四种前沿模型配置在每项任务上进行五次尝试的评估发现，m

可复现的评估作为生产型智能体中安全提示压缩的基石

arXiv:2610.31972v1 发布类型：新 摘要：评估那些基于实时、动态变化的企业数据运行的对话代理十分困难：由于后端状态不断更新，重放的会话会逐渐偏离真实情况；而今天构建的基准测试，随着其所描述的数据不断演进，也可能在不知不觉中变得过时。我们提出了一种针对生产级对话代理的离线评估框架，该框架能够在所操作的实时数据发生变化的情况下保持可复现性，并且在基准过时时能够按需重新生成。随后，我们将这一框架用作基于GEPA的提示优化的适应度函数，并通过一个正确性约束机制来防范奖励欺骗。将其应用于一款面向商家的生产级代理后，经过正确性约束的压缩处理，可在不降低保留任务正确率的前提下，将代理的完整提示空间缩小3.5%至7.6%。

研究揭示编码智能体基准测试中的“规范-预言机差距”问题

一篇于2026年10月24日发布在arXiv的论文指出，当前主流编码智能体基准（如SWE-Milestone）存在“规范-预言机差距”：任务自然语言描述未涵盖测试所需的关键实现细节（如常量名、模块路径、精确错误消息），导致评测实际衡量的是对上游代码的复现能力而非真正理解与推理能力。

推荐理由该研究首次形式化定义该类偏差，构建覆盖五种语言的静态审计工具（精度89.2%，召回率92.9%），并在SWE-Milestone中实证发现25个里程碑任务含不可推断的隐式依赖，显著拉高失败率（80.6% vs 48.4%），揭示当前排行榜可能系统性偏爱‘抄名称’型智能体；成果已开源审计工具与修正资源，具方法论与实践双重价值。