最新 AI 新闻，即刻看见。

前缀键值对的重要性：在循环语言模型中用于自推测解码的RIPE缓存

arXiv：2610.34436v1 发布类型：新 摘要：循环语言模型在每个标记上会运行 $R$ 轮层，因此其键值（KV）缓存为每递归层保存 $R$ 个平面，而自推测解码（先用几轮进行初步推断，再用全部 $R$ 轮验证）会读取所有这些平面。我们发现，前缀键值的影响主要体现在较晚的阶段：在扰动幅度相同的情况下，第 25 至 32 轮的敏感度分别是第 2 至 9 轮的 $e^{15.0}$ 倍（Huginn-0125）和 $e^{12.8}$ 倍（Raven-Llama），且各平面随循环次数呈几何级数逼近最后一个平面，每轮分别达到 0.88 和 0.81。至于是否仅保留最深层的平面即可，这取决于晚期平面的成熟程度：在 Raven 上，仅存储最深层平面与从 bf16 转换为 fp32 的效果几乎无差异；而在 Huginn 上，仅有 1% 的位置就贡献了其误差的 74%。我们将这一发现转化为 RIPE，该方法存储最深层的

RSI-Opt：用于模型训练的递归自我改进优化代理

arXiv:2610.32026v1 发布类型：新 摘要：传统的神经网络训练通常遵循预先设定的优化方案，为此我们设计了一种LLM智能体，用于监控训练过程并随训练进展调整优化器参数；然而，固定不变的智能体策略无法在多次运行之间积累经验。我们提出了RSI-Opt，一种即插即用的递归自我改进优化器智能体，它能够不断演化指导这一过程的知识体系：包括一个提示、一套操作规程、一个经过验证的优化器代码库，以及一套决策节奏。一个元智能体基于先前运行中的证据重写这一策略，同时通过存档机制保留已评估的策略，以供后续进一步演化。在三项训练任务上历经五代迭代后，这些元智能体逐步形成了可复用的操作流程与代码，并自主开展其自身的…

研究揭示大语言模型中语义意义的局部几何结构

一篇于2026年10月24日发布在arXiv的论文（编号2610.30715v1）通过跨语言探针与细化探针，在Gemma 4、Llama 3.2、Qwen 2.5和Pythia四款解码器-only大语言模型上刻画了语义意义在嵌入空间中的局部几何特性。

推荐理由该研究首次系统刻画LLM中‘同一语义因子’内部的不变性、可变性与细化机制，提出‘局部各向异性邻域’模型，并经人类盲评验证，方法严谨、模型覆盖多样，结论具跨架构一致性。

研究通过奇异值谱干预调控大语言模型能力分布：Llama与Qwen模型实证分析

一项发表于2026年10月24日arXiv（编号2610.30676v1）的AI研究，对五种开源Llama和Qwen指令微调模型实施后置奇异值谱平滑与尖峰扰动，发现该轻量干预可系统性重塑模型在事实知识、语言理解与演绎推理三类能力上的表现权衡。

推荐理由该论文首次在多模型、多任务框架下实证验证了变压器前馈层奇异值谱结构对下游能力的因果影响，揭示了能力配置的结构性敏感规律，为模型能力解耦与可控编辑提供了新路径；所有结论均基于公开模型与标准评测，方法透明、评估维度全面。