最新 AI 新闻，即刻看见。

基于合并的词汇扩展在预分词器阶段停滞不前：一种用于尼泊尔语的英语保留修复方法，并已在持续预训练中得到验证

arXiv：2610.33016v1 发布类型：新 摘要：Llama-3、Qwen3 以及许多其他开源大型语言模型，均采用一种正则表达式对文本进行预分词，该表达式的词类仅允许 Unicode 字母。由于天城文的元音符号属于组合标记，此正则表达式会在每一个元音符号处切分尼泊尔语单词，因此使用该正则的模型在处理尼泊尔语时所消耗的 token 数量，是处理同等长度英语文本的 2.6 至 5.8 倍。基于合并的词汇扩展方法无法将被切分的片段重新拼接：对于 Llama-3 和 Qwen3 而言，无论新增多少次合并操作，其额外开销始终难以降至约 2.2 的阈值以下；而即便已发布的十项扩展方案，其性能也仅比这一预分词基准低不到 4%。我们针对已部署的正则表达式提出了一项小幅修改，经证明可在不包含组合标记或天城文字符的情况下，确保每个 token ID 的完整性。通过新增 32,000 次合并，该方法使尼泊尔语与英语的 token 开销比降至 1.01 倍，且

前缀键值对的重要性：在循环语言模型中用于自推测解码的RIPE缓存

arXiv：2610.34436v1 发布类型：新 摘要：循环语言模型在每个标记上会运行 $R$ 轮层，因此其键值（KV）缓存为每递归层保存 $R$ 个平面，而自推测解码（先用几轮进行初步推断，再用全部 $R$ 轮验证）会读取所有这些平面。我们发现，前缀键值的影响主要体现在较晚的阶段：在扰动幅度相同的情况下，第 25 至 32 轮的敏感度分别是第 2 至 9 轮的 $e^{15.0}$ 倍（Huginn-0125）和 $e^{12.8}$ 倍（Raven-Llama），且各平面随循环次数呈几何级数逼近最后一个平面，每轮分别达到 0.88 和 0.81。至于是否仅保留最深层的平面即可，这取决于晚期平面的成熟程度：在 Raven 上，仅存储最深层平面与从 bf16 转换为 fp32 的效果几乎无差异；而在 Huginn 上，仅有 1% 的位置就贡献了其误差的 74%。我们将这一发现转化为 RIPE，该方法存储最深层的

RSI-Opt：用于模型训练的递归自我改进优化代理

arXiv:2610.32026v1 发布类型：新 摘要：传统的神经网络训练通常遵循预先设定的优化方案，为此我们设计了一种LLM智能体，用于监控训练过程并随训练进展调整优化器参数；然而，固定不变的智能体策略无法在多次运行之间积累经验。我们提出了RSI-Opt，一种即插即用的递归自我改进优化器智能体，它能够不断演化指导这一过程的知识体系：包括一个提示、一套操作规程、一个经过验证的优化器代码库，以及一套决策节奏。一个元智能体基于先前运行中的证据重写这一策略，同时通过存档机制保留已评估的策略，以供后续进一步演化。在三项训练任务上历经五代迭代后，这些元智能体逐步形成了可复用的操作流程与代码，并自主开展其自身的…

面向开放ISA的超级计算：RISC-V、Arm与x86架构在HPC工作负载上的比较研究

arXiv：2610.32632v1 发布类型：新 摘要：RISC‑V 正在成为高性能计算（HPC）领域的候选架构，但其与成熟的 x86 和 Arm 处理器相比的竞争力仍难以评估，因为现有研究采用的平台、工作负载和方法各不相同，且很少考虑能效。我们的工作基于统一的软件栈和评估方法，对当前主流的 HPC RISC‑V、Arm 和 x86 处理器进行了全面评测。我们详细分析了 Sophgo SG2044，并将其与 NVIDIA Grace CPU 超级芯片以及 Intel Xeon Platinum 8480+ 在四项 HPC 基准测试（STREAM、HPL、HPL‑MxP 和 HPCG）以及四款典型应用（iPIC3D、PLUTO、OpenFOAM 和 llama.cpp）上进行了对比。用于本研究的 HPL‑MxP 版本链接至 OpenBLAS，并以此为基础进行构建和测试……

研究揭示大语言模型中语义意义的局部几何结构

一篇于2026年10月24日发布在arXiv的论文（编号2610.30715v1）通过跨语言探针与细化探针，在Gemma 4、Llama 3.2、Qwen 2.5和Pythia四款解码器-only大语言模型上刻画了语义意义在嵌入空间中的局部几何特性。

推荐理由该研究首次系统刻画LLM中‘同一语义因子’内部的不变性、可变性与细化机制，提出‘局部各向异性邻域’模型，并经人类盲评验证，方法严谨、模型覆盖多样，结论具跨架构一致性。

新研究揭示开放书评分主要衡量阅读行为而非知识存储

2026年10月24日发布的arXiv论文（2610.31017v1）指出，在文档级LoRA适配器评估中，开放书评分（open-book scoring）高度依赖模型即时阅读能力，而非适配器是否真正编码了对应文档的知识；随机适配器在开放书任务中可复现82%的专家适配器优势，但在无源文本的完形填空（cloze）任务中仅复现2%（统计上不可区分于零）。

推荐理由该研究通过系统控制实验（150篇维基百科文章、Llama-3.1-8B-Instruct模型、双任务对比）揭示了当前开放书评估范式的根本局限性：它无法有效区分‘读取’与‘记住’，对知识编辑和检索型适配器的实际效用构成方法论挑战；论文同时报告了四个导致‘干净但错误结果’的静默错误，凸显可复现性风险。

FusionEval发布：面向大语言模型融合的新基准测试

2026年10月24日，研究者在arXiv发布论文arXiv:2610.30162v1，提出FusionEval——首个专用于评估大语言模型融合方法的统一基准，覆盖推理链长度、工具调用等薄弱环节，并支持训练型与免训练型融合方法对比。

推荐理由该基准填补了现有评测对长链推理与工具使用覆盖不足的空白，明确区分平均性能与最差能力保留，提供可复现的专家池（基于Qwen3/Llama）、多维指标（含GPU内存与运行时）及开源代码，具强实践指导性。

研究通过奇异值谱干预调控大语言模型能力分布：Llama与Qwen模型实证分析

一项发表于2026年10月24日arXiv（编号2610.30676v1）的AI研究，对五种开源Llama和Qwen指令微调模型实施后置奇异值谱平滑与尖峰扰动，发现该轻量干预可系统性重塑模型在事实知识、语言理解与演绎推理三类能力上的表现权衡。

推荐理由该论文首次在多模型、多任务框架下实证验证了变压器前馈层奇异值谱结构对下游能力的因果影响，揭示了能力配置的结构性敏感规律，为模型能力解耦与可控编辑提供了新路径；所有结论均基于公开模型与标准评测，方法透明、评估维度全面。