摘要：在低于8位的算术运算下训练大型语言模型（LLMs）有望显著提升内存带宽与计算吞吐，然而FP4格式引入的量化误差若不加以处理，将严重扰乱优化过程。我们提出ALTO，这是一种开源的训练方案，用于在MLPerf小型MoE训练基准上，以MXFP4微缩尺度格式对GPT-OSS-20B——一款拥有200亿参数的专家混合模型（MoE）——进行训练。该方案融合了Abecassis、Felix等人[arXiv:2509.25149]提出的成熟技术（混合1D/2D块量化、随机化哈达马变换以及随机舍入），并结合了一种基于TetraJet-v2[arXiv:2510.27527]改进的简化权重去振荡机制。在C4验证集上，采用全局批量大小16时，MXFP4 + RHT + SR + 去振荡策略在16,128步后达到3.3350的验证损失，仅比BF16基线（3.3283）高出0.007，弥补了未使用去振荡的MXFP4（3.3418）所留下的约50%差距。从达到MLPerf质量目标（验证损失3.34）所需的步数来看，去振荡将FP4相对于BF16的收敛开销从+20.0%降至+5.0%。此外，我们还报告了来自差分梯度估计、异常值裁剪以及宏块缩放等方法的负面端到端结果，尽管这些方法在算子级信噪比方面均有所提升。所有实验均在AMD MI300硬件上使用模拟的MXFP4内核进行，且尚未对实测运行时间进行优化。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值观，并且只与同样秉持这些理念的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。