13:00
EvoCache：利用公共缓存锚点加速浏览器中的大语言模型交付
arXiv:2611.04638v1 公告类型：新 基础摘要：大型语言模型（LLM）可以直接在浏览器中运行，但通常需要先下载数百 MiB 甚至数 GiB 大小的模型文件。同一款 LLM 往往由不同发布者重新打包；这些文件内容高度相似，但字节级差异导致全文件缓存无法复用它们。我们提出了 EvoCache，一种由浏览器管理的 LLM 分发系统。EvoCache 利用由浏览器预先存储且独立于浏览历史的公共缓存锚点，无损重建站点请求的发布者版本。站点仅需指定目标，浏览器则选择锚点并执行重建，整个过程对站点保持透明。对 1,000 个公开仓库的审计发现，100 款最受欢迎的 LLM 中有 61 款由多个发布者提供，且 98.1% 的重叠版本无法通过全文件缓存复用。在 23 对跨发布者模型包组合中，EvoCache 实现了 77.3% 的流量中位数降低，性能优于所有对比方案。在 240 项真实的端到端浏览器实验中，与普通完整下载相比，EvoCache 将网络流量降低了 78.9%，页面就绪时间缩短了 64.2%。对于其他站点留下的缓存数据，EvoCache 还通过为缓存命中和未命中使用相同的返回时间，保护用户的跨站缓存隐私。