科利布里:帕累托前沿上的主权欧洲模型
arXiv:2610.31945v1 发布类型:新 摘要:本报告介绍了 Kolibri,一种英德混合的专家级 Transformer 模型,总参数量为 781 亿,每个 token 的活跃参数量为 34.6 亿,并以 Apache 2.0 许可证公开了模型权重。我们构建 Kolibri 的目标是实现主权化与专业化部署,尤其聚焦于德语以及公共管理、工业和航空航天等受监管领域。为支持这些应用场景,我们全程把控模型研发流程,涵盖数据、架构、训练基础设施、后训练阶段及评估环节。我们在预训练、中期训练和长上下文扩展三个阶段累计使用了 24T tokens 进行训练,其中德语数据在字节层面占比超过 20%。为达成这一比例,我们还对德语数据集进行了补充……



