CulturalCrosswords:一个由答案约束和网格填空组成的多语言基准测试集
arXiv:2611.10044v1 公告类型:新 提要:当多个答案都能符合谜题时,精确匹配评分可能会惩罚有效的回应。CulturalCrosswords 测试了答案约束如何影响大型语言模型(LLM)解答文化类谜题,这类谜题的解答依赖于特定社群的知识。我们从42种语言的众包谜题中构建了53份填字游戏,并在每套线索的五个版本上评估了11种 LLM 配置:普通批次、带长度提示的批次、带长度和部分答案提示的批次,以及要求提供答案列表或完整网格的填字游戏。在包含备选答案的962条线索中,与参考答案的一致性在加入长度约束后提升了22.8个百分点,而仅接受备选答案并给予相应分数时仅提升8.4个百分点。因此,部分收益似乎源于对所需答案形式的选择。填字游戏输入使所有交叉处具有兼容答案的比例提高了9.7个百分点;要求填写完整网格则揭示了各模型之间的显著差异。该基准测试区分了与参考答案的一致性,与生成能够相互匹配并占据正确单元格的答案的能力。



