13:00
ToolTurns：多轮对话中 LLM 智能体的基准测试
arXiv:2611.14925v1 公告类型：新 发表摘要：使用工具的语言模型正越来越多地应用于对话场景，但大多数大规模工具使用基准测试都聚焦于孤立的请求。我们提出了 ToolTurns 基准，包含 2,620 个问题，涵盖 1,827 种工具和 11,004 个 API 端点，涉及 47 个类别。每个对话均从一个有意描述不充分的请求开始，并通过两个依赖上下文的后续请求延续，以测试澄清、工具使用以及对话上下文的保持能力。我们还引入了一个开源用户模拟器，该模拟器可通过对话揭示被隐藏的上下文并生成后续请求，并配备了一个检查—修正流水线来改进其对话轮次。在九个语言模型中，表现最佳的智能体能够解决 69.6% 的单个请求，但仅完成 39.8% 的完整对话。根据这一评估协议，所有受测模型在后续请求上的成功得分均低于初始请求，而对话质量评分与任务成功率对模型的排名可能大相径庭。成对的轮次级评估表明，检查—修正流程能减少检测到的对话缺陷，且盲测的人类评价更倾向于修订后的对话轮次。ToolTurns 为评估智能体能否在使用工具的多轮对话中持续达成任务目标提供了测试平台。