LangWatch 是什么？
LangWatch 帮助 AI 工程团队实现智能体开发的闭环工程：从需求规格（Specs）自动生成测试用例，通过文本与语音模拟真实用户行为开展持续仿真（Simulations），再基于完整调用链路（Traces）进行多维度评估（Evals）与迭代优化，形成‘规格→仿真→改进’的自动化循环；支持在本地开发、CI 流水线及生产环境中统一运行，无需重写代码即可接入任意智能体框架，并提供白盒/黑盒双模测试能力。
主要功能
支持将自然语言描述的需求自动转为可执行的智能体测试场景，直接在编辑器中编写并同步运行于本地开发与每次 Pull Request 中；
内置 LLM 评审员（Judge），可逐层展开完整调用链路（含工具调用、技能执行、MCP 服务），对单次输出或整段对话进行评分，并附带推理依据。
适用场景与人群
AI平台团队、AI工程师、负责AI Agent开发与治理的技术负责人
- 用于AI平台团队的LLM调用可观测性与评估，支持从自研Agent到工程师使用的编程助手全链路追踪、测试、路由与治理
- 通过模拟真实用户（文本与语音）进行多轮对话测试，提前发现生产环境中的Agent失效问题
- 以需求规格驱动Agent开发：将产品需求自动转为测试场景，并基于失败结果生成Pull Request修复建议
Agent运行时的完整调用链路（含工具调用、技能执行、MCP服务器交互）、自然语言编写的测试场景描述、生产环境真实Trace数据
可搜索的全量Trace数据（含Token数、成本、缓存状态）、多维度评估分数（单输出至整段对话）、主题聚类分析结果、自定义指标可视化图表、自动化生成的Prompt修订PR
常见问题
LangWatch是否支持自托管？
支持云服务、自托管及混合部署模式，数据平面可部署于用户基础设施，控制平面由LangWatch提供
能否评估图像等多模态内容？
支持图像与混合媒体内容的评估，提供统一评分界面
如何使用
- 01
在本地或CI环境中编写自然语言描述的测试场景
- 02
运行多轮并发模拟，对Agent进行文本与语音交互测试
- 03
使用LLM作为裁判（JudgeAgent）对输出进行评分，覆盖忠实度、策略合规性、降级能力等维度
- 04
将回归问题自动转化为Prompt修订建议，并通过Prompt Registry交付上线
官网与资料来源
资料更新于 2026-10-30
