jwuthri-cloud/Tracely-ai
面向 AI Agent 的回归测试与上线门禁工具：收集线上运行的 trace，用模型打分、把失败聚类，再固化成可回放的测试用例，在 PR 阶段拦截效果变差的改动。适合已有 Agent 上线、需要稳定迭代的工程团队，不适合不写代码的用户。
这个项目是什么
把生产 trace 转成可回放回归测试、并在 PR 阶段拦截效果退化的自托管工具链。
能用来做什么
- 软件开发：给 AI Agent 加 PR 级回归门禁
- 软件开发：把线上失败 trace 固化成测试用例
- 电商：客服 Agent 改版上线前做效果对比
- 内容创作：批量生成流程的输出质量抽检
- 办公：内部问答助手升级前后效果验证
上手条件
普通人
需要技术背景
图形界面
没有图形界面
部署
需要自己部署
API Key
需要
成本：自托管为主：需自备服务器与 ClickHouse 等存储；若用模型给 trace 打分，还要额外承担 LLM 调用费用。无公开价格信息。
能接入：可接入 CI/CD（如 GitHub Actions）在 PR 阶段做门禁；Topics 含 MCP，但 CLI、API、MCP 的具体形态无 README 佐证。
软件开发：Agent 版本迭代的自动化回归测试软件开发：CI 流水线中的效果门禁电商：客服机器人话术或模型更换前验证内容创作：生成质量不稳定的批量任务监控办公：内部助手上线前的失败样本复盘
商业方向与限制
可以怎么变现：可做 Agent 评测与回归测试的落地服务：帮团队接 trace 采集、搭 PR 门禁、整理失败样本；也可沉淀垂直场景的评测集与测试用例包。
限制：MIT 许可证；但未取到 README，安装方式、依赖、实际可跑通程度均无法确认；仓库创建仅一周，成熟度存疑；需自建存储与 CI，技术门槛高。
Agent 评测回归测试CI 门禁可观测性自托管
Star 历史
13 个快照2026-10-182026-10-20
页面上的中文判断由模型基于仓库信息与 README 生成，会标注不确定性；Star 与许可证等事实来自 GitHub 官方 API。发现分析有误可以在后台重新分析该仓库。