从需求分析到 UI 自动化，AI 赋能开发测试工具

前言大家好我是一名刚工作一年的测试工程师。去年 12 月到今年 2 月趁着有点空闲时间我用业余时间做了一个 AI 驱动的测试工具 ——AITestCase一款 Chrome 浏览器扩展插件。最近因为一些个人原因这个项目暂停迭代了一段时间。现在我打算重新开始维护和更新它所以想在这里和大家分享一下也希望能收集到一些实用的需求和建议。项目地址GitHub - LiuYuan0115/AITestCase: AI Agent 测试插件可辅助测试工程师生成测试用例、测试计划、接口、UI测试等日常测试 · GitHub 为什么做这个插件做测试这一年我发现日常工作中有几个痛点PRD 分析费时间需求文档来了要手动梳理功能点、提取测试点测试用例编写重复劳动多很多场景都是相似的但还是要一条条写UI 自动化成本高写 Selenium 代码又慢又容易坏维护成本高质量评估靠人工用例写完了覆盖度够不够、有没有遗漏得靠经验所以我想能不能用 AI 来辅助这些工作让 AI 帮我们做重复劳动人只需要审核和调整。于是就有了这个项目。 插件能做什么AITestCase 是一个端到端的 AI 测试工作流工具从需求分析到用例生成再到 UI 自动化执行都能用 AI 来辅助完成。主界面一览插件提供了三个角色视图PM / DEV / QA每个角色都有针对性的 AI 助手。我们测试人员主要用 QA 角色。QA 工作流5 个步骤搞定测试1.分析 → 2.PRD → 3.测试点 → 4.用例 → 5.测试第 1 步分析— 提取需求文档内容输入一个 URL或者上传 PDF、图片、文字文档插件自动提取页面内容、截图、OCR 识别文档内容会存入知识库后续可以复用第 2 步PRD— AI 生成优化的需求文档AI 会分析原始需求输出一份结构化的 PRD 文档包含功能描述、业务规则、边界条件等格式清晰方便后续测试点提取第 3 步测试点— 自动提取测试要点基于 PRD 自动提取测试点输出思维导图格式层次清晰可以手动编辑、补充遗漏的点第 4 步用例— 生成测试用例根据测试点生成详细的测试用例支持多种格式思维导图、表格、YAML、JSON用例包含前置条件、操作步骤、预期结果第 5 步测试— UI 自动化执行这是我觉得最酷的部分生成的测试用例可以直接交给 AI 执行 UI 自动化不需要写代码AI 会自己理解步骤、定位元素、执行操作实时看到执行进度、截图、日志执行完成后会生成测试报告️ 技术实现架构设计整个项目分为三个服务服务技术栈端口职责Agent ServerPython FastAPI LangGraph8000AI 对话、测试用例生成、文档管理Midscene SidecarNode.js Midscene SDK3000UI 自动化执行引擎Chrome ExtensionVue 3 WXT—浏览器插件前端UI 自动化的核心三种执行模式这是我花时间最多的部分。为了平衡准确性、速度和成本我设计了三种执行模式模式执行方式适用场景AI 开销自由模式AI 一次性规划整个流程复杂的端到端测试高混合模式逐步执行三层降级策略标准结构化用例中回归模式回放保存的 YAML 基线回归测试零不调用 AI混合模式的三层降级策略是亮点Layer 1: Instant— 正则匹配步骤意图直接调用基础操作点击、输入、滚动等零 AI 开销Layer 2: aiAct— 如果正则匹配失败或操作失败让 AI 理解步骤并执行Layer 3: deepThink— 如果还失败启用 AI 深度思考模式分析页面后再执行这样既能保证成功率又能降低 AI 调用成本。大多数标准操作点击登录按钮、在邮箱输入框中输入 xxx都能被 Layer 1 直接处理不产生 AI 费用。技术亮点LangGraph 智能体编排使用 LangGraph 管理 AI Agent 的工作流支持 PRD 分析、测试用例生成、质检评估等多个 AgentChromaDB 向量检索历史用例、知识库文档都存入向量数据库支持语义搜索和 RAG 增强三层缓存系统LLM 响应缓存、Embedding 缓存、PDF 解析缓存大幅降低重复调用成本Midscene SDK基于视觉的元素定位不依赖 CSS Selector页面改版后也能工作SSE 流式输出实时看到 AI 生成进度和测试执行进度 实际应用场景场景 1快速分析新需求PM 发来一个需求文档 URL打开插件输入 URL点击分析 → AI 自动提取内容点击PRD → AI 生成结构化需求文档点击测试点 → AI 提取所有测试要点原本需要 1-2 小时的需求分析工作现在 5 分钟搞定。我只需要审核 AI 的输出补充遗漏的边界条件。场景 2批量生成回归用例每次版本迭代都要写一堆重复的登录、注册、密码重置的用例在用例步骤输入简单描述用户登录邮箱密码登录密码 8-16 位失败 3 次锁定AI 自动生成完整的测试用例正常登录、错误密码、账号锁定等场景导出为表格格式导入测试管理平台场景 3探索性测试 → 自动化回归第一次测新功能时手动测试一遍记录步骤把步骤粘贴到插件选择自由模式执行AI 理解步骤后自动执行成功后自动保存为 YAML 基线下次回归测试时直接回归模式回放 YAML零 AI 开销 使用体验优点上手快不需要写代码会用 Chrome 扩展就能用节省时间用例编写效率提升 70%主观感受灵活性高支持多种输入格式URL、PDF、文字、图片多种输出格式自动化门槛低不会写 Selenium 代码也能做 UI 自动化局限性坦白说依赖 AI 服务需要自己配置 OpenAI/Claude API Key有一定成本我用的是第三方代理 API成本还能接受复杂交互可能失败拖拽、Canvas 操作、复杂表单等场景AI 成功率不是 100%中文环境优化Prompt 主要针对中文优化英文场景可能效果差一些部署稍复杂需要启动三个服务Agent Server、Midscene Sidecar、Chrome Extension对新手有点门槛 快速开始如果你想试试这个插件按照以下步骤1. 环境要求Node.js 18Python 3.9Chrome 882. 克隆项目git clone https://github.com/LiuYuan0115/AITestCase.git cd AITestCase3. 启动后端服务cd agent-server python3 -m venv venv source venv/bin/activate pip install -r requirements.txt cp .env.example .env # 编辑 .env 填入你的 OPENAI_API_KEY python agent_server.py4. 启动 UI 自动化引擎cd agent-server/midscene-sidecar npm install npm run dev5. 构建 Chrome 扩展cd solvely-mvp npm install npm run dev6. 安装扩展打开 Chrome访问chrome://extensions/开启「开发者模式」点击「加载已解压的扩展程序」选择solvely-mvp/.output/chrome-mv3详细文档见项目 READMEAITestCase/README.md at main · LiuYuan0115/AITestCase · GitHub结语作为一个刚入行一年的测试这个项目让我学到了很多从 Python 后端到 Vue 前端从 LangGraph 智能体到 Chrome 扩展开发。过程中踩了无数坑但每次解决一个问题都很有成就感。虽然项目还有很多不完善的地方但我相信持续迭代能让它变得更好。希望能和 testerhome 的大家一起进步学习~最后下方这份完整的软件测试 视频教程已经整理上传完成需要的朋友们可以自行领取【保证100%免费】​​​软件测试面试文档我们学习必然是为了找到高薪的工作下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料并且有字节大佬给出了权威的解答刷完这一套面试资料相信大家都能找到满意的工作。