Python QA 自动化
结果契约
- 将此技能视为业务期望明确后的 QA 内部循环。
- 每次调用完成一个即时可交付物。不要自动从设计阶段进入实现、集成或故障修复阶段。
- 保持 API 和 UI 为独立的模式。在 UI 模式下,仅将 API 调用用于与 UI 场景相关的设置、清理或后置条件检查。
- 通过
Clarified、Ready和Verified关卡,并提供证据;调用技能本身不视为完成的证据。
预检
- 阅读
references/common-rules.md。 - 将
<skill-dir>解析为包含此SKILL.md的目录;从该目录运行捆绑的脚本,而不是从目标项目目录运行。 - 识别目标项目的根目录,并阅读其指令、清单、相关测试和
git status,然后再进行编辑。 - 识别源材料、预期结果、环境边界、数据所有权和验证方法;对于生成代码的路径,需要一个命令。
- 如果无法找到或确认预期结果,则停留在测试设计阶段,并将该场景标记为探索性/手动测试,而不是发明断言。
选择一条路线
根据用户请求的即时结果,精确选择一条交付路线。将源材料和 API/UI 模式视为路线的输入,而不是额外的路线。
| 路线 | 当即时可交付物为 | 所需参考 | 完成条件 |
|---|---|---|---|
test-design | 覆盖矩阵或自动化建议,不包含代码 | references/test-design.md | 预期结果、层次、优先级、数据和自动化决策均已明确 |
new-project | 在空/新目标中可运行的 minimal pytest 脚手架 | 所选模式指南 | 脚手架验证通过,且一个有意义的基本测试已收集或运行 |
existing-project | 在现有仓库中进行最小兼容的测试变更 | references/existing-project.md 以及所选模式指南 | 项目约定得以保留,且受影响的验证通过 |
delivery-integration | CI、Jenkins、报告、发布关卡或性能冒烟测试 | references/delivery-integrations.md | 请求的集成已添加,且本地可检查的部分已验证 |
failure-analysis | 基于证据的对失败测试的分类或修复 | references/failure-analysis.md | 根本原因得到支持,或已命名下一个缺失的探测点 |
不要仅仅因为一个任务包含需求、现有仓库和 UI 流程就合并路线。例如,向现有 Playwright 项目中添加结账覆盖属于 existing-project 的 ui 模式;在测试点尚未批准时,加载 test-design.md 作为辅助指南。
在需要时选择模式
- 对于
test-design,让矩阵选择最可靠的底层;在此决策之前不要强制使用 API 或 UI。 - 对于端点行为、契约、认证、验证、状态和集成,选择
api模式。阅读references/api-mode.md。 - 对于浏览器行为、客户端验证、布局相关的交互和关键用户旅程,选择
ui模式。阅读references/ui-mode.md。 - 当现有项目和证据已经确定了技术栈时,不要对纯交付工作或失败分析要求模式。
- 如果请求的可交付物会创建并行的 API 和 UI 套件,请用户选择其中一个。UI 的设置/清理 API 调用不视为并行的 API 套件。
加载条件参考
- 对于需求、用户故事、Bug 单、发布范围、截图或任何测试点尚未批准的变更,阅读
references/test-design.md。 - 对于登录、创建/更新/删除、上传、种子数据、设置/清理或服务器端状态检查,阅读
references/test-data.md。 - 对于间歇性失败、定时、等待、重试、轮询、动态 UI 或并行干扰,阅读
references/flaky-diagnosis.md。 - 对于模式、契约、兼容性、权限、角色、租户、所有权或错误码覆盖,阅读
references/api-contracts.md。 - 对于 Appium/移动端、视觉回归、多标签/窗口、下载、上传、对话框、iframe 或复杂浏览器状态,阅读
references/advanced-ui.md。
关卡和项目资产
按顺序通过以下关卡:
- Clarified:源、所有者或权威、预期结果、范围和非范围均已明确。
- Ready:路线、需要时的模式、生成代码的目标文件、数据/清理边界、环境安全性和验证方法均已明确。
- Verified:生成代码的路线运行了目标命令和相关的回归测试;仅设计的路线将每个预期结果追溯到一个已批准的源。说明所有未验证的部分和原因。
如果目标项目有 TEST_PLAN.md 或其指令要求一个,在选择覆盖之前阅读它,在实现之前将活动场景设置为 In Progress,并且仅在验证通过后将其标记为 Automated。除非用户或项目规则要求,否则不要向不使用的项目中引入 TEST_PLAN.md。
执行所选路线
- 对于
existing-project,在编辑之前检查仓库并阅读报告的文件。 - 说明所选路线、模式、即时可交付物、目标文件和明确的非范围。
- 当预期行为尚未批准时,在代码之前生成或确认测试点。
- 进行能完成所选路线的最小改动;保留现有项目结构,避免相邻的后备工作。
- 首先运行窄目标验证,然后运行相关的回归命令。
- 仅在匹配的关卡通过后更新项目测试计划状态。
- 在所选路线的完成条件处停止并返回交接。不要自动调用另一个技能或路线。
对于 test-design,不要编辑自动化代码。对于 failure-analysis,当请求的结果仅是诊断时不要编辑;仅当用户请求修复且证据支持根本原因时才进行修复。
捆绑工具
将 <skill-dir> 替换为此技能的绝对目录。
检查现有项目:
python "<skill-dir>/scripts/inspect_project.py" "<project-dir>"
仅脚手架到新的或空目标:
python "<skill-dir>/scripts/scaffold.py" --mode api --out "<output-dir>" --project-name "<name>"
python "<skill-dir>/scripts/scaffold.py" --mode ui --out "<output-dir>" --project-name "<name>"
脚手架拒绝覆盖现有文件。除非用户明确要求替换生成的文件,否则不要传递 --force。
验证生成或编辑的 Python/TOML:
python "<skill-dir>/scripts/validate_generated.py" "<project-dir>"
python "<skill-dir>/scripts/validate_generated.py" "<project-dir>" --collect
对于现有项目,使用目标项目自身的测试命令作为主要验证。将验证器状态 partial 视为未验证;在声明收集通过之前,在目标项目的环境中安装依赖项。对于 UI 执行,确保已安装所需的 Playwright 浏览器。
交接
报告:
- 所选路线和模式;
- 作为标准的来源需求和预期结果;
- 更改的文件,以及
TEST_PLAN.md状态(如适用); - 验证命令以及精确的通过、失败、部分或跳过结果;
- 未验证的工作、剩余风险以及如果需要另一条路线时的下一步决策。
非范围
- 默认情况下不要构建混合 API+UI 框架。
- 在 UI 模式下,不要添加广泛的 API 端点覆盖;API 调用仅用于与 UI 场景相关的设置、清理或后置条件检查。
- 默认情况下不要添加 CI、Jenkins、Allure、Appium、桌面自动化、视觉回归或性能测试;仅在明确请求和界定时添加它们。
- 不要创建
.env、存储凭据、调用生产系统或发明真实的令牌。 - 不要在生成的测试项目中添加 LLM API 依赖。主机代理负责推理和修复。