测试不同的配置

Azure DevOps 服务 |Azure DevOps Server |Azure DevOps Server 2022

用户在各种配置（如不同的操作系统、Web 浏览器和其他变体）上安装或运行应用。 在具有这些不同配置的阶段中至少运行一些测试。

使用测试计划决定在哪些配置上运行哪些测试。 确保在运行测试时，为所需的配置项设置相应的阶段。

以下示意图矩阵显示了你可能想要测试的示例组合：

显示浏览器和操作系统配置测试矩阵的示意图。

先决条件

类别 要求
项目访问 项目成员。
访问级别 若要添加测试配置：Project级别的 Manage 测试配置权限设置为 Allow。 默认情况下，参与者和Project管理员组的成员具有此权限。

有关详细信息，请参阅 手动测试访问权限和权限。

TCM 命令行工具的先决条件

类别 要求
工具 Visual Studio 2017（专业或企业版）或更早版本。 TCM 可执行文件 （tcm.exe） 位于以下目录中：
- %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
- %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
- %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE
访问级别 要访问的项目中，至少需要基本访问权限及项目成员身份。 若要克隆或导入测试计划和测试套件，需要 基本 + 测试计划 访问权限。 如需更多信息，请参阅 手动测试访问和权限。

若要运行 TCM 命令，请根据需要指定 /collection 和 /teamproject 参数 /login 。

参数 说明
/集合:CollectionURL 必需。 指定团队项目集合的 URI。 URI 的格式如下：
- 对于 Azure DevOps 服务：https://dev.azure.com/OrganizationName 或 https://OrganizationName.visualstudio.com
- 对于 Azure DevOps Server：http://ServerName:Port/VirtualDirectoryName/CollectionName。 如果未使用虚拟目录，则格式为： http://ServerName:Port/CollectionName。
/teamproject：project 必需。 包含要克隆或导入自动化测试的测试对象的项目的名称。
/login：username,[password] 可选。 指定有权运行命令的有效Azure DevOps用户的名称和密码。 如果您的Windows凭据没有适当的权限、您正在使用基本身份验证或您未连接到域，请使用此选项。

查看配置和变量

查看已可用于运行测试的配置。

从 “配置” 页查看测试配置和配置变量的列表。

  1. 在项目中，从左侧导航区域选择 “测试计划>配置 ”。

    将显示当前可用于测试计划的所有测试配置和变量。

    “配置”页的屏幕截图，其中显示了测试配置和变量。

  2. 选择配置或变量以查看右侧窗格中的详细信息。

创建配置和变量

测试配置是配置变量值的组合。 你的配置变量可以是例如操作系统、浏览器、CPU 类型、数据库。 配置可能是“Windows 8 + 32 位 CPU”或“Windows 10 + 64 位 CPU”。

首先创建配置变量，然后合并多个变量值来创建配置。

  1. 在 Test Plans Web 门户中打开“配置”页，选择 + 图标，然后选择“新建配置变量”。

    “新建”菜单中“新建配置变量”选项的屏幕截图。

  2. 输入变量的名称，例如 Browser 和说明。 选择“添加新值”，然后添加一个值。 根据需要向配置变量添加任意数量的值，然后保存它。

    将值添加到新配置变量的屏幕截图。

  3. 重复这些步骤以创建所需的任何其他配置变量。 例如，创建一个名为“操作系统”的配置变量，其中包含要在其上进行测试的每个操作系统的名称。

    操作系统配置变量设置值的屏幕截图。

  4. 选择 + 图标并选择“新建测试配置”。

    “新建”菜单中“新建测试配置”选项的屏幕截图。

  5. 输入测试配置的名称，并添加创建的配置变量。 为此配置为每个变量选择一个值。

    将变量添加到新测试配置的屏幕截图。

    确保已选择 “分配到新测试计划 ”，使此配置成为你创建的所有新测试计划的默认配置。

  6. 保存你的新测试配置。

将配置分配给测试计划和套件

你可以将配置分配给测试套件或单个测试用例。 分配给测试套件的配置适用于其中的所有测试或套件。

  1. 要将配置分配给测试套件，请在“测试计划”页中选择一个计划。 在“测试套件”区域中，选择一个测试套件并选择“更多选项”或右键单击以打开上下文菜单，然后选择“分配配置”。

    测试套件的“分配配置”菜单选项的屏幕截图。

    如果将多个配置添加到测试套件，测试用例将重复你分配的每个配置。

    分配给测试套件的多个配置的屏幕截图。

  2. 如有必要，覆盖分配给测试用例的默认配置，并分配所需的配置。 选择一个或多个测试用例，打开上下文菜单，然后选择“分配配置”。

    将配置分配给测试用例的屏幕截图。

  3. 搜索并选择要分配给测试用例的配置。

    测试用例配置选择的屏幕截图。

注意

  • 配置继承：更改子套件中的配置会中断其父套件的继承。 除非子套件已覆盖该更改，否则更改仍会向下传播到较低的子套件。
  • 隐藏的测试点：取消分配配置会隐藏其相关的测试点。 若要恢复配置，请重新指定配置。

使用每个配置运行测试

为特定配置设置测试平台，例如在 Windows 10 上使用 Google Chrome 测试应用。

  1. 选择并运行分配了此配置的测试。

    测试的屏幕截图，其中选择了特定配置和“运行 Web 应用程序”选项。

    运行测试时，状态栏中会显示配置提醒。

    状态栏中此测试的配置的屏幕截图。

跟踪每个配置的测试结果

  1. 打开测试套件的“图表”页，选择“新建”，然后选择“新建测试结果图表”。

    “新建测试结果图表”菜单选项的屏幕截图。

  2. 选择图表类型，如饼图或条形图，然后选择 “按>配置 分组”，然后选择“ 确定”。

    在“配置图表”对话框中选择“按组排列”配置选项的屏幕截图。

    创建了一个图表，可帮助你根据配置跟踪测试。 你可以将此图表固定到仪表板。

    显示“未运行”、“通过”和“失败”配置测试结果的条形图的截图。

如果测试用例出现在多个测试套件中，则可以为每个套件设置不同的配置。 同一测试用例在不同的测试套件和测试计划中可以有不同的配置设置。

相关内容

  • Last updated on