Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Azure DevOps Services | Azure DevOps Server | Azure DevOps Server 2022
Os testes automatizados em Azure Test Plans conecta seu código de teste automatizado para testar itens de trabalho de caso. Você pode executar testes sob demanda por meio de planos de teste, acompanhar resultados juntamente com testes manuais e medir a qualidade do nível de requisito. Este artigo percorre o fluxo de trabalho completo, desde a gravação de testes até a análise de resultados.
Fluxo de trabalho de teste automatizado de ponta a ponta
A configuração de testes automatizados envolve as seguintes etapas:
- Criar testes automatizados — escreva testes em uma estrutura com suporte e verifique-os no controle do código-fonte.
- Configurar um pipeline de build – Crie um pipeline que compile seu projeto de teste e produza binários de teste.
- Associar testes a casos de teste — vincule cada método de teste automatizado a um item de trabalho de caso de teste para rastreabilidade.
- Executar testes automatizados — execute testes sob demanda de Planos de Teste ou como parte de pipelines de CI/CD.
- Examinar os resultados e acompanhar a qualidade — analise os resultados de aprovação/falha, acompanhe a cobertura de requisitos e identifique tendências.
Pré-requisitos
| Category | Requisito |
|---|---|
| Acesso ao Projeto | Membro do projeto. |
| Níveis de acesso | - Para visualizar itens de trabalho relacionados a testes ou executar casos de teste: pelo menos o acesso Básico. Os usuários com acesso Stakeholder não têm acesso aos planos de teste. – Para exercer toda a variedade de recursos relacionados a testes: nível de acesso Basic + Planos de Teste ou uma das seguintes assinaturas do Visual Studio: - Empresa - Profissional de Teste - Plataformas MSDN |
| Permissões |
Permissões de caminho de área: – Para adicionar ou modificar os planos de teste, os conjuntos de testes, os casos de teste ou outros tipos de item de trabalho baseados em teste: edite itens de trabalho neste nó com a opção Permitir. – Para modificar as propriedades do plano de teste, como as configurações de build e teste: gerencie os planos de teste com a opção Permitir. – Para criar e excluir conjuntos de testes, adicione e remova casos de teste de conjuntos de testes ou altere as configurações de teste associadas aos conjuntos de testes: Gerenciar conjuntos de testes definidos como Permitir. Permissões em nível de projeto: – Para exibir, criar ou excluir execuções de teste: exibir execuções de teste, Criar execuções de teste e excluir execuções de teste definidas como Permitir. – Para gerenciar configurações de teste ou ambientes de teste: gerenciar configurações de teste e gerenciar ambientes de teste definidos como Permitir. - Para adicionar novas marcas a itens de trabalho baseados em testes: crie a definição de marca com a opção Permitir. – Para excluir permanentemente itens de trabalho baseados em teste: exclua permanentemente os itens de trabalho definidos como Permitir. |
Para obter mais informações, consulte Acesso a testes e permissões manuais.
Additionally:
| Category | Requisitos |
|---|---|
| Permissões de pipeline | Para executar testes automatizados de planos de teste, você precisa de permissões de versão (Criar versões, gerenciar implantações, editar estágio de lançamento). Para obter mais informações, consulte Release permissions. |
| Ferramentas | Visual Studio 2017 ou posterior (Enterprise ou Professional) para associar testes de Visual Studio. Não é necessário se você associar testes do portal da Web do Azure DevOps. |
Etapa 1: Criar testes automatizados
Escreva testes automatizados usando qualquer estrutura com suporte. Verifique o projeto de teste em Azure Repos ou um repositório de GitHub conectado.
Estruturas com suporte
| Framework | Associar no Visual Studio | Associado em Azure DevOps |
|---|---|---|
| MSTest v1/v2 | Sim | Sim |
| NUnit | Sim | Sim |
| xUnit | Sim | Sim |
| Selénio | Sim | Sim |
| Testes de interface do usuário codificados | Sim | Sim |
| Python (ferramenta PyTest) | No | Sim |
| Java (Maven/Gradle) | No | Sim |
Para obter diretrizes sobre como escrever testes de interface do usuário executados de forma confiável em pipelines de CI/CD, consulte as considerações de teste de interface do usuário. Para obter um exemplo de Selenium passo a passo, consulte Executar testes de interface do usuário com Selenium.
Etapa 2: Configurar um pipeline de compilação
Crie um pipeline de build que compile seu projeto de teste e produza artefatos contendo os binários de teste. Há suporte para os pipelines Clássicos e YAML.
- Crie seu primeiro pipeline caso ainda não tenha um.
- Certifique-se de que seu pipeline compile o projeto de teste e publique os binários de teste como artefatos de compilação.
- Use a tarefa do Visual Studio Test ou a tarefa do Azure Test Plan para executar e relatar testes em seu pipeline.
- Caso o pipeline execute testes, os resultados aparecerão automaticamente na guia Testes da execução do pipeline.
Para publicar os resultados do teste de executores de teste não Microsoft, use a tarefa Publish Test Results.
Etapa 3: Associar testes automatizados com casos de teste
Ao associar um método de teste a um item de trabalho de caso de teste, você obtém estes benefícios:
- Execução sob demanda de planos de teste
- Requisitos de rastreabilidade – quando os casos de teste são vinculados a histórias do usuário, os resultados automatizados mostram a qualidade no nível do requisito
- Relatórios unificados – os resultados de teste automatizados e manuais aparecem juntos no Hub de Execução de Teste
Você pode associar testes do Visual Studio ou do portal da Web Azure DevOps:
- Visual Studio — Abra Test Explorer, selecione um método de teste e escolha Associate to Test Case. Dá suporte a estruturas de .NET (MSTest, NUnit, xUnit, Selenium, interface do usuário codificada).
- Portal do Azure DevOps: associe a partir de resultados de teste do pipeline ou diretamente de um item de trabalho de caso de teste. Dá suporte a todas as estruturas, incluindo Python e Java.
Para obter instruções completas, consulte Associar testes automatizados a casos de teste.
Importante
Você pode associar um método de teste a vários casos de teste, mas cada caso de teste só pode ter um método de teste associado.
Etapa 4: executar testes automatizados
Executar a partir de planos de teste (sob demanda)
Execute testes automatizados diretamente de Azure Test Plans sem precisar configurar builds agendados. Selecione casos de teste específicos e execute-os em um pipeline de build e lançamento configurado nas configurações do plano de teste.
Para obter instruções passo a passo, consulte Executar testes automatizados de planos de teste.
Executar a partir dos pipelines (CI/CD)
Execute testes automatizados como parte do pipeline de compilação ou de liberação. Os testes são executados automaticamente em cada confirmação ou implantação e os resultados aparecem na guia Testes do pipeline.
- Executar testes em paralelo : distribua testes entre vários agentes para reduzir o tempo de execução. Consulte Executar testes VSTest em paralelo ou Executar todos os testes em paralelo.
- Executar somente testes afetados — use a Análise de Impacto de Teste para selecionar automaticamente os testes afetados por alterações de código. Consulte Análise de Impacto do Teste.
Etapa 5: Examinar os resultados do teste e acompanhar a qualidade
Resultados do teste
- Em Planos de Teste – Exibir resultados de aprovação e reprovação para testes automatizados e manuais juntos no Hub de Execução de Testes. Selecione qualquer execução de teste para ver resultados detalhados, mensagens de erro e rastreamentos de pilha.
- Em Pipelines: veja os resultados de teste na guia Testes de qualquer execução de pipeline. Confira os resultados do teste de Revisão.
Análise e tendências
- Análise de Teste – Identifique os principais testes com falha, acompanhe as tendências de taxa de aprovação e analise os padrões de falha entre builds. Consulte Análise de Teste.
- Cobertura de código – Medir quais partes do código são exercidas por testes. Consulte Revisar resultados de cobertura de código.
- Gerenciamento de testes instáveis – detecte e gerencie testes com resultados não determinísticos para evitar falsas falhas de compilação. Consulte Gerenciar testes instáveis.
Rastreabilidade de requisitos
Quando você vincula casos de teste a requisitos (histórias de usuário, PBIs), os resultados de teste automatizados mostram a qualidade no nível do requisito. Acompanhe quais requisitos passam, falham ou não têm cobertura de teste. Consulte rastreabilidade de requisitos.