Azure DevOps 서비스 | Azure DevOps Server | Azure DevOps Server 2022
테스트 코드와 요구 사항 간에 추적 가능성을 사용하도록 자동화된 테스트를 테스트 사례와 연결합니다. 자동화된 테스트 메서드를 테스트 사례 작업 항목에 연결하는 경우 다음을 수행할 수 있습니다.
- 테스트 계획에서 자동화된 테스트 실행 - Azure Test Plans에서 필요 시 자동화된 테스트를 트리거하거나, Visual Studio Test 또는 Azure Test Plan 작업을 사용하여 CI/CD 파이프라인의 일환으로 수행합니다.
- 요구 사항 품질 추적 - 테스트 사례가 요구 사항(사용자 스토리, PPI)에 연결된 경우 자동화된 테스트 결과가 요구 사항 수준 품질을 표시하기 위해 진행됩니다. 자세한 내용은 요구 사항 추적 기능을 참조 하세요.
- 테스트 계획에서 결과 보기 - 테스트실행 허브에서 수동 테스트 결과와 함께 자동화된 테스트 통과/실패 결과를 참조하세요.
필수 구성 요소
| 범주 | 요구사항 |
|---|---|
| 프로젝트 접근 | Project 구성원. |
| 액세스 수준 | - 테스트 관련 작업 항목을 보거나 테스트 사례를 실행하려면 최소 기본 액세스입니다.
관련자 액세스 권한이 있는 사용자는 테스트 계획에 액세스할 수 없습니다. - 테스트 관련 기능의 전체 범위를 연습하려면: Basic + 테스트 계획 액세스 수준 또는 다음 Visual Studio 구독 중 하나: - 엔터프라이즈 - 테스트 전문가 MSDN 플랫폼- |
| 사용 권한 |
영역 경로 권한: - 테스트 계획, 테스트 도구 모음, 테스트 사례 또는 기타 테스트 기반 작업 항목 유형을 추가하거나 수정하려면 이 노드의 작업 항목을 허용으로 설정합니다. - 빌드 및 테스트 설정과 같은 테스트 계획 속성을 수정하려면: 허용으로 설정된 테스트 계획을 관리합니다. - 테스트 도구 모음을 만들고 삭제하려면 테스트 도구 모음에서 테스트 사례를 추가 및 제거하거나 테스트 도구 모음과 연결된 테스트 구성을 변경합니다. 허용으로 설정된 테스트 도구 모음을 관리합니다. 프로젝트 수준 권한: - 테스트 실행을 보거나 만들거나 삭제하려면: 테스트 실행 보기, 테스트 실행 만들기 및 허용으로 설정된 테스트 실행 삭제 - 테스트 구성 또는 테스트 환경을 관리하려면: 테스트 구성을 관리하고허용으로 설정된 테스트 환경을 관리합니다. - 테스트 기반 작업 항목에 새 태그를 추가하려면: 허용으로 설정된 태그 정의를 만듭니다. - 테스트 기반 작업 항목을 영구적으로 삭제하려면: 허용으로 설정된 작업 항목을 영구적으로 삭제합니다. |
자세한 내용은 수동 테스트 액세스 및 권한참조하세요.
지원되는 테스트 프레임워크
다음 표에서는 Visual Studio 및 Azure DevOps 연결을 지원하는 테스트 프레임워크를 보여 줍니다.
| 프레임워크 | Visual Studio 연결 | Azure DevOps에서의 연관 |
|---|---|---|
| MSTest v1/v2 | 지원됨 | 지원됨 |
| NUnit | 지원됨 | 지원됨 |
| xUnit | 지원됨 | 지원됨 |
| 셀레늄 | 지원됨 | 지원됨 |
| 코딩된 UI 테스트 | 지원됨 | 지원됨 |
| Python(PyTest) | 지원되지 않음 | 지원됨 |
| Java(Maven 및 Gradle) | 지원되지 않음 | 지원됨 |
메모
.NET Core 프레임워크를 사용하는 테스트는 Visual Studio 2017 버전 15.9 이상을 사용하는 경우 테스트 사례와 연결할 수 있습니다. .runsettings 파일에서 적절한 대상 프레임워크를 지정합니다.
테스트 프로젝트 생성 및 빌드 파이프라인 설정
- 자동화된 테스트를 포함하는 테스트 프로젝트를 만듭니다. 자세한 내용은 지원되는 프레임워크 테이블을 참조하세요.
- 테스트 프로젝트를 Azure Repos 또는 연결된 GitHub 리포지토리로 확인합니다.
- 자동화된 테스트를 포함하는 프로젝트에 대한 빌드 파이프라인을 만듭니다. 자세한 내용은 첫 번째 파이프라인 만들기를 참조하세요.
Visual Studio에서 자동화된 테스트를 연관짓기
다음과 같은 경우 Visual Studio 사용하여 자동화된 테스트를 테스트 사례와 연결합니다.
- 기존 수동 테스트 사례 자동화 - 수동 테스트 사례를 만들고 나중에 동일한 시나리오에 대한 자동화된 테스트를 작성했습니다. 이를 연결하면 테스트 계획 또는 CI/CD 파이프라인에서 자동화된 버전을 실행할 수 있습니다.
- 엔드 투 엔드 추적 기능 사용 - 테스트 사례가 요구 사항에 연결된 경우 자동화된 테스트 결과는 이러한 요구 사항에 대한 품질 메트릭을 설정합니다.
Visual Studio 2017 이상(Enterprise 또는 Professional 버전)에서 솔루션을 엽니다.
테스트 사례 작업 항목 ID를 찾습니다. Azure Test Plans에서 찾거나, 작업 항목을 조회하여 찾을 수 있습니다.
테스트 탐색기에서 연결할 테스트 메서드를 선택하고 테스트 사례에 연결을 선택합니다.
메모
테스트 탐색기가 표시되지 않으면 테스트 메뉴에서 엽니다. 테스트가 표시되지 않으면 먼저 솔루션을 빌드합니다.
대화 상자에서 테스트 사례 ID를 입력하고 연결 추가를 선택한 다음 저장을 선택합니다.
중요합니다
- 테스트 메서드를 여러 테스트 사례와 연결할 수 있지만 둘 이상의 테스트 메서드를 단일 테스트 사례와 연결할 수는 없습니다.
- 테스트 사례 매개 변수는 수동 테스트 반복에만 해당합니다. 자동화된 테스트는 테스트 사례 작업 항목에 정의된 매개 변수를 사용하지 않습니다.
테스트를 연결한 후 Visual Studio 테스트 작업을 사용하여 빌드 및 릴리스 파이프라인에서 실행하거나 Azure Test Plans 주문형으로 실행할 수 있습니다. 자세한 내용은 테스트 계획에서 자동화된 테스트 실행을 참조 하세요.
Azure DevOps에서 자동화된 테스트 연동
Visual Studio 사용하지 않고 Azure DevOps 웹 포털에서 직접 자동화된 테스트를 연결할 수도 있습니다. 이 방법은 Visual Studio 연결할 수 없는 Python 및 Java 테스트를 포함하여 모든 test 프레임워크를 지원합니다.
빌드 파이프라인에서 연관시키기
파이프라인으로 이동하여 자동화된 테스트가 실행된 파이프라인을 선택합니다.
테스트 결과가 포함된 빌드 실행을 선택합니다.
테스트 탭에서 테스트 사례와 연결하려는 자동화된 테스트를 찾습니다.
테스트를 선택한 다음 테스트 케이스 연결을 선택합니다.
연결할 테스트 사례를 찾아 연결을 선택합니다.
작업 항목에서 연결
테스트 사례 작업 항목을 열고 연결된 자동화 탭으로 이동합니다.
찾아보기를 선택합니다.
사이드 패널에서 파이프라인 및 테스트가 이전에 실행된 특정 실행을 선택합니다.
연결할 테스트를 선택하고 테스트 연결하기를 선택합니다.
자동화된 테스트를 연결한 후에는 Azure 테스트 계획 태스크 또는 Visual Studio 테스트 태스크 사용하여 파이프라인의 일부로 실행할 수 있습니다. 자세한 내용은 테스트 계획에서 자동화된 테스트 실행을 참조 하세요.
Automation 상태 필드
테스트 사례 작업 항목의 Automation 상태 필드는 테스트 사례가 자동화된 테스트 메서드에 연결되어 있는지 여부를 반영합니다.
- 자동화되거나계획되지 않음 - 테스트 사례에 연결된 테스트 메서드가 없는 경우 표시됩니다.
- 자동화됨 - 테스트 사례에 연결된 테스트 메서드가 있는 경우 표시됩니다.
기본값이 조직의 요구 사항과 일치하지 않는 경우 테스트 사례 작업 항목 유형에 사용자 지정 선택 목록 필드를 만들 수 있습니다.
자주 묻는 질문 (FAQ)
Q: GitHub 리포지토리의 테스트를 사용할 수 있나요?
A: 예. Azure Pipelines에서 Visual Studio Test task를 사용하여 자동화된 테스트를 실행하거나 Publish Test Results task를 사용하여 테스트 결과를 보고하는 경우, 자동화된 테스트는 테스트 케이스에 연결할 수 있습니다. 테스트를 사용할 수 있게 되기 전에 한 번 이상 실행해야 합니다.
Q: Visual Studio 열려는 작업 항목을 구성할 수 있나요?
A: 예. Visual Studio에서 테스트 작업 항목을 열려면 도구 | 옵션 메뉴의 작업 항목 | 일반 설정을 변경하십시오.
