Azure DevOps Services
테스트 실행 허브를 사용하여 테스트 실행을 추적하고, 결과를 분석하고, 개발 주기 전반에 걸쳐 품질을 유지합니다.
테스트 실행은 결과, 기간 및 환경을 기록하는 하나 이상의 테스트 사례 실행을 캡처합니다. 테스트 계획 또는 파이프라인에서 테스트 사례를 실행할 때 시스템이 자동으로 테스트 실행을 만듭니다.
테스트 실행은 팀에 도움이 됩니다.
- 품질 추세 모니터링 - 시간이 지남에 따라 통과율 및 테스트 진행률을 추적합니다.
- 문제를 신속하게 식별 합니다. 회귀, 실패 및 차단된 테스트를 발견합니다.
- 테스트 기록 유지 관리 – 기록 실행 데이터를 감사하고 분석합니다.
액세스 테스트 실행
Azure DevOps 프로젝트에서 테스트 계획>실행을 선택합니다.
테스트 실행 페이지에는 필터링 및 검색 기능이 있는 모든 수동 및 자동화된 실행이 나열됩니다.
Tip
이 문서의 뒷부분에서 AI를 사용하여 작업을 도와줄 수 있습니다 또는 Azure DevOps MCP Server의 AI 지원을 활성화하는 방법을 참조하여 시작해 보세요.
테스트 실행 검색 및 필터링
테스트 실행 허브는 기본적으로 지난 7일 간의 수동 실행으로 설정됩니다. 드롭다운 필터를 사용하여 타임라인, 실행 형식 및 기타 특성별로 결과의 범위를 좁힐 수 있습니다.
테스트 실행 허브는 다음과 같은 검색 및 필터 기능을 지원합니다.
- 실행 ID 검색 - 정확한 테스트 실행 ID를 입력하여 해당 실행으로 바로 이동합니다. ID 검색은 다른 모든 활성 필터를 우선시합니다.
- 제목 검색 실행 - 실행 제목별로 검색합니다. 검색 대상은 검색 용어로 시작하는 실행 제목과 일치합니다.
- 시간 범위 - 특정 시점으로부터 최대 90일의 기간 동안 검색합니다.
- 영구 필터 - 필터 선택 영역 및 열 너비는 지울 때까지 세션 간에 유지됩니다.
필터는 추가적으로 작동합니다. 테스트 실행 허브는 최대 5,000개의 결과를 표시합니다. 공유 또는 설명서를 위해 모든 화면에서 텍스트를 선택하고 복사할 수 있습니다.
표시되는 열을 사용자 지정하려면 다음을 수행합니다.
열 옵션을 선택합니다.
원하는 열을 선택한 다음 적용을 선택합니다.
Note
파이프라인 실행 열은 자동화된 실행에만 적용됩니다. 빌드 트리거 실행의 빌드 이름 및 릴리스 트리거 실행의 릴리스 이름을 보여 있습니다.
테스트 실행 상태
테스트 실행 상태는 테스트 사례의 집계 결과를 반영합니다.
| State | Description |
|---|---|
| Completed | 통과된 모든 테스트 사례 또는 해당 되지 않는 사례 후에 통과된 나머지 모든 사례는 제외되었습니다. |
| 조사 필요 | 하나 이상의 테스트 사례가 실패했거나 차단되었습니다. |
| 진행 중 | 하나 이상의 테스트 사례가 일시 중지됩니다. 실행을 다시 시작합니다. |
테스트 실행 세부 정보 보기
테스트 실행을 선택하여 세부 정보 페이지를 엽니다. 실행 세부 정보에는 요약, 분석 대시보드 및 개별 테스트 사례 결과가 포함됩니다.
실행 요약
요약 탭에는 전체 통과률, 테스트 사례 결과, 실행 메타데이터 및 실행 중에 캡처된 첨부 파일 또는 로그가 표시됩니다.
- 통과율 - 통과한 실행된 사례의 백분율입니다. 적용할 수 없음으로 표시된 사례는 계산에서 제외됩니다.
-
주석 - Markdown 서식이 지정된 실행 수준 주석입니다. 사용자에게 태그를
@로 지정하고, 작업 항목을#로 연결하며, 끌어오기 요청을!로 참조하세요. - 테스트 사례 결과 - 각 테스트 사례의 결과: 통과됨, 실패 또는 실행 안 됨.
- 메타데이터 실행 - 테스트를 실행한 사람, 실행 시기 및 사용된 환경.
- 첨부 파일 및 로그 - 실행 중에 캡처된 스크린샷, 로그 및 기타 아티팩트입니다.
분석 대시보드
각 테스트 실행에는 결과, 우선 순위, 구성, 실패 유형 및 해결 방법별로 결과를 분석하는 분석 대시보드가 포함되어 있습니다. 타일 내부에서 하위 범주 레이블을 선택하여 대시보드를 구체적인 분석으로 필터링합니다.
파이프라인 로그에서 테스트 실행으로 이동
파이프라인에 의해 트리거되는 자동화된 실행의 경우 파이프라인 실행 세부 정보에서 테스트 실행 요약으로 직접 이동하면 됩니다. 파이프라인 로그에서 테스트 결과 링크를 선택하여 테스트 실행 허브에서 해당 실행을 엽니다.
첨부 파일 관리
테스트 실행에 첨부 파일을 추가하려면 다음을 수행합니다.
테스트 실행 세부 정보에서 + 첨부 파일 추가를 선택합니다.
파일을 선택하고 업로드합니다.
그런 다음 첨부 파일을 보거나 다운로드하거나 삭제할 수 있습니다.
파일 이름을 선택하여 이미지 및 PDF를 인라인으로 미리 봅니다.
Note
실행 수준 첨부 파일은 테스트 결과 첨부 파일과 별개입니다. 결과별 파일을 보려면 결과 세부 정보를 열고 첨부 파일 탭을 선택합니다.
테스트 사례 결과 처리하기
개별 테스트 결과를 검토하고 테스트 사례 결과 섹션에서 열 표시를 사용자 지정합니다. 자동화된 실행의 경우 기본 결과 필터는 심사를 가속화하기 위해 실패 또는 중단으로 설정됩니다. 수동 실행의 경우 모든 결과가 표시됩니다.
작업 항목에 결과 연결
테스트 결과를 버그 또는 기타 작업 항목과 연결하려면 다음을 수행합니다.
연결하려는 테스트 사례에 대한 확인란을 선택합니다.
새 버그를 만들거나 기존 작업 항목에 대한 링크를 만듭니다.
프로젝트 간에 작업 항목 연결
테스트 결과와 다른 프로젝트에 있는 버그 또는 작업 항목을 검색하고 연결하려면 다음을 수행합니다.
- 테스트 사례 결과를 열고 연결된 작업 항목 섹션에서 + 추가를 선택합니다.
- 프로젝트 간 쿼리 옵션을 사용하도록 설정합니다.
- 조직의 모든 프로젝트에서 ID 또는 제목별로 작업 항목을 검색합니다.
프로젝트 간 연결은 공유 구성 요소 또는 종속성이 여러 프로젝트에 걸쳐 있는 경우에 유용합니다.
자세한 테스트 결과 분석
테스트 사례를 선택하여 자세한 결과를 확인합니다.
| 섹션 | Description |
|---|---|
| 테스트 결과 요약 | 선택한 테스트 사례에 대한 실행 개요입니다. |
| 연결된 작업 항목 | 관련된 버그 및 작업 항목. +추가를 선택하여 더 연결합니다. 기본적으로 테스트 결과에 직접 연결된 작업 항목만 표시되며 테스트 메서드를 통해 간접적으로 연결된 항목은 표시되지 않습니다. |
| 테스트 단계 | 단계별 결과 및 주석. 이미지를 표시하여 캡처된 스크린샷을 인라인으로 미리 볼 수 있습니다. |
| 스택 추적 (자동화된 실행) | 전체 스택 추적의 가독성이 향상되어 스택 추적 보기가 향상되었습니다. |
| 분석 정보 | 실행 후 분석 및 다음 작업. |
| Attachments | 이 특정 테스트 결과에 연결된 파일입니다. 자동화된 실행의 경우 모든 하위 파일은 각 테스트 결과 페이지에 표시됩니다. |
다음 예제에서는 선택한 테스트 사례에 대한 자세한 결과를 보여줍니다.
자동화된 실행의 경우 스택 추적 보기는 전체 스택 추적에 대해 향상된 가독성을 제공합니다.
분석 정보
분석 섹션은 실행 후 검토를 구성하는 데 도움이 됩니다. 실행 후 모든 테스트 결과에 사용할 수 있습니다. 실패, 일시 중지 및 차단된 사례에는 추가 심사 필드가 있습니다. 분석 주석은 실행 수준 및 결과 수준 주석과는 별개입니다.
오류 유형 추가와 같은 드롭다운 옵션을 사용자 지정하려면 Azure DevOps REST API 사용합니다.
테스트 실행 보존
Azure DevOps 테스트 실행 데이터의 보존을 자동으로 관리하여 시스템 성능을 유지합니다.
기본 보존 제한
| 실행 형식 | 기본 보존 | 세부 정보 |
|---|---|---|
| 수동 테스트 결과 | 365일 | Azure DevOps 프로젝트 수준에서 다른 보존 기간을 구성하지 않는 한 1년 후에 수동 테스트 결과를 삭제합니다. |
| 자동화된 테스트 결과 | 빌드 유지에 연관됨 | 자동화된 결과는 연결된 빌드가 유지되는 한 유지됩니다. 빌드를 삭제하면 테스트 결과도 삭제됩니다. |
Warning
보존에서 테스트 실행 및 테스트 결과를 삭제하면 관련 테스트 지점 결과가 활성으로 다시 설정됩니다. 이 변경으로 인해 진행률 보고서에 실행 속도가 저하될 수 있습니다.
보존 설정 구성
기본 보존 설정입니다. 프로젝트의 보존 제한을 조정하려면 다음을 수행합니다.
- Project 설정>Test>Retention로 이동합니다.
- 수동 테스트 결과를 유지할 일 수를 설정합니다.
테스트 실행을 삭제하지 않으려면 삭제 안 됨 옵션을 선택합니다.
연결된 빌드가 삭제된 후 자동화된 테스트 결과를 유지하려면 빌드 보존 정책을 편집하고 테스트 결과 보존을 별도로 구성합니다. Git 리포지토리의 경우 분기를 기반으로 보존을 지정할 수 있습니다.
자세한 구성 단계는 테스트 보존 정책 설정을 참조하세요. 빌드 수준 보존 설정은 빌드, 릴리스 및 테스트에 대한 보존 정책 설정을 참조하세요.
AI를 사용하여 테스트 실행 관리
Azure DevOps MCP Server를 구성하는 경우 AI 도우미를 사용하여 자연어 프롬프트를 사용하여 테스트 실행을 관리할 수 있습니다.
테스트 실행 관리를 위한 예제 프롬프트
| 과업 | 예제 프롬프트 |
|---|---|
| 최근 테스트 실행 보기 | Show all test runs in project <Contoso> from the last 7 days |
| 테스트 실행 결과 확인 | Show the results of test run <56789> in project <Contoso> |
| 실패한 테스트 찾기 | List all failed test cases in the most recent test run for test plan <12345> |
| 테스트 추세 분석 | Show test run pass rates for project <Contoso> over the last 30 days |
| 테스트 진행률 추적 | Show the count of passed, failed, and not-run test cases in test plan <12345> |
| 차단된 테스트 찾기 | List test cases in test run <56789> that have outcome = <Blocked> |
| 두 개의 테스트 실행 비교 | Compare the results of test run <56789> and test run <56790> in project <Contoso> |
| 테스트되지 않은 영역 찾기 | List area paths in project <Contoso> with no test runs in the last 14 days |
| 가장 오래 실행되는 테스트 식별 | Show the 10 test cases with the longest execution time in test run <56789> |
| 표면 오류 발생 | List test cases that passed in test run <56789> but failed in test run <56790> |
Tip
Visual Studio Code를 사용하는 경우 에이전트 모드 는 복잡한 테스트 실행 시나리오 문제를 해결하는 데 특히 유용합니다.
- 이전 쿼리에서 부실 또는 캐시된 데이터를 사용하지 않으려면 프롬프트에 "이전에 가져온 데이터를 사용하지 마세요."를 추가합니다.