QA할 때 많이 사용하는 시스템 중 TMS (Test Management System)가 있습니다. 테스트의 시작부터 끝까지를 시스템으로 관리할 수 있습니다. 테스트의 시작 즉 요구사항 명세부터 요구사항에서 도출된 테스트 케이스 관리, 테스트 셋 수행, 결과 관리 그리고 테스트 케이스와 이슈의 추적성까지 모두 관리하는 시스템이 바로 TMS입니다. 여러 TMS 시스템 중 Zephyr 를 이용하는 방법에 대해 알아보겠습니다. Zephyr는 Zephyr Enterprise 와 Zephyr for Jira 제품이 있습니다. 오늘 소개할 프로그램은 Zephyr for Jira입니다. jira는 BTS (Bug Trackng System) 으로 많이 사용되는 제품입니다.

프로세스

QA에서 중요한 것은 추적성입니다. 추적성을 위해서는 버전을 이용하는 것이 필수입니다. 테스트 셋을 만드는 과정은 아래와 같습니다.

버전생성 (Jira)

우선 테스트 대상 버전을 생성합니다. 개발자와 함께 버전을 사용하는 시스템을 사용한다면 굳이 따로 만들 필요는 없습니다. 서비스나 패키지의 버전명명 체계가 없는 경우에는 담당자가 추적할 수 있는 단서를 이용하여 버전을 만드는 것을 추천합니다. 서비스명.날짜 와 같이 버전을 만들면 추후에 검증 대상이 검색하거나 이슈가 발견된 시기를 추적할 때 도움이 됩니다.

관리 이슈 생성, 스토리 생성 (Jira)

관리 이슈나 스토리는 Jira 의 유형 중 하나입니다. 테스트 케이스 관리할 때 Parent Link가 됩니다. 기능이 복잡하고 요구사항의 분류가 많은 경우 스토리를 이용하여 분류합니다. 하나의 관리 이슈에 여려개의 스토리 이슈가 연결된 구조가 됩니다.

테스트 케이스 작성 (Zephyr)

테스트 케이스는 독립적으로 작성합니다. 각각의 테스트 케이스를 한개씩 수행한 결과와 10개를 동시에 수행한 결과가 서로 의존성이 없도록 작성해야 합니다. Jira 플러그인 중 Structure를 이용하는 경우 관리 이슈와 스토리 이슈 하위에 테스트 케이스를 연결하여 관계성을 확인할 수 있도록 관리할 수 있습니다. 테스트 케이스는 작성중에는 to do나 in progress 상태에 두고 작성이 완료된 경우에는 closed 로 상태를 변경하여 다른 동료들과 현재 상태를 공유하는데 사용합니다.

테스트 셋 구성 (Zephyr)

테스트 케이스 작성을 완료한 후에는 테스트 메뉴에 사이클에 버전 아래 테스트 셋을 만들어 실행할 수 있습니다.

테스트 결과는 대시보드를 이용할 수 있고 엑셀로 다운받아 사용할 수도 있습니다.

Zephyr for Jira

지라 플러그인으로 제퍼를 사용하는 경우 아래와 같이 네비게이션 메뉴에 테스트들이라는 메뉴가 생깁니다. 테스트들 메뉴에 테스트 케이스 검색, 작성 사이클 생성 등의 메뉴를 이용하여 제퍼 메뉴를 사용할 수 있습니다.

왼쪽 메뉴에 릴리즈가 버전을 생성하는 메뉴입니다. 컴포넌트는 테스트 케이스 작성할 때 테스트 케이스의 주요 기능에 대한 컴포넌트 구성으로 사용할 수 있습니다. 왼쪽 하단의 테스트들을 선택하면 테스트 요약 메뉴와 동일한 페이지가 나옵니다.

https://support.smartbear.com/zephyr-squad-server/docs/get-started/ui.html

Zephyr 테스트 케이스 작성

테스트 케이스 작성할 때는 이슈 유형을 테스트 케이스로 선택합니다. 그러면 하단에 테스트 스텝, 데이터, 결과를 작성하는 페이지로 변경됩니다. 서머리에는 테스트 케이스 제목을 작성하고 설명에는 테스트 케이스의 목적을 작성합니다. 테스트 스텝에는 사전 조건등의 데이터를 작성하고 테스트 데이터에는 그 스텝에서 수행할 액션 그리고 기대 결과에는 그 액션에 따른 결과를 작성합니다. 옆에 추가 버튼을 누르면 하단에 테스트 스텝이 추가됩니다.

https://zephyrdocs.atlassian.net/wiki/spaces/ZFJ0300/overview?homepageId=31653906

Zephyr 테스트 셋구성

이렇게 작성한 테스트 케이스는 테스트 셋으로 묶어 테스트 수행할 때 사용합니다. 테스트 사이클 메뉴에 각 릴리즈 버전이 표시된 것을 볼 수 있습니다. 대상 버전을 선택하여 테스트 케이스를 추가합니다. 테스트 셋에 테스트 케이스를 추가하는 방법은 다양합니다.

1. 테스트 케이스에서 각각 버전을 선택하는 방법

2. 테스트 셋에서 각 테스트 케이스를 추가하는 방법

3. 테스트 케이스 이슈를 필터로 저장해서 테스트 셋에 추가하는 방법

4. 과거 테스트 셋을 복제해서 사용하는 방업

https://support.smartbear.com/zephyr-squad-server/docs/test-cycles/add-tests.html

Zephyr 테스트 셋 수행

이렇게 만든 테스트 셋은 E 버튼을 이용하여 실행합니다. 셋을 중심으로 하나의 테스트 케이스를 실행하면 다음 테스트 케이스를 실행할 수 있는 네비게이션 메뉴를 이용하여 다음을 바로 실행할 수 있습니다. 테스트 결과는 아래 막대 그래프의 색깔로도 알 수 있고 마우스 포인터를 대면 전체 퍼센트도 알 수 있습니다.

Zephyr 결과 쿼리 ZQL

지라에서 처럼 제퍼에도 쿼리문을 지원합니다. 테스트들 메뉴에서 테스트 실행 겸색 메뉴를 선택하면 쿼리가 가능한 페이지가 나옵니다. 제가 사용하는 주요 쿼리는 테스트 결과 쿼리입니다.

project="SM Portfolio Project" and issue=”Test Case” and fixVersion=”version” and executionStatus=PASS

아래 쿼리 문을 조합해서 테스트 케이스 결과를 확인할 수 있습니다.

Zephyr 자동화 API

제퍼 API를 이용하면 제퍼 테스트 케이스를 자동으로 수행하고 결과를 입력할 수 있습니다.

https://support.smartbear.com/zephyr-squad-server/docs/api/test-executions.html

마무리

지라 플러그인 제퍼를 이용하여 테스트 관리를 수행하면 지라 이슈와 테스트 케이스를 연결하여 어떤 테스트 케이스에서 이슈가 얼마나 발생되고 테스트 결과가 어떻게 변경되는지 추적성을 확보할 수 있어 용이합니다.