[지식/경험] 탐색적 테스팅
안녕하세요.
딩딩입니다~!
오늘은 실무에서도 자주 사용하는 탐색적 테스팅에 대해서 포스팅해보겠습니다.
탐색적 테스팅이란?
- 경험 기반의 테스팅 기법 중 하나로 테스터의 경험, 직관, 기술능력을 바탕으로 테스팅 하는 기법
로 정리할 수 있습니다.
말 그대로 테스트를 진행하는 테스터의 역량에 따라 결과가 달라질 수도 있는 테스팅 방법인데요.
TC를 작성하고 업데이트하는 등의 문서 작업 시에 소모되는 불필요한 시간을 줄일 수 있는 방법이기도 합니다.
일정 시간을 정하고 대략적인 테스트 목적을 담은 테스트 차터를 기반으로 수행하게 됩니다.
테스트 차터는 다음과 같은 기본 구조를 가지고 있습니다.
- 목적 : 탐색적 테스팅을 진행하는 목적
- 제한된 시간(TimeBox) : 제한 시간 동안 몰입해서 테스트 (60분, 90분 등)
- 기록(TestNote) : 테스트 진행 간 행위 및 내용들을 기록
- BTS : 발견된 버그에 대한 리포팅 번호
- 요약보고 : 테스트 내용 요약정리
추가적으로 다음과 같은 내용이 들어갈 수도 있습니다.
- 테스트 참여 인원
- 테스트 방식
탐색적 테스팅은 테스트를 실행하면서 익숙해지며, 동시에 테스트 설계하며 진행할 수 있다는 장점이 있습니다.
그런데 아무런 테스트가 진행되지 않은 상태에서 곧바로 진행하기에는 조금 무리가 있습니다.
비정상적인 기능 구동 상태에서 탐색적 테스팅을 진행하면, 몰입해서 제한된 시간 안에 예외적인 상황을 체크하기보단 기본적인 동작에 대한 이슈를 찾게 되니, 결과에 노이즈가 생기게 됩니다. (정확한 결과를 얻기가 힘듦)
또한 명세 기반으로 TC를 만들고, 그 TC를 가지고 테스트를 하게 되면 전반적인 기능에 대한 검증은 가능하지만 정상적인 플레이 중 발생하는 예외적인 상황에 대해서는 놓칠 수 있는 가능성이 있습니다. TC를 기반으로 계속 테스트를 하다 보면, TC 자체 결과에서는 결함이 점점 줄어들지만 실제로는 확인되지 않은 결함이 잔존하게 됩니다.
그래서 보통 TC 기준으로 전반적인 기능이 정상적으로 동작하는 것이 확인되고 탐색적 테스팅을 진행하게 됩니다.
탐색적 테스팅과 애드훅 테스트
애드훅 테스트와 탐색적 테스팅은 비슷하면서도 다릅니다.
1) 애드훅 테스트
- 편의상 플레이 테스트라고도 부르기도 합니다.
- 별도의 차터 없이 테스트 진행
- 별도의 테스트 기법은 아님
- 기본 기능이 모두 정상 구동하는 상태에서 테스트 진행
- 유저와 동일한 조건에서 직접 플레이하면서 테스트를 진행하는 것, 별도의 제한된 시간 없이 진행하는 경우가 많음(플레이 로그 쌓기 외)
- 밸런스 QA 쪽에서는 로그를 위해 일정 루틴을 두고 진행하는 경우 플레이 로그 쌓기라고도 하며, 치트나 별도의 추가적인 행위 없이 테스트 진행.
- 플레이 리뷰 등의 산출물 생성
sten에서는 다음과 같이 정의되어 있습니다.
>> 비공식적으로 수행하는 테스팅. 공식적인 테스트 준비 작업 없이, 공인된 테스트 설계 기법을 적용하지 않고, 예상 결과를 사전에 정의하지 않고, 자의적이고 임의적으로 실행하는 테스트 활동을 의미
2) 탐색적 테스팅
- 테스트 차터를 기반으로 플레이 테스트
- 경험 기반 테스트 기법 중 하나
- 기본 기능이 모두 정상 구동하는 상태에서 테스트 진행
- 특정 콘텐츠, 특정 기능 등에 정해서 '한정된 시간'에 '몰입'해서 진행하는 경우가 대다수.
- 테스트 종료 후 테스터 간의 회고 후 요약 보고서 산출물 생성
>> 경험 기반 테스팅 기법 중 한가지로 테스트 케이스를 먼저 작성하지 않고, 테스트 대상 제품을 실행하면서 익숙해지는 것과 동시에 테스트를 설계하고 테스트를 계획하는 기법
TC를 계속 돌리다 보면 결국 익숙해져서 확인하는 시야가 좁아지는 경우가 있습니다.
보통 크리티컬한 이슈는 TC 외에서 발생할 가능성이 큽니다.
TC로 최대한 기본기능 구동이 잡히고 안정화가 되면 애드훅 테스트 및 탐색적 테스팅으로 예외적인 크리티컬 이슈를 체크해보는 것이
TC를 반복적으로 계속 진행하는 것보다 효율적입니다.
또한!
간략 팁이지만, 반X캠과 같은 녹화 프로그램으로 플레이 진행 시 전체 상황을 다 녹화를 뜨고 후에 차터 내용을 채워도 좋습니다.
(흐름이 끊기지 않는다는 장점과 이슈 발생 시 다시 재현을 위한 시간 리소스 낭비를 줄여줍니다.)