Метрика — это оценка, которая позволяет получить числовое значение определенной характеристики, а так же это механизм обратной связи. Многие из нас сталкивались с такими понятиями как «качество» и как его достичь. Как понять, насколько качественное наше приложение, насколько качественный процесс тестирования, насколько качественный процесс разработки и все подобные вопросы. Для того, чтобы ответить на них, чаще всего нужно иметь какие-либо данные, собрать показатели и сравнить их с чем-либо. Все аналогично процессу тестирования. Мы смотрим на наши фактические результаты в определенном контексте, сравниваем их с определенными ожидаемыми результатами и делаем определенные выводы.
Но зачем? Чаще всего для того, чтобы получить актуальную информацию и возможность влиять на процесс.
Ты не можешь контролировать то, что ты не можешь измерить
Но где найти данные? Чаще всего из можно найти в следующих источниках (как ожидаемые, так и фактические):
- Test Plan
- Test Reports
- Continuous Integration (CI)
- Bug Tracking Systems
- Task Tracking Systems
- Test Management Systems (TMS)
- Test Strategy
Важная ремарка. Метрик существует огромное количество, как для тестирования, так и для всех остальных аспектов работы по разработке ПО, но в данной статье я собрал наиболее часто собираемые и полезные в моем понимании. Итак, начнем с самой простой, которую проходят на курсах QA тестирование.
Defect Containment
Defect Containment (DC) или показатель сдерживания дефектов
Определение: это отношение количества дефектов, которые были найдены на предрелизной стадии с общим количеством дефектов (пред- и пострелизной стадии).
Рекомендуем курс по теме
Что показывает?
Значение качества конечного продукта, значения качества тестирования.
Типичные границы (зависят от приложения и «уровня» дефекта):
- Критические дефекты = 0
- Major = близко к 0
- Minor = «несколько» дефектов допустимо
Decline Rate
Decline Rate (DR) или рейтинг отказов
Определение: это отношение недействительных дефектов к закрытым.
Что показывает?
Качество процесса создания отчетов о дефектах.
Типичные границы:
- В идеальном мире всегда должно быть равно 0 :)
- Оптимистичнее всего, если DR <= 0.2
- В реальном мире этот показатель зачастую очень сильно превышает 1 :(
Re-Open Rate
Re-Open Rate (ROR) или рейтинг переоткрытий
Определение: это отношение переоткрытых дефектов к сумме переоткрытых и заведенных дефектов
Что показывает?
Тут немного сложнее. Сложно интерпретировать данную метрику при отсутствии контекста. Эта метрика может показать:
- Качество починки дефектов
- Качество описания дефектов
- Проблемы в процессе в целом
- Качество разработки и тестирования
Типичные границы:
- В идеальном мире всегда должно быть равно 0 :)
- Оптимистичнее всего, если ROR <= 0.1
- В реальном мире этот показатель зачастую близок к 0.5 :(
Current Quality Ratio
Current Quality Ratio (CQR) или текущий рейтинг качества
Что показывает?
Одна из основных метрик, которая показывает качество тестирования. Низкое значение служит индикатором проблем в процессе разработки или неправильном распределении усилий по тестированию. В любом случае, эта метрика показывает, что разработка и тестирование — это две стороны одной медали, которые не должны существовать одна без другой. Эта метрика может показать высокое качество разработки и низкое качество тестирования, так и наоборот, что проходят на онлайн курсе тестировщика.
Она показывает количество функциональных областей, которые можно успешно демонстрировать.
Типичные границы: от 5% до 100%
- Хорошо — более 90%
- Терпимо — от 70% до 90%
- Плохо — менее 70%
Quality of Fixes
Quality of Fixes (QF) или качество починок
Что показывает?
Еще одна из основных метрик, которая показывает качество тестирования. Все выше сказанное, в контексте Current Quality Ration, справедливо и для данной метрики.
Может показать проблемы в процессе разработки, количество ранее работающей функциональности и количество найденных в ней дефектов.
Типичные границы: от 5% до 100%
Хотелось бы отметить, что если вы видите, что в процессе разработки, тестирования или каком-либо другом процессе вашей ежедневной работы происходят проблемы — ваша задача как специалистов по обеспечению качества (а я надеюсь, что таких большинство), сообщить об этом. Метрики — это удобный и объективный инструмент, который позволит вам это сделать и позволит быть услышанными. Повторюсь, их существует масса. Поэтому выбирайте показатель, который вам нужен, и вперед —измерять качество.
