Наиболее важные метрики QA

Метрика — это оценка, которая позволяет получить числовое значение определенной характеристики, а так же это механизм обратной связи. Многие из нас сталкивались с такими понятиями как «качество» и как его достичь. Как понять, насколько качественное наше приложение, насколько качественный процесс тестирования, насколько качественный процесс разработки и все подобные вопросы. Для того, чтобы ответить на них, чаще всего нужно иметь какие-либо данные, собрать показатели и сравнить их с чем-либо. Все аналогично процессу тестирования. Мы смотрим на наши фактические результаты в определенном контексте, сравниваем их с определенными ожидаемыми результатами и делаем определенные выводы.

Но зачем? Чаще всего для того, чтобы получить актуальную информацию и возможность влиять на процесс.

Но где найти данные? Чаще всего из можно найти в следующих источниках (как ожидаемые, так и фактические):

• Test Plan
• Test Reports
• Continuous Integration (CI)
• Bug Tracking Systems
• Task Tracking Systems
• Test Management Systems (TMS)
• Test Strategy

Важная ремарка. Метрик существует огромное количество, как для тестирования, так и для всех остальных аспектов работы по разработке ПО, но в данной статье я собрал наиболее часто собираемые и полезные в моем понимании. Итак, начнем с самой простой, которую проходят на курсах QA тестирование.

Defect Containment

Defect Containment (DC) или показатель сдерживания дефектов

Определение: это отношение количества дефектов, которые были найдены на предрелизной стадии с общим количеством дефектов (пред- и пострелизной стадии).

Что показывает?

Значение качества конечного продукта, значения качества тестирования.

Типичные границы (зависят от приложения и «уровня» дефекта):

• Критические дефекты = 0
• Major = близко к 0
• Minor = «несколько» дефектов допустимо

Decline Rate

Decline Rate (DR) или рейтинг отказов

Определение: это отношение недействительных дефектов к закрытым.

Что показывает?

Качество процесса создания отчетов о дефектах.

Типичные границы:

• В идеальном мире всегда должно быть равно 0 :)
• Оптимистичнее всего, если DR <= 0.2
• В реальном мире этот показатель зачастую очень сильно превышает 1 :(

Re-Open Rate

Re-Open Rate (ROR) или рейтинг переоткрытий

Определение: это отношение переоткрытых дефектов к сумме переоткрытых и заведенных дефектов

Что показывает?

Тут немного сложнее. Сложно интерпретировать данную метрику при отсутствии контекста. Эта метрика может показать:

• Качество починки дефектов
• Качество описания дефектов
• Проблемы в процессе в целом
• Качество разработки и тестирования

Типичные границы:

• В идеальном мире всегда должно быть равно 0 :)
• Оптимистичнее всего, если ROR <= 0.1
• В реальном мире этот показатель зачастую близок к 0.5 :(

Current Quality Ratio

Current Quality Ratio (CQR) или текущий рейтинг качества

Что показывает?

Одна из основных метрик, которая показывает качество тестирования. Низкое значение служит индикатором проблем в процессе разработки или неправильном распределении усилий по тестированию. В любом случае, эта метрика показывает, что разработка и тестирование — это две стороны одной медали, которые не должны существовать одна без другой. Эта метрика может показать высокое качество разработки и низкое качество тестирования, так и наоборот, что проходят на онлайн курсе тестировщика.

Она показывает количество функциональных областей, которые можно успешно демонстрировать.

Типичные границы: от 5% до 100%

• Хорошо — более 90%
• Терпимо — от 70% до 90%
• Плохо — менее 70%

Quality of Fixes

Quality of Fixes (QF) или качество починок

Что показывает?

Еще одна из основных метрик, которая показывает качество тестирования. Все выше сказанное, в контексте Current Quality Ration, справедливо и для данной метрики.

Может показать проблемы в процессе разработки, количество ранее работающей функциональности и количество найденных в ней дефектов.

Типичные границы: от 5% до 100%

Хотелось бы отметить, что если вы видите, что в процессе разработки, тестирования или каком-либо другом процессе вашей ежедневной работы происходят проблемы — ваша задача как специалистов по обеспечению качества (а я надеюсь, что таких большинство), сообщить об этом. Метрики — это удобный и объективный инструмент, который позволит вам это сделать и позволит быть услышанными. Повторюсь, их существует масса. Поэтому выбирайте показатель, который вам нужен, и вперед —измерять качество.