1
4.6

Оценить

Статьи читать 4 мин 4.6 5 голосов 256

Наиболее важные метрики QA

Метрика — это оценка, которая позволяет получить числовое значение определенной характеристики, а так же это механизм обратной связи. Многие из нас сталкивались с такими понятиями как «качество» и как его достичь. Как понять, насколько качественное наше приложение, насколько качественный процесс тестирования, насколько качественный процесс разработки и все подобные вопросы. Для того, чтобы ответить на них, чаще всего нужно иметь какие-либо данные, собрать показатели и сравнить их с чем-либо. Все аналогично процессу тестирования. Мы смотрим на наши фактические результаты в определенном контексте, сравниваем их с определенными ожидаемыми результатами и делаем определенные выводы.

Но зачем? Чаще всего для того, чтобы получить актуальную информацию и возможность влиять на процесс.

Но где найти данные? Чаще всего из можно найти в следующих источниках (как ожидаемые, так и фактические):

  • Test Plan
  • Test Reports
  • Continuous Integration (CI)
  • Bug Tracking Systems
  • Task Tracking Systems
  • Test Management Systems (TMS)
  • Test Strategy

Важная ремарка. Метрик существует огромное количество, как для тестирования, так и для всех остальных аспектов работы по разработке ПО, но в данной статье я собрал наиболее часто собираемые и полезные в моем понимании. Итак, начнем с самой простой.

Defect Containment

Defect Containment (DC) или показатель сдерживания дефектов

Определение: это отношение количества дефектов, которые были найдены на предрелизной стадии с общим количеством дефектов (пред- и пострелизной стадии)

Что показывает?

Значение качества конечного продукта, значения качества тестирования.

Типичные границы (зависят от приложения и «уровня» дефекта):

  • Критические дефекты = 0
  • Major = близко к 0
  • Minor = «несколько» дефектов допустимо

Decline Rate

Decline Rate (DR) или рейтинг отказов

Определение: это отношение недействительных дефектов к закрытым.

Что показывает?

Качество процесса создания отчетов о дефектах.

Типичные границы:

  • В идеальном мире всегда должно быть равно 0 :)
  • Оптимистичнее всего, если DR <= 0.2
  • В реальном мире этот показатель зачастую очень сильно превышает 1 :(

Re-Open Rate

Re-Open Rate (ROR) или рейтинг переоткрытий

Определение: это отношение переоткрытых дефектов к сумме переоткрытых и заведенных дефектов

Что показывает?

Тут немного сложнее. Сложно интерпретировать данную метрику при отсутствии контекста. Эта метрика может показать:

  • Качество починки дефектов
  • Качество описания дефектов
  • Проблемы в процессе в целом
  • Качество разработки и тестирования

Типичные границы:

  • В идеальном мире всегда должно быть равно 0 :)
  • Оптимистичнее всего, если ROR <= 0.1
  • В реальном мире этот показатель зачастую близок к 0.5 :(

Current Quality Ratio

Current Quality Ratio (CQR) или текущий рейтинг качества

Что показывает?

Одна из основных метрик, которая показывает качество тестирования. Низкое значение служит индикатором проблем в процессе разработки или неправильном распределении усилий по тестированию. В любом случае, эта метрика показывает, что разработка и тестирование — это две стороны одной медали, которые не должны существовать одна без другой. Эта метрика может показать высокое качество разработки и низкое качество тестирования, так и наоборот.

Она показывает количество функциональных областей, которые можно успешно демонстрировать.

Типичные границы: от 5% до 100%

  • Хорошо — более 90%
  • Терпимо — от 70% до 90%
  • Плохо — менее 70%

Quality of Fixes

Quality of Fixes (QF) или качество починок

Что показывает?

Еще одна из основных метрик, которая показывает качество тестирования. Все выше сказанное, в контексте Current Quality Ration, справедливо и для данной метрики.

Может показать проблемы в процессе разработки, количество ранее работающей функциональности и количество найденных в ней дефектов.

Типичные границы: от 5% до 100%

Хотелось бы отметить, что если вы видите, что в процессе разработки, тестирования или каком-либо другом процессе вашей ежедневной работы происходят проблемы — ваша задача как специалистов по обеспечению качества (а я надеюсь, что таких большинство), сообщить об этом. Метрики — это удобный и объективный инструмент, который позволит вам это сделать и позволит быть услышанными. Повторюсь, их существует масса. Поэтому выбирайте показатель, который вам нужен, и вперед —измерять качество.

Похожие материалы

Подпишитесь на рассылку
Компьютерной школы Hillel

Вы получите:

  • Информацию о полезных отраслевых мероприятиях
  • Интересные статьи IT-сферы
  • Новости Компьютерной школы Hillel