Сравнение Xray и Testrail инструменты для тестирования. Достоинства и недостатки

В нашей компании мы недавно перешли с TestRail на Xray, поэтому имею возможность поделиться опытом работы с обоими инструментами. Xray и TestRail являются популярными инструментами управления тестированием, которые помогают командам организовывать тестовые случаи, отслеживать прогресс тестирования и обеспечивать качество продукта.

Каждый из этих инструментов имеет свои уникальные особенности, что делает их полезными для специалистов QA в различных проектах. В этой статье я сравню Xray и TestRail, рассмотрю их преимущества и недостатки, а также поделюсь рекомендациями по выбору инструмента в зависимости от ваших потребностей.

ЧТО ТАКОЕ XRAY?

Xray — это расширение для Jira, предназначенное для управления тестированием. Оно обеспечивает тесную интеграцию тестовых сценариев, выполнение тестов, дефектов и отчётности непосредственно в среде Jira, что делает его особенно полезным для команд, уже работающих с этим таск-трекером.

ОСНОВНЫЕ ВОЗМОЖНОСТИ XRAY:

• Управление тестовыми наборами, планами и исполнением: позволяет организовывать тестовые сценарии в наборы, создавать детальные планы тестирования и отслеживать исполнение.
• Поддержка поведенческого тестирования (BDD): позволяет создавать тесты в формате Gherkin, особенно подходит для Agile-команд.
• Связь тестов с требованиями и дефектами: интеграция с Jira обеспечивает полную traceability через линкование тикетов, от отслеживания требований до фиксации дефектов.
• Удобный поиск тестов: возможность использовать JQL-запросы (Jira Query Language) для быстрого нахождения нужных тестов, планов или наборов.

Пример:

• Возможность автоматизации: через JIRA API, что позволяет интегрировать инструменты автоматизации с таск-трекером.
• Интеграция с CI/CD-системами: Xray легко интегрируется с Jenkins, Bamboo и другими CI/CD-инструментами.

ПРЕИМУЩЕСТВА XRAY:

1. Глубокая интеграция с Jira: обеспечивает удобное управление тестами непосредственно в Jira.
2. Доступность тестовых кейсов: тестовые кейсы доступны всем членам команды, имеющим доступ к проекту в Jira, что способствует прозрачности и облегчает сотрудничество.
3. Параметризация тестов: позволяет создавать несколько тестовых вариантов из одной базовой структуры.
4. Масштабируемость: эффективно работает для малых и больших проектов.
5. Интеграция с CI/CD: подходит для автоматизации тестирования в средах непрерывной интеграции.

НЕДОСТАТКИ XRAY:

1. Зависимость от Jira: невозможно использовать без установки Jira.
2. Сложность освоения: требует времени для настройки и изучения.
3. Ограниченные возможности отчётности: для создания сложных отчётов требуются дополнительные плагины Jira.
4. Ценообразование: стоимость зависит от количества пользователей Jira, что может быть дорогостоящим для больших команд.

ЧТО ТАКОЕ TESTRAIL?

TestRail — это автономный инструмент для управления тестированием, созданный для облегчения организации, выполнения и мониторинга тестирования. Он предлагает широкий спектр возможностей, включая гибкую отчётность, поддержку автоматизации и интеграцию с различными системами.

ОСНОВНЫЕ ВОЗМОЖНОСТИ TestRail:

• Вебинтерфейс: обеспечивает удобную платформу для организации тестовых сценариев, планов и результатов выполнения.
• Настраиваемые информационные панели: позволяют получать исчерпывающую аналитику и отчёты по прогрессу тестирования.
• Поддержка ручного и автоматизированного тестирования: позволяет сочетать различные подходы для обеспечения качества.
• Гибкие API: поддержка интеграции с инструментами разработки, такими как Jira, Jenkins, GitLab и т. д.
• Облачная и локальная версии: возможность выбора между решением SaaS или установкой на локальные серверы.

ПРЕИМУЩЕСТВА TESTRAIL:

1. Автономность: может использоваться независимо от Jira или других систем.
2. Расширенная отчётность: настраиваемые информационные панели и аналитика позволяют получать точную информацию о состоянии тестирования.
3. Интуитивный интерфейс: удобен для новичков и опытных пользователей.
4. Гибкая интеграция: возможность подключения к разным инструментам разработки через API.
5. Облачная версия: доступна опция SaaS, снижающая затраты на локальную инфраструктуру.

НЕДОСТАТКИ TESTRAIL:

1. Меньшая интеграция с Jira: интеграция происходит через API и не так глубока, как у Xray.
2. Отсутствие поддержки BDD: невозможно создавать тесты в формате Gherkin.
3. Дополнительная стоимость: лицензия на пользователя может быть дорогой для небольших команд.
4. Меньше кастомизации тестовых процессов: по сравнению с Xray, возможности ограничены.

ОБЩЕЕ СРАВНЕНИЕ XRAY И TESTRAIL

ОПЫТ ПЕРЕХОДА ИЗ TESTRAIL НА XRAY

Начало перехода с TestRail на Xray было сложным для нашей команды, поскольку многие имели большой опыт работы с TestRail. Первоначально Xray казался менее удобным в использовании, особенно из-за новых структурных элементов, используемых в Xray.

Основная проблема заключалась в неполной совместимости модели данных между этими двумя инструментами. После миграции тикеты в Xray не отвечали требованиям и стандартам, из-за чего их приходилось вручную корректировать. Это стало особенно критично для больших объёмов данных.

Дополнительным вызовом была некорректная работа автоматической миграции данных. Возникали многочисленные ошибки, которые делали невозможным полностью автоматический переход. Команде пришлось вручную проверять все смигрированные тикеты в Xray, исправляя несоответствия и ошибки.

Ещё одним важным аспектом стала необходимость адаптации стандартного шаблона тикетов Xray. Поля, статусы и процессы, используемые в TestRail, не всегда подходили для Xray. Это потребовало значительного времени на настройку платформы, чтобы она соответствовала имеющимся бизнес-процессам.

Автотесты тоже стали источником сложностей. В TestRail они были привязаны к изменившимся во время миграции уникальным идентификаторам тест-кейсов. Поэтому пришлось вручную обновлять скрипты автотестов, что значительно затянуло процесс перехода.

Кроме этого, миграция требовала перенастройки доступов в Jira. Для каждой роли и команды пришлось вновь создавать права доступа, что требовало глубокого анализа текущих настроек и их адаптации к новой системе.

В конце концов, обучение команды новым процессам работы в Xray стало ещё одним вызовом. Методики, привычные TestRail, оказались не всегда пригодными в новой платформе, что требовало дополнительных тренингов и сопровождения.

Несмотря на все трудности, после нескольких недель работы с Xray команда начала замечать его преимущества. Тесная интеграция с Jira позволяет эффективно отслеживать тесты, дефекты и требования в одной среде. Xray оказался более удобным и надёжным.

ПОЛЕЗНЫЕ МАТЕРИАЛЫ ДЛЯ РАБОТЫ С XRAY И TESTRAIL