Порівняння Xray і Testrail інструментів для тестування. Переваги й недоліки

У нашій компанії ми нещодавно перейшли з TestRail на Xray, тому маю змогу поділитися досвідом роботи з обома інструментами. Xray та TestRail є популярними інструментами для управління тестуванням, які допомагають командам організовувати тестові випадки, відстежувати прогрес тестування та забезпечувати якість продукту.

Кожен із цих інструментів має свої унікальні особливості, що робить їх корисними для QA-фахівців у різних проєктах. У цій статті я порівняю Xray та TestRail, розгляну їх переваги й недоліки, а також поділюся рекомендаціями щодо вибору інструмента залежно від ваших потреб.

ЩО ТАКЕ XRAY?

Xray — це розширення для Jira, призначене для управління тестуванням. Воно забезпечує тісну інтеграцію тестових сценаріїв, виконання тестів, дефектів і звітності безпосередньо у середовищі Jira, що робить його особливо корисним для команд, які вже працюють із цим таск-трекером.

ОСНОВНІ МОЖЛИВОСТІ XRAY:

• Управління тестовими наборами, планами та виконанням: дозволяє організовувати тестові сценарії в набори, створювати детальні плани тестування і відстежувати виконання.
• Підтримка поведінкового тестування (BDD): дає змогу створювати тести у форматі Gherkin, що особливо підходить для Agile-команд.
• Зв’язок тестів із вимогами й дефектами: інтеграція з Jira забезпечує повне traceability через лінкування тікетів, від відстеження вимог до фіксації дефектів.
• Зручний пошук тестів: можливість використовувати JQL-запити (Jira Query Language) для швидкого знаходження потрібних тестів, планів чи наборів.

Приклад:

• Можливість автоматизації: через JIRA API, що дозволяє інтегрувати інструменти автоматизації з таск-трекером.
• Інтеграція з CI/CD-системами: Xray легко інтегрується з Jenkins, Bamboo й іншими CI/CD-інструментами.

ПЕРЕВАГИ XRAY:

1. Глибока інтеграція з Jira: забезпечує зручне управління тестами безпосередньо в Jira.
2. Доступність тестових кейсів: тестові кейси доступні всім членам команди, які мають доступ до проєкту в Jira, що сприяє прозорості й полегшує співпрацю.
3. Параметризація тестів: дозволяє створювати кілька тестових варіантів з однієї базової структури.
4. Масштабованість: ефективно працює для малих і великих проєктів.
5. Інтеграція з CI/CD: підходить для автоматизації тестування в середовищах безперервної інтеграції.

НЕДОЛІКИ XRAY:

1. Залежність від Jira: неможливо використовувати без встановлення Jira.
2. Складність освоєння: потребує часу для налаштування і вивчення.
3. Обмежені можливості звітності: для створення складних звітів потрібні додаткові плагіни для Jira.
4. Ціноутворення: вартість залежить від кількості користувачів Jira, що може бути дорого для великих команд.

ЩО ТАКЕ TESTRAIL?

TestRail — це автономний інструмент для управління тестуванням, створений для полегшення організації, виконання і моніторингу тестування. Він пропонує широкий спектр можливостей, зокрема гнучке звітування, підтримку автоматизації та інтеграцію з різними системами.

ОСНОВНІ МОЖЛИВОСТІ TestRail:

• Вебінтерфейс: забезпечує зручну платформу для організації тестових сценаріїв, планів і результатів виконання.
• Настроювані інформаційні панелі: дають змогу отримувати вичерпну аналітику та звіти щодо прогресу тестування.
• Підтримка ручного й автоматизованого тестування: дозволяє поєднувати різні підходи для забезпечення якості.
• Гнучкі API: підтримка інтеграції з інструментами розробки, такими як Jira, Jenkins, GitLab тощо.
• Хмарна й локальна версії: можливість вибору між SaaS-рішенням або встановленням на локальні сервери.

ПЕРЕВАГИ TESTRAIL:

1. Автономність: може використовуватися незалежно від Jira чи інших систем.
2. Розширене звітування: настроювані інформаційні панелі й аналітика дозволяють отримувати точну інформацію про стан тестування.
3. Інтуїтивний інтерфейс: зручний для новачків і досвідчених користувачів.
4. Гнучка інтеграція: можливість підключення до різних інструментів розробки через API.
5. Хмарна версія: доступна опція SaaS, яка знижує витрати на локальну інфраструктуру.

НЕДОЛІКИ TESTRAIL:

1. Менша інтеграція з Jira: інтеграція відбувається через API й не така глибока, як у Xray.
2. Відсутність підтримки BDD: неможливо створювати тести у форматі Gherkin.
3. Додаткова вартість: ліцензія за користувача може бути дорогою для невеликих команд.
4. Менше кастомізації тестових процесів: порівняно з Xray, можливості обмежені.

ЗАГАЛЬНЕ ПОРІВНЯННЯ XRAY І TESTRAIL

ДОСВІД ПЕРЕХОДУ З TESTRAIL НА XRAY

Початок переходу з TestRail на Xray був складним для нашої команди, оскільки багато хто мав великий досвід роботи з TestRail. Спочатку Xray здавався менш зручним у використанні, особливо через нові структурні елементи, які використовуються в Xray.

Основна проблема полягала у неповній сумісності моделі даних між цими двома інструментами. Після міграції тікети в Xray не відповідали вимогам і стандартам, через що їх доводилося вручну корегувати. Це стало особливо критичним для великих обсягів даних.

Додатковим викликом була некоректна робота автоматичної міграції даних. Виникали численні помилки, які унеможливлювали повністю автоматичний перехід. Команді довелося вручну перевіряти всі змігровані тікети у Xray, виправляючи невідповідності й помилки.

Ще одним важливим аспектом стала необхідність адаптації стандартного шаблона тікетів Xray. Поля, статуси та процеси, які використовувались у TestRail, не завжди підходили для роботи в Xray. Це потребувало значного часу на налаштування платформи, щоб вона відповідала наявним бізнес-процесам.

Автотести також стали джерелом складнощів. У TestRail вони були прив’язані до унікальних ідентифікаторів тест-кейсів, які змінилися під час міграції. Через це довелося вручну оновлювати скрипти автотестів, що значно затягнуло процес переходу.

Окрім цього, міграція вимагала переналаштування доступів у Jira. Для кожної ролі й команди довелося заново створювати права доступу, що вимагало глибокого аналізу поточних налаштувань та їхньої адаптації до нової системи.

Зрештою, навчання команди новим процесам роботи в Xray стало ще одним викликом. Методики, звичні для TestRail, виявилися не завжди придатними у новій платформі, що вимагало додаткових тренінгів і супроводу.

Попри всі труднощі, після кількох тижнів роботи з Xray команда почала помічати його переваги. Тісна інтеграція з Jira дозволяє ефективно відстежувати тести, дефекти й вимоги в одному середовищі. Xray виявився зручнішим і надійнішим.

КОРИСНІ МАТЕРІАЛИ ДЛЯ РОБОТИ З XRAY І TESTRAIL