Чат-боты сейчас набирают большую популярность и уже используются в разных сферах деятельности: заказ одежды, спецпредложения от торговых сетей, покупка авиа и ж/д билетов, почтовые сервисы, банковские услуги, информация от коммунальных служб и т.д.
Что же это такое? Чат-бот — это специальная компьютерная программа, с помощью которой можно общаться с клиентом 24/7. В чат-боте прописаны определенные сценарии, которые помогают клиенту без привлечения соответствующего персонала в любое время суток оформить свой заказ или найти ответ на интересующий его вопрос.
Сейчас достаточно много статей как создавать чат-боты, их описание (из чего они должны состоять или как их лучше проектировать), но слишком мало, как их тестировать.
В этой статье хотим поделиться своим опытом тестирования чат-ботов. Рассказать об основных особенностях и подходах к тестированию чат-ботов на платформах Telegram и Viber.
За последние пару лет значительно возросло количество пользователей, использующих различные мессенджеры. Это связано с развитием технологий смартфонов, которые стали еще более доступными для широкого круга пользователей. Что заметно «развязало руки» разработчикам мессенджеров, которые в свою очередь уже стали заметно расширять функционал, и это способствует привлечению более широкой аудитории.
По данным немецкого онлайн-портала статистики самым популярным мессенджером в мире стал WhatsApp, но в постсоветских странах и непосредственно в Украине лидирующие позиции занимают Viber, FB и Telegram по данным на 2019 год.
Так все же, почему Viber и Telegram? Давайте рассмотрим чем они похожи, а чем отличаются.
Сравнение возможностей Viber и Telegram
| Возможности мессенджеров | Viber | Telegram |
| Отправка сообщений и синхронизация со всеми устройствами | + | + |
| Приложение для десктопа | + | + |
| Использование ника | - | + |
| Подключение нескольких аккаунтов | - | + |
| Создания группового чата | + | + |
| Расширение группового чата (для участия большего количество человек) | - | + |
| Возможность обращения к выбранному собеседнику через "@" | - | + |
| Создание канала | + | + |
| Облачное хранение данных | - | + |
| Безопасность | + | ++ |
| Использование ботов | + | + |
По данным из таблицы можно заметить отличия, но необходимо отметить, что эти мессенджеры не просто то, чем мы пользуемся каждый день для развлечений, но они уже становятся своего рода плато для различного рода продвижения бизнеса.
Поскольку оба мессенджера могут поддерживать использование ботов, давайте рассмотрим особенности работы для каждого из них.
Особенности работы Viber и Telegram
| Особенности | Viber | Telegram |
| Основная Концепция | Чат-бот для оптимизации бизнеса и поддержки при взаимодействии с публичными аккаунтами | Интеграция мессенджера с любыми сервисами, выполнения самых разнообразных задач в пределах Telegram |
| Реализация | Программы через интерфейс Viber API соответствуют пользователям, предоставляя в частности различные бизнес предложения и связанную информацию | Особые Telegram-аккаунты без номеров телефона, контролируемые программами и обращаются к пользователям в рамках возможностей Bot API и фантазии разработчиков |
| Атрибуты ботов | Параметры уровня публичного аккаунта (бренд, описание, местонахождение, CTA-кнопки) | Имя, фото, описание и адрес |
| Ограничения на создание | Все требования к ботам и требования к публичному аккаунту | Практически отсутствуют |
| Поддерживаемые типы содержимого | Текст, изображения, видео, контакт, URL, карусели, графическое содержание, а также местонахождение | Все (что поддерживаются Telegram), в частности местонахождение и номер, опрос |
| Возможность монетизации | На уровне публичных аккаунтов | Поддерживается |
| Коммуникация в режиме чата | Да, с помощью сообщений и гибких клавиатур | Да, с помощью сообщений, команд и клавиатур |
| Коммуникация через встроенный режим | Ограничена реализация через расширение | Поддерживается (отправка запросов и получения результатов ответа) |
| Взаимодействие с сообщениями ботов | Ограниченная поддержка (через кнопки) | Через встроенные клавиатуры с поддержкой обновления содержимого динамических сообщений |
| Добавление ботов к другим чатам | Не поддерживается | Поддерживается (для групп/каналов) |
| Остановка ботов | На уровне отписки от публичного аккаунта | Поддерживается |
| Разрешение на беседу | Не поддерживается | Поддерживается (для отправки уведомлений) |
| Режим приватности в группах | Не поддерживается | Поддерживается |
| Deep Linking | Поддерживается (с ориентацией на публичные чаты) | Поддерживается |
| Быстрая веб-авторизация | Не поддерживается | Поддерживается (по ссылке) |
| Создание ботов | Через Viber REST API | Через бота @BotFather и Bot API |
| Варианты использования | Получение новостей, информации, рекламы, связь с публичным аккаунтом, поддержка | Получение новостей, информации, уведомлений, покупка товаров и услуг, создание новых инструментов, игр, социальных сервисов, оптимизация пользовательского опыта (IV, Предпросмотр ссылок), обучение, автоматизация, обратная связь, авторизация, викторины и множество другого |
Достоинства и недостатки чат-ботов
Для этого вернемся к главному определению чат-бота, о котором мы уже писали выше.
Необходимо обратить внимание на то, что существует два вида ботов:
- Чат-бот с фиксированной информационной базой данных, они запрограммированы на ограниченный диапазон сценариев поведения, относится кнопочный бот и бот-суфлер.
- Чат-бот на основе искусственного интеллекта с возможностью самообучения и самообновления данных, относится к типу "умный бот".
Стоит отметить то, что боты с фиксированной информационной базой более надежны и просты из-за того, что они не содержат искусственный интеллект, они не смогут выйти из-под контроля разработчиков.
Чат-боты с реализованным (внедренным) искусственным интеллектом, более “отзывчивы”, и их интеллект подразумевает способность реагировать в зависимости от сложившейся ситуации.
Таким образом, можно выделить следующие достоинства и недостатки для чат-ботов:
| Достоинства | Недостатки |
| Использование 24/7 | Сбои в работе чат-бота при нестабильном интернете |
| Моментальный ответ бота | Избыток функций |
| Понятный и простой интерфейс | Сложный и запутанный интерфейс |
| Дешевизна для компаний | Неспособность бота распознать сарказм, иронию, юмор и сленг |
| Расширение покрытия платформ | Нестандартное поведение пользователя может вызвать вывод бота из строя |
| Для общения с чат-ботом не обязательна установка приложения | Не для всех видов бизнеса |
Из таблицы видно, что у Telegram больше возможностей при создании чат-бота, соответственно и функционала для тестирования будет больше.
Так что принципиального различия в тестировании чат-ботов для Viber или для Telegram не будет. Дальше рассмотрим, как в целом тестировать чат-боты.
С чего начать тестирование чат-ботов
Так с чего начать?
Сначала необходимо выполнить первые шаги, которым учат на курсах QA тестировщика -выяснить, для кого и для чего создавался ваш чат-бот, узнать его целевую аудиторию и для решения каких задач он понадобится пользователю. Уточнить, какие команды при работе с чат-ботом может применять пользователь. Хорошо если пользователю будет доступен этот список (например, будет выводится после регистрации/авторизации или будет ссылка на сайт с короткой инструкцией по использованию бота). Обратите внимание на список команд для Viber и Telegram, скорее всего он будет отличаться. Выяснить, на какие страны ориентирован чат-бот и какие языки будут поддерживаться. И уточнить для каких платформ будет разработан ваш чат-бот.
Еще рекомендуем перед началом тестирования вашего чат-бота ознакомиться со схожими чат-ботами в той же области (установить и посмотреть как работают чат-боты для Viber и Telegram).
Непосредственно при тестировании, необходимо пройти основные позитивные сценарии и посмотреть насколько интуитивно понятна работа с чат-ботом. В диалогах с чат-ботом не должно быть тупиков — есть отклик на все действия пользователя. Не должно быть ситуаций, что при каком-то действии, пользователь не получает ответа от чат-бота. Или наоборот, паузы между сообщениями очень маленькие, и пользователь не успевает реагировать. Убедитесь, что есть возможность вернуться к предыдущему шагу в диалоге с ботом. Проверить, корректно ли выполняются команды.
Если бот поддерживает разные страны/языки, проверить наличие переводов для диалогов с чат-ботом и на корректность построения их, опираясь на культуру и традиции той или иной страны, грамматических особенностей построения предложений. Стоит обратить внимание на то, что при регистрации/авторизации (или если это используется в других сценариях чат-бота) маска/валидация номеров телефонов, адрес соответствует формату выбранной страны.
Удостовериться, что элементы, обозначающие одно и то же, называются одинаково. При удалении любого элемента выводится сообщение о подтверждении действия. Проверить соответствие дизайну/макету - хорошо, если внешний вид чат-бота выдержан в одной стилистике и цветовой гамме для разных платформ.
Приемы для тестирования чат-ботов
Также в ходе тестирования можно использовать следующие классические приемы.
Одной из Best Practice является именно то, что тестировщиков желательно привлекать на ранних этапах разработки как при тестировании web-сайтов, десктопных и мобильных приложений, игр, так и непосредственно чат-ботов. Это нужно именно для того, чтобы в будущем уменьшить количество дефектов и обеспечить их исправление на ранних этапах, что значительно уменьшит затраты на проект.
Когда вы получите чат-бота на тест, нужно помнить, что процесс тестирования зависит от контекста. Если вы занимались тестированием только длительных проектов, например, таких как медицинское оборудование, документооборот, программное обеспечение для автомобилей, то нужно изучить подходы к тестированию непосредственно чат-ботов, поскольку они будут принципиально разниться не только по предметной области, но и по видам и техникам тестирования, которые вам придется применять.
Не забывайте о тестовых артефактах. Если вы приняли решение о целесообразности использования тест-кейсов, чек-листа или любой другой тестовой документации, старайтесь актуализировать ее, в противном случае вы пропустите fault, который превратится в failure.
Само тестирование продукта непосредственно показывает наличие дефектов и определяет слабые места чат-бота. В ходе тестирования задумайтесь о том, что тестирование помогает выявить дефекты, а не доказать то, что чат-бот не пригоден к использованию.
Обратите внимание что, если вы нашли дефект в чат-боте, двигаясь по позитивному сценарию, стоит продолжать копать в этом направлении, так вы сможете увидеть целый кластер дефектов.
Если вы не выявили дефекты, это совсем не означает, что их нет. Попробуйте пересмотреть сценарии кейсов и выявить слабые места чат-бота.
Абсолютно все сценарии проверить не получится, составляйте тестовую документацию, кроме позитивных сценариев, используйте негативные и исследовательские, оценивайте их на реалистичность, приоритезируйте кейсы.
Подходите к тестированию чат-ботов, так же, как если бы вы тестировали web-сайт, десктопное или мобильное приложение. В любой области есть что-то общее и есть свои нюансы. Как раз на эти нюансы мы и хотели обратить ваше внимание и поделиться своим опытом в тестировании чат-ботов.
