1
4.5

Оценить

Статьи 4.5 10 голосов 1221

Как спарсить цены конкурентов при помощи Screaming Frog

Зачем нужен парсинг?

Перед нами стоит задача парсинга. Не все подозревают, насколько можно упростить конкурентный анализ, если у нас есть доступ к ценам или отдельным атрибутам товара наших конкурентов. Тогда мы можем их выгрузить в пару кликов и сопоставлять, работать с общей динамикой по ценообразованию. Для этих целей мы можем использовать парсинг сайта.

Что такое парсинг сайта?

Парсинг (Parsing) – это принятое в информатике определение синтаксического анализа, созданная математическая модель сравнения описанная одним из языков программирования. Например, PHP, Perl, Ruby, Python. Изучение Python — стало лучшей альтернативой для работы с такими данными в e-commerce проектах.

Итак, у вас появилась задача для парсинга цен у конкурентов, например, для сравнения с вашим сайтом. В этом нам поможет Screaming Frog.

Для этого мы будем использовать вкладку Configuration - Custom - Extraction.

Способы парсинга благодаря Screaming Frog

В этой вкладке мы можем парсить текущую страницу при помощи:

  1. CSSPath — css селектора элемента или класса;
  2. XPath — используя xpath элемента;
  3. Regex (регулярного выражения).

Как парсить элементы на конкретном сайте?

Чтобы спарсить нужный элемент — заходим на источник (для примера буду использовать сайт dreamshoes и этот URL https://dreamshoes.in.ua/krossovki-nike-presto-pocket-knife-dm-black-blue-pink)

  1. Наводим на цену и нажимаем правой кнопкой посмотреть код элемента:

Справа появится консоль, где в коде отобразится нужный элемент, и нам нужно будет выбрать его xpath или css селектор, чтобы добавить в наш screaming frog.

2. Буду использовать xpath, поэтому кликаем на него левой кнопкой и переходим в Screaming Frog — Extraction и выбираем Xpath, вставляем скопированный нами xpath элемента, т.е. цены:

3. Нам нужна цена без HTML кода: выбираем “Extract Inner Text”, затем нажимаем “OK”.

Чтобы увидеть результат — перейдите во вкладку “Custom” и выберите “Extraction”.

4. Мы видим, что в поле “Extraction 1 1” будет 900 грн, цена нужного нам товара.

При парсинге всего сайта это будет выглядеть вот так:

Внимание!

Если нужны цены с мета-данным, то все это хранится в общем отчете “Internal”, в столбике “Extractor 1 1”:

Для выгрузки отчета нажмите “Export”:

После чистки столбцов у нас будет файл с мета-данными, заголовками и ценами на товар:

Итог:

Мы научились выгружать необходимые нам данные по сайту в виде цены. Теперь вы можете делать так с любыми данными о товаре. Подобный метод легкодоступен и может быть полезен интернет-маркетологами, SEO-специалистам, отделу продаж и т.п.

Но всегда помните, что самое важное — уметь пользоваться данными и информацией, не тонуть в многочисленных таблицах и файлах.

Похожие материалы

Подпишитесь на рассылку
Компьютерной школы Hillel

Вы получите:

  • Информацию о полезных отраслевых мероприятиях
  • Интересные статьи IT-сферы
  • Новости Компьютерной школы Hillel