Навіщо потрібен парсинг?
Перед нами стоїть завдання парсинга. Не всі підозрюють, наскільки можна спростити конкурентний аналіз, якщо у нас є доступ до цін або окремих атрибутів товару наших конкурентів. Тоді ми можемо їх вивантажити за пару кліків і зіставляти, працювати із загальною динамікою по ціноутворенню. Для цих цілей ми можемо використовувати парсинг сайту.
Що таке парсинг сайту?
Парсинг (Parsing) — це прийняте в інформатиці визначення синтаксичного аналізу, створена математична модель порівняння описана одним з мов програмування. Наприклад, PHP, Perl, Ruby, Python. Вивчення Python — стало найкращою альтернативою для роботи з такими даними в e-commerce проекти.
Отже, у вас з'явилася задача для парсинга цін у конкурентів, наприклад, для порівняння з вашим сайтом. У цьому нам допоможе Screaming Frog.
Для цього ми будемо використовувати вкладку Configuration — Custom — Extraction.
Рекомендуємо курс по темі
Способи парсинга завдяки Screaming Frog
У цій вкладці ми можемо парсити поточну сторінку за допомогою:
- CSSPath — css селектора елемента або класу;
- XPath — використовуючи xpath елемента;
- Regex (регулярного виразу).
Як парсити елементи на конкретному сайті?
Щоб спарсити потрібний елемент — заходимо на джерело (для прикладу буду використовувати сайт dreamshoes і цей URL https://dreamshoes.in.ua/krossovki-nike-presto-pocket-knife-dm-black-blue-pink)
Наводимо на ціну і натискаємо правою кнопкою подивитися код елемента:
Справа з'явиться консоль, де в коді відобразиться потрібний елемент, і нам потрібно буде вибрати його xpath або css селектор, щоб додати в наш screaming frog.
2. Буду використовувати xpath, тому натискаємо на нього лівою кнопкою і переходимо в Screaming Frog — Extraction і вибираємо Xpath, вставляємо скопійований нами xpath елемента, тобто ціни:
3. Нам потрібна ціна без HTML коду: обираємо "Extract Inner Text", потім натискаємо "OK".
Щоб побачити результат — перейдіть у вкладку "Custom" і оберіть "Extraction".
4. Ми бачимо, що в поле "Extraction 1 + 1" буде 900 грн, ціна потрібного нам товару.
При парсінгу всього сайту це буде виглядати ось так:
Увага!
Якщо потрібні ціни з мета-даними, то все це зберігається у загальному звіті "Internal", у стовпчику "Extractor 1 + 1":
Для вивантаження звіту натисніть "Export":
Після чистки стовпців у нас буде файл з мета-даними, заголовками і цінами на товар:
Підсумок:
Ми навчилися вивантажувати необхідні нам дані по сайту у вигляді ціни. Тепер ви можете робити так з будь-якими даними про товар. Подібний метод легкодоступний і може бути корисний інтернет-маркетологами, SEO-фахівцям, відділу продажів і т.п.
Але завжди пам'ятайте, що найважливіше — вміти користуватися даними та інформацією, не тонути в численних таблицях і файлах.
