Парсинг сайтів: що це, як працює і коли його замовляють

Парсинг сайтів - це автоматичний збір даних зі сторінок у таблицю або базу: програма сама відкриває потрібні адреси і виписує назви, ціни та характеристики товарів. Завдяки цьому магазин щоранку бачить ціни конкурентів без ручної роботи і швидше наповнює каталог. Нижче розберемо, що таке парсинг сайтів на практиці, якими інструментами його роблять, що зазвичай збирають і чи законно це в Україні.

Що таке парсинг простими словами

Парсинг - це вилучення потрібних відомостей із вебсторінок і переведення їх у зручний вигляд, наприклад у рядки таблиці. Що таке парсер? Це програма або скрипт, що виконує цю роботу: відкриває сторінку, знаходить задані поля і зберігає їхні значення. Людина при цьому лише описує, які поля потрібні і звідки їх брати.

Що означає парсити сайт, простіше показати на одному товарі. У картці інтернет-магазину є назва чайника, його ціна і позначка про наявність. Парсер заходить у картку, бере ці три значення і записує їх в один рядок таблиці, а потім повторює те саме для кожного товару каталогу. Виходить таблиця: кожному товару свій рядок, кожному полю своя колонка. Її вже можна сортувати і порівнювати.

Поруч часто трапляється слово вебскрейпінг (від англійського scraping, «зішкрібання»), і в розмові обидва терміни вживають як синоніми. Скрейпінгом називають усю роботу цілком, від отримання сторінок до даних із них. Строго кажучи, парсинг (від англійського parse, «розбирати») означає лише другу половину роботи, коли вже завантажений текст ділять на частини і вирішують, де тут назва, а де ціна.

Як працює парсинг сайту

Програма робить те саме, що людина з браузером: відкриває сторінку, знаходить ціну і переписує її в таблицю. Різниця лише в масштабі. Вона проходить тисячі сторінок поспіль за заздалегідь заданими правилами і не пропускає рядків через неуважність, а кожну сторінку вона отримує так само, як браузер відвідувача, через запит до сервера, тільки запитів набагато більше.

Етапи: від запиту до таблиці

1. Парсер інформації із сайту починає з переліку сторінок, які треба обійти: посилання на картки товарів, розділи каталогу або файл sitemap.xml з усіма адресами ресурсу. Список складають вручну або збирають автоматично, переходячи за посиланнями з розділів.
2. Скрипт надсилає серверу HTTP-запит, як це робить браузер, і отримує у відповідь HTML-код сторінки, тобто той текст із розміткою, який браузер перетворює на картинку на екрані.
3. Пошук потрібних елементів. У коді багато зайвого, тому програмі задають правила, де лежать дані. Найчастіше це селектори, короткі адреси елемента в коді, наприклад «блок із класом price усередині картки товару». Замість них іноді використовують XPath, мову запитів із тим самим завданням.
4. Очищення та обробка. З рядка з ціною прибирають пробіли, знак валюти і зайві символи, щоб лишилося число, а однакові позиції з різних розділів зводять в один рядок. Тут же перевіряють, що жодна колонка не лишилася порожньою.
5. Збереження. Готовий результат записується в таблицю Excel або Google Таблицю, у базу даних чи у файл JSON, звідки його забере інша програма.

HTML, API і динамічні сайти

Спосіб збору залежить від того, як сторінка отримує свої дані.

Зміна верстки ламає правила парсера: магазин переробив картку, селектори більше не знаходять ціну, і в таблиці з’являються порожні клітинки. Тому в регулярному зборі налаштовують сповіщення про порожні значення, після чого оновлюють селектори.

Інструменти для парсингу

Інструмент обирають за тим, хто ним користуватиметься і скільки сторінок треба обійти.

• Хмарні сервіси Octoparse і ParseHub. Потрібні поля виділяють мишкою на сторінці, сервіс сам обходить схожі сторінки і збирає таблицю. Підходять маркетологу без навичок програмування, наприклад для вивантаження цін з одного каталогу, але гнучкість налаштування й обсяг даних у них обмежені.
• Розширення браузера, наприклад Data Scraper, вивантажують таблицю або список з відкритої сторінки в CSV чи Excel просто з браузера. Зручні, коли даних небагато, буквально кілька сторінок. Платна версія додає функції, але для великого обсягу розширення все одно незручне.
• Програми для SEO-аналізу Screaming Frog SEO Spider і Netpeak Spider. Їх створюють для технічного аудиту, тому вони обходять усі сторінки ресурсу і збирають заголовки, мета-теги, відповіді сервера і посилання. Підходять SEO-фахівцю і власнику, який перевіряє свій магазин.
• Бібліотеки Python. BeautifulSoup розбирає HTML і знаходить елементи за тегами і класами, Scrapy обходить тисячі сторінок із паузами між запитами, а Playwright керує справжнім браузером і потрібен для динамічних сторінок. Це шлях для розробника, код пишуть під конкретну задачу, і крім самої мови треба розуміти HTML і мережеві запити.

Готовий сервіс чи парсер під задачу

Готового сервісу вистачає, коли збір разовий або джерел одне-два: вивантажити асортимент постачальника, порівняти ціни перед запуском акції. Такий збір маркетолог налаштовує сам. Зберігання і запуск бере на себе сервіс, а ви платите за тариф і самі стежите, щоб налаштування не зламалися після зміни дизайну джерела.

Свій парсер сайту замовляють у розробника, коли парсити дані треба щодня і з десятків магазинів, а сервіс упирається в ліміти. Друга причина в захисті від ботів. Ресурс блокує часті запити, і збір треба акуратно розподіляти в часі. Третя з’являється, коли результат має одразу потрапляти в каталог або CRM. Тоді скрипт на Python стає частиною вашої системи і запускається за розкладом, а розробник враховує особливості кожного джерела і відповідає за те, щоб збір працював стабільно.

Що парсять, чи законно це і як захиститися

Бізнесу парсинг даних із сайту потрібен там, де ті самі відомості доводиться регулярно збирати вручну. Найчастіше це такі задачі:

• Ціни і наявність. Парсинг сайтів конкурентів щоранку показує, у кого товар подешевшав або закінчився, а в зведеній таблиці поруч стоять ваша ціна і ціни інших магазинів. Магазин косметики, наприклад, після такого зведення швидко запускає схожу акцію.
• Асортимент і характеристики для каталогу. Розміри, склад і фото збирають у постачальника або виробника і завантажують у картки, тому імпорт закладають заздалегідь, поки триває розробка інтернет-магазину. Описи при цьому пишуть власні, бо чужі тексти захищені авторським правом, про це нижче.
• Оцінки покупців з маркетплейсів і сайтів відгуків показують, за що модель хвалять і лають, і підказують, що виправити в описі чи в самому товарі.
• SEO-дані. Заголовки, мета-теги і структуру розділів сторінок із топу пошуку збирають для роботи, яку називають SEO-аналіз конкурентів. Звідси видно, які розділи є в лідерів ніші і які типи матеріалів вони публікують.
• Ключові слова. Запити з кількох джерел зводять в одну таблицю, чистять від дублів і групують за змістом, із цього починається підбір ключових слів для сторінок.
• Парсер переглядає стрічки новин, форуми і соцмережі та приносить нові згадки бренду і новини про компанію, щоб ви вчасно відповіли на негатив.

У всіх випадках виграш той самий. Відомості оновлюються за розкладом, помилок під час переписування менше, а працівник займається висновками з таблиці.

Чи законно парсити сайти в Україні

Збирати відкриту інформацію саме по собі не заборонено: стаття 34 Конституції України дає кожному право вільно збирати, зберігати, використовувати і поширювати інформацію. Обмеження залежать від того, що саме ви збираєте і як використовуєте:

• Персональні дані. Імена, телефони й адреси електронної пошти конкретних людей захищає Закон України «Про захист персональних даних», для їх обробки потрібна підстава, наприклад згода людини.
• Тексти і фото охороняє Закон України «Про авторське право і суміжні права» № 2811-IX, чинний з 1 січня 2023 року (закон 1993 року втратив чинність). Брати їх можна лише з дозволу правовласника, крім випадків вільного використання, наприклад цитати з посиланням на джерело.
• Бази даних. Той самий закон дає особливе право на базу, наприклад каталог товарів, якщо власник вклав значні зусилля в її збирання і перевірку. Без дозволу не можна вилучати істотну частину такої бази і систематично знімати невеликі частини, наприклад ціни щодня, якщо це заважає нормальному використанню бази і шкодить інтересам власника.
• Правила ресурсу часто прямо забороняють автоматичний збір, і за порушення власник може закрити доступ.

Файл robots.txt - це прохання власника до роботів, а не норма закону, але сумлінний збір його дотримується.

Як захистити свій сайт від парсингу

Повністю заборонити автоматичний парсинг сайту неможливо, зате кілька заходів разом роблять його дорогим і повільним:

• Ліміт запитів. Сервер обмежує кількість запитів з однієї IP-адреси за проміжок часу і тимчасово блокує адреси, які його перевищили.
• Капча на формах і під час підозрілих візитів відсіює ботів, але заважає і живим покупцям.
• Ціни й залишки дилерам віддають через API за ключем, а не викладають увесь прайс на сторінках. У такий спосіб ви самі вирішуєте, хто і скільки даних отримує.
• Умови користування. Заборона автоматичного збору в правилах дає підставу для претензії за договором, а особливе право на базу даних діє і без неї.

Після налаштування перевірте, що захист не закрив сторінки від пошукового робота Google, інакше постраждають позиції в пошуку.

Часті запитання про парсинг