Прискорення індексації сайту: пінг-сервіси й способи, які працюють

Нова сторінка кілька днів не з'являється в пошуку, і перше, що радять, це пінг-сервіси. Пінг для Google сьогодні нічого не дає. Для прискорення індексації сайту в Google працюють інші способи: запит у Search Console, актуальна карта сайту і посилання на нову сторінку з уже відомих роботові сторінок.

Як Google знаходить нові сторінки

Сканування - це візит робота Google на адресу, коли він завантажує сторінку. Індексація - це наступний крок: Google обробляє сторінку й додає її до індексу, бази, з якої формується видача. Просканована сторінка не обов'язково потрапляє в індекс.

Про адресу робот дізнається трьома шляхами: за посиланням з уже відомої йому сторінки, з карти сайту sitemap.xml і з запиту власника в Search Console.

Краулінговий бюджет - це кількість адрес сайту, яку Google може й хоче просканувати за певний час. Google радить думати про нього сайтам від мільйона сторінок, які оновлюються раз на тиждень, або від 10 000 сторінок, які змінюються щодня. Невеликому сайту бюджет не заважає, йому важливіше, щоб робот узагалі дізнався про нову сторінку. Чи дізнався, видно в Search Console, а як перевірити індексацію сайту іншими способами, ми розбирали окремо.

Що таке пінг-сервіси

Пінг-сервіс - це сервіс, який надсилає пошуковим системам і каталогам блогів сигнал «на сайті вийшов новий запис». Сигнал передається за протоколом XML-RPC: сайт надсилає на сервер коротке повідомлення у форматі XML з назвою та адресою блогу, а сервер відповідає, що прийняв його.

Пінг з'явився разом із блогами. Каталогам блогів і пошуку в блогах було простіше отримати сигнал від самого блогу, ніж постійно обходити тисячі щоденників, тому блоги почали самі повідомляти про нові записи. Пінг-сервіс пересилає один сигнал одразу багатьом отримувачам, і автору не треба надсилати його кожному окремо.

Чи працює пінг для Google

Ні, прискорення індексації сайту через пінг для Google сьогодні не працює. Під словом пінг плутають два різні сигнали.

Сигнал блогів за XML-RPC, який розсилають Ping-O-Matic і WordPress, у Google приймав пошук у блогах Google Blog Search, а цей сервіс закрито. У документації Google такого пінгу серед способів повідомити про нову сторінку немає.

Пінг карти сайту, запит на адресу google.com/ping з адресою sitemap.xml, Google вимкнув. 26 червня 2023 року блог Google Search Central оголосив про це, бо майже всі такі запити були спамом. Зараз адреса відповідає помилкою 404, а карту робот читає сам за адресою з robots.txt і Search Console. У Bing є окремий протокол IndexNow, про нього нижче.

Пінг-сервіси та WordPress

Пінг-сервіси досі радять як сервіси для прискорення індексації сайту, хоча сигнал вони надсилають каталогам блогів. Сьогодні працюють два:

• Ping-O-Matic: безкоштовно пересилає сигнал каталогам блогів;
• Ping.in: безкоштовно пінгує п'ять сервісів блогів.

Pingler і PingFarm зі старих добірок шлють сигнал на закритий пошук у блогах Google, а PingFarm обіцяє зворотні посилання, користі від них немає.

Список у WordPress задано в полі «Служби оновлення»: «Налаштування», далі «Написання». Одразу після встановлення там лише Ping-O-Matic, а він зараз пересилає сигнал тільки Blo.gs і FeedBurner, пошукових систем серед адресатів немає. Масовий пінг сотень адрес отримувачі вважають спамом.

Для Google Пошуку переважна більшість надсилань карт сайту без авторизації веде до спаму. Тому ми припиняємо підтримку пінгу карт сайту, і через 6 місяців адреса перестане працювати.

Блог Google Search Central, переклад наш

Що прискорює індексацію в Google

Робот швидше приходить на сторінку, про яку дізнався з кількох джерел: з карти сайту й посилань, а також із запиту власника. Прискорення індексації сторінок сайту починається з технічної перевірки: адреса відкрита для сканування й відповідає кодом 200. Гарантії індексації не дає жоден спосіб.

Запит на індексування в Search Console

Надіслати одну сторінку на індексацію можна в інструменті «Перевірка URL-адреси» (URL Inspection):

1. Відкрийте Search Console і виберіть сайт.
2. Вставте повну адресу сторінки в рядок «Перевірка URL-адреси» вгорі й натисніть Enter.
3. Подивіться відповідь. «URL-адреса є в Google» (URL is on Google) означає, що сторінка вже в пошуку. «URL-адреси немає в Google» (URL is not on Google) означає, що її там немає, причина нижче.
4. Натисніть «Перевірити опубліковану URL-адресу» (Test live URL), щоб побачити, чи можна проіндексувати поточну версію.
5. Натисніть «Надіслати запит на індексування» (Request indexing). Сторінка потрапить у чергу на сканування.

Запит не гарантує, що сторінка потрапить до індексу. Повторне натискання для тієї самої адреси її не прискорює, про це прямо пише Google. Кількість запитів на день обмежена, але ліміт Google не публікує. Кнопка недоступна, коли перевірка показала, що сторінку не можна проіндексувати: спершу виправте причину. Десятки сторінок зручніше надіслати картою сайту.

Сервіс прискорення індексації, який просить доступ до вашої Search Console, щоб надсилати запити, нічого не додасть: ліміт той самий, а дані сайту бачить чужа людина.

Карта сайту sitemap.xml

Карта сайту - це файл sitemap.xml зі списком адрес, які ви хочете бачити в пошуку. У ній мають бути всі сторінки для індексації, а закритим і видаленим адресам там не місце; замість переспрямованої адреси ставлять кінцеву. WordPress і багато інших CMS самі оновлюють карту, коли виходить нова сторінка. В одному файлі вміщується до 50 000 адрес, великий каталог ділять на кілька карт.

Поле lastmod показує дату зміни сторінки. Змінюйте його лише тоді, коли змінився основний текст, а не рік у футері. Google пише: якщо дата постійно не збігається з реальністю, він з часом перестає їй вірити.

Карту подають у Search Console, у звіті «Файли Sitemap» (Sitemaps), і вказують у robots.txt рядком Sitemap: з повною адресою файлу. Google вважає карту підказкою, а не командою просканувати всі адреси. Помилки обробки карти видно в тому самому звіті.

Внутрішні посилання та анонси

Посилання на нову сторінку з головної, з категорії чи зі схожих статей найшвидше приводить до неї робота. Ці сторінки він обходить часто, тому бачить нове посилання під час наступного візиту. Сторінку, на яку не веде жодне посилання, робот знайде лише з карти сайту або не знайде зовсім. Статус «Виявлено, наразі не проіндексовано» (Discovered - currently not indexed) означає інше: адресу Google уже знає, але ще не сканував, найчастіше, як пише довідка, через ризик перевантажити сайт.

Додайте нову статтю в блок свіжих записів, у потрібну категорію і в текст двох-трьох старих статей на ту саму тему. Як вибудувати такі зв'язки за схемою, описує стаття внутрішня перелінковка.

Анонс у соцмережах і розсилці приводить перших читачів, а часом і згадки на інших сайтах. Прямим сигналом для індексації пошукові системи його не називають, тому анонс доповнює посилання на сайті, але не замінює їх.

IndexNow і Indexing API

IndexNow - це відкритий протокол, яким сайт сам повідомляє пошуковим системам про нові та змінені адреси. Серед учасників Bing, Seznam і Naver, адресу, надіслану одному з них, отримують усі. Google в IndexNow участі не бере. Це не пінг-сервіс: сайт підтверджує володіння ключем у файлі на своєму сервері, а багато CMS і плагінів надсилають адреси самі. Сайт протоколу пише, що надсилання не гарантує миттєвої індексації.

Indexing API - це інтерфейс Google для прямого надсилання адрес. Дозволено його лише для сторінок з вакансіями (розмітка JobPosting) і трансляціями (BroadcastEvent). Для звичайних статей і товарів він не призначений, тому сервіси, які обіцяють через нього індексацію будь-яких сторінок, використовують його не за призначенням.

Порівняння способів

Пінг підходить лише сервісам блогів, для Google працюють інші способи. Порівняння за пошуковими системами:

Для звичайного сайту вистачить трьох способів із шести: карта сайту, посилання і ручний запит для важливих сторінок.

Чому сторінка не індексується

Жоден спосіб не допоможе, якщо сторінку закрито від індексації. Спершу перевірте адресу в «Перевірці URL-адреси», там видно причину. Часті причини:

• Тег noindex: у полі «Індексування дозволено?» (Indexing allowed?) видно заборону директивою noindex. Тег часто забувають зняти після розробки.
• Заборона в robots.txt: у полі «Сканування дозволено?» (Crawl allowed?) стоїть відмова, робот не може відкрити сторінку.
• Canonical на іншу сторінку: у полі «Канонічна сторінка, вказана користувачем» (User-declared canonical) стоїть чужа адреса, і Google індексує її замість вашої.
• Дубль: Google сам вибрав канонічною іншу сторінку, це видно в полі «Канонічна сторінка, вибрана Google» (Google-selected canonical). Таке трапляється з фільтрами й сортуваннями каталогу.
• Мало корисного: сторінка майже повторює інші, у звіті «Сторінки» (Pages) вона стоїть у рядку «Проскановано, наразі не проіндексовано» (Crawled - currently not indexed).
• Помилка сервера: під час перевірки опублікованої URL-адреси видно помилку 5xx, а у звіті «Сторінки» причина «Помилка сервера (5xx)» (Server error (5xx)).

Після виправлення натисніть «Надіслати запит на індексування» для головних адрес. Якщо причин кілька або сторінок багато, перевірте сайт повністю: що дивитися, описує стаття технічна перевірка сайту. Повний розбір з планом виправлень дає SEO-аудит сайту.

Якість і оновлення контенту

Про статус «Проскановано, наразі не проіндексовано» довідка Google пише, що сторінка може потрапити до індексу пізніше і повторно надсилати запит не потрібно. З нашого досвіду найчастіше Google не побачив на сторінці нового порівняно з тим, що вже є в індексі, і допомагає інший контент.

Допомагає відповідь, якої немає на інших сторінках сайту: власні цифри й приклади з практики. Стару статтю краще оновити, ніж публікувати поруч нову майже таку саму: дві схожі сторінки конкурують одна з одною. Оновлений контент позначте новою датою lastmod у карті сайту.

Як дізнатися, чи приходив робот

Дату візиту показує поле «Останнє сканування» (Last crawl) у «Перевірці URL-адреси». Немає дати, отже, робот сторінку ще не сканував. Загальну картину дає звіт «Статистика сканування» (Crawl stats) у налаштуваннях Search Console: кількість запитів робота, коди відповіді й час відповіді сервера. Найточніше візити видно в логах сервера, їх видає хостинг. Оператор site:адреса в пошуку Google годиться лише для грубої перевірки: він показує не всі сторінки з індексу. Якщо робот давно не приходив на сторінку, перевірте, чи ведуть на неї посилання.

Часті запитання про прискорення індексації