Як перевірити індексацію сайту і сторінок у Google

Сторінки, якої немає в індексі Google, немає і в пошуковій видачі, хоч би яким корисним був текст, і трафіку вона не принесе. Нижче чотири способи перевірити індексацію сторінки чи всього сайту, коли який підходить, і розбір статусів Search Console: що означає кожен і що з ним робити.

Чотири способи в одному списку

Перевірити сайт на індексацію в Google можна так:

1. Інструмент «Перевірка URL-адреси» в Search Console. Потрібен, коли питання про одну сторінку: чи є вона в індексі і чому її немає.
2. Звіт «Індексування сторінок». Беріть його, щоб побачити весь сайт: скільки сторінок в індексі і з якої причини решта не потрапила.
3. Оператор site: у пошуку Google. Швидка оцінка без доступу до Search Console, зокрема для чужого сайту.
4. Краулер або онлайн-сервіс. Підходить, коли адрес сотні й перевіряти їх по одній довго.

Перші два способи точніші за інші, бо це дані самого Google, але працюють лише для вашого сайту, доданого в Search Console. Для чужих сайтів годяться оператор site: і сервіси.

Що означає «сторінка в індексі»

Індексом називають базу сторінок, з якої Google збирає видачу. Щоб сторінка потрапила в індекс, потрібні три кроки: пошуковий робот Googlebot знаходить адресу, сканує сторінку, тобто завантажує її код, і лише потім вирішує, чи додавати її в індекс.

Сканування не означає індексацію. Сторінку можуть просканувати й не додати. А сторінка в індексі не обов'язково стоїть високо: за словами Google, навіть проіндексована сторінка не завжди з'являється в результатах пошуку. Місце у видачі залежить уже від того, наскільки сторінка відповідає на запит.

Перевірка індексації в Google Search Console

Search Console дає найточнішу відповідь, бо це дані самої пошукової системи. Працює лише для сайту, права на який ви підтвердили в консолі. Якщо сайту там ще немає, додайте ресурс і підтвердьте права, наприклад файлом або тегом на головній.

Одна сторінка: інструмент «Перевірка URL-адреси»

1. Вставте адресу в рядок пошуку вгорі Search Console. Потрібна повна адреса з https.
2. Прочитайте статус. «URL-адреса є в Google» (URL is on Google) означає, що сторінку проіндексовано, «URL-адреси немає в Google» (URL is not on Google) означає, що ні, і нижче буде причина.
3. Розгорніть розділ «Індексування сторінки» (Page indexing). Там дата останнього сканування і рядок «Канонічна сторінка, вибрана Google» (Google-selected canonical). Якщо там не ваша адреса, в індекс потрапила інша версія сторінки. Так видно й те, як перевірити переіндексацію сторінки: якщо дата сканування пізніша за правку, Google уже завантажив нову версію.
4. Натисніть «Перевірити опубліковану URL-адресу» (Test live URL). Вона показує, чи доступна сторінка роботу зараз.
5. Натисніть «Надіслати запит на індексування» (Request indexing). Сторінка стане в чергу на сканування. Кнопка є у власників ресурсу й користувачів із повним доступом. Запит, за словами Google, не гарантує індексації, а кількість запитів на день обмежена.

Якщо доступ до консолі вам дав підрядник, перевірте, що він повний, інакше надіслати запит на індексування не вийде.

Увесь сайт: звіт «Індексування сторінок»

Звіт показує, скільки сторінок сайту в індексі, а скільки ні. На графіку дві групи: «Проіндексовано» (Indexed) і «Не проіндексовано» (Not indexed), а нижче таблиця, де в колонці «Причина» (Reason) вказано, чому адреси не потрапили в індекс, і скільки їх за кожною причиною.

Натисніть на рядок із причиною, і відкриється список прикладів адрес. Туди входить до 1000 URL, і Google попереджає, що тут можуть бути не всі адреси з цим статусом.

Цифри звіту не мусять збігатися з кількістю сторінок у sitemap.xml. У звіт потрапляють і адреси, які Google знайшов сам: дублі, сторінки з параметрами. Частина сторінок не в індексі майже на будь-якому сайті, і це не завжди помилка.

У фільтрі над графіком виберіть «Усі надіслані сторінки» (All submitted pages). Залишаться лише адреси з файлу Sitemap, і видно, які важливі сторінки не потрапили в індекс.

Оператор site: що він показує

Запит site: показує сторінки домену, які є в індексі й можуть потрапити у видачу. Як ним користуватися:

• Увесь сайт: site:example.com у рядку пошуку Google.
• Розділ: site:https://example.com/blog/ покаже лише сторінки цього розділу.
• Одна сторінка: site: і повна адреса. Щоб з'ясувати, чи проіндексоване ваше посилання на чужому сайті, введіть адресу сторінки, де воно стоїть.
• Кількість результатів неточна. Google пише, що site: не завжди повертає всі проіндексовані URL, особливо на великих сайтах.
• Причин site: не показує. Немає сторінки в результатах, це ще не означає, що її немає в індексі. Відкрийте її в «Перевірці URL-адреси».
• Зручний для чужих сайтів. Перед тим як купити посилання, перевірте, скільки сторінок донора в індексі.

Масова перевірка індексації сторінок

Сотні адрес перевіряють краулером, онлайн-сервісом або звіркою з картою сайту:

• Краулер з URL Inspection API. Screaming Frog під'єднується до Search Console і бере статус індексації для кожної адреси з обходу. API Google обмежує такі запити: 2 000 на день на один ресурс Search Console.
• Онлайн-сервіси. Перевірка індексації онлайн зручна, коли доступу до консолі немає. Але дані таких сервісів беруться не з Search Console, тому спірні адреси перевіряйте ще раз у «Перевірці URL-адреси». Перед оплатою порівняйте ліміт адрес сервісу з кількістю своїх сторінок.
• Звірка з sitemap.xml. Завантажте карту сайту в краулер списком і отримайте статус кожної адреси через API. Для невеликого сайту вистачить фільтра «Усі надіслані сторінки» у звіті. Кожну пропущену сторінку потім відкрийте в «Перевірці URL-адреси», щоб побачити причину.

Статус у Search Console: що означає і що робити

Статус у звіті називає причину, через яку сторінки немає в індексі. Назви подано нашим перекладом з англійським оригіналом у дужках. Шість статусів, які найчастіше потребують рішення:

Noindex і robots.txt часто стоять навмисно, і це не помилка: Google пише, що ви самі вирішуєте, чи усувати кожну проблему. Але noindex прибирає сторінку з індексу, а robots.txt лише забороняє сканування, і сторінка все одно може потрапити в індекс. Кошик і пошук по сайту надійніше закривати через noindex.

Коли причину виправлено, можна прискорити індексацію сторінки. А якщо сторінка в пошуку зайва, розберіться, як видалити сторінку з пошуку.

Який спосіб вибрати

Вибір залежить від того, скільки сторінок перевіряти і чи є у вас доступ до консолі потрібного сайту.

Для невеликого сайту зазвичай вистачає звіту раз на місяць і «Перевірки URL-адреси» для кожної нової сторінки. Коли проблем з індексацією багато, їх зручніше розібрати в межах послуги технічний аудит сайту.

Часті запитання про індексацію