Як видалити сайт з пошуку Google: тимчасово і назавжди

Сторінку або весь сайт прибирають з Google двома шляхами: швидко на час через Search Console і назавжди змінами на самому сайті. Терміново сховати допомагає запит, назавжди прибирає зміна на сайті, і часто потрібні обидва. Нижче розберемо, який спосіб під яке завдання, покрокові дії і як перевірити результат.

Який спосіб обрати

Як прибрати непотрібну сторінку з видачі, вирішує завдання: чи потрібен швидкий запит у Search Console, зміна на сайті чи і те, і те. Найчастіше потрібні обидва кроки: перший ховає адресу на час, другий не дає їй повернутися в пошук.

robots.txt у таблиці немає навмисно: чому він не видаляє сторінку, пояснюємо нижче. Сумніваєтеся, що обрати? Почніть з першого рядка: термінове і постійне рішення одне одному не заважають.

Тимчасово: інструмент «Видалення» в Search Console

Інструмент «Видалення» (Removals) ховає адресу з пошуку Google приблизно на шість місяців. Працює він тільки для сайту, права на який підтверджено в Search Console. Чужу сторінку так сховати не можна, для неї є окремий спосіб, про нього в кінці статті.

Як надіслати запит на видалення

Як видалити сторінку з пошуку на час, за кроками з довідки Google (англійською):

1. Відкрийте в Search Console інструмент «Видалення» і вкладку «Тимчасові видалення».
2. Натисніть «Новий запит» (New Request) і оберіть «Тимчасово видалити URL» (Temporarily remove URL).
3. Впишіть точну адресу, як вона стоїть у пошуку.
4. Оберіть «Видалити лише цю URL-адресу» для однієї сторінки або «Видалити всі URL-адреси з цим префіксом» для розділу: префікс https://site.com/blog/ сховає всі адреси, що з нього починаються. Косу риску в кінці не пропускайте: за довідкою Google, префікс /page без неї сховає і /pageB.
5. Натисніть «Далі» і підтвердьте запит.

Обробка зазвичай триває до доби, схвалення не гарантоване. Статус у таблиці: «Запит обробляється» або «Тимчасово видалено».

Чого інструмент не робить

Запит лише ховає адресу з видачі, тому в нього є обмеження:

• Не забороняє Google сканувати сторінку. Без змін на сайті вона повернеться в пошук, коли закінчиться строк.
• Ховає всі варіанти адреси: з http і https, з www і без. Для дублів він не підходить, інакше зникне й основна сторінка.
• Діє тільки в Google, в інших пошукових системах сторінка лишиться.
• Адреси з іншим регістром літер або параметрами подають окремими запитами: для Google це різні URL.
• Якщо сторінка вже віддає 404 у момент запиту, Google вважатиме її видаленою, і запит втратить силу. Нова сторінка за тією самою адресою знову потрапить у пошук.

Назавжди: три способи на самому сайті

Назавжди сторінку прибирає тільки зміна на сайті. Google побачить її, коли знову просканує адресу, тому результат з'являється не одразу, а після візиту пошукового робота.

Видалити сторінку: відповідь 404 або 410

Код відповіді - це число, яке сервер віддає разом зі сторінкою. 404 означає «не знайдено», 410 означає «видалено». Так вирішується і питання, як видалити URL-адреси назавжди: коли Google знову зайде на адресу й отримає такий код, він видалить її з індексу. PDF та інші файли видаляють із сервера повністю. Який код віддає адреса, покаже «Перевірка URL-адреси» (URL Inspection) в Search Console.

Приберіть внутрішні посилання на видалену сторінку і її рядок у sitemap.xml: інакше робот знову й знову приходитиме на порожню адресу. Коли сторінка мала трафік або на неї посилаються інші сайти, замість видалення краще налаштувати 301 на близьку за темою сторінку. Так відвідувач за старим посиланням потрапить туди, де є відповідь.

Закрити доступ паролем

Так закривають тестову версію сайту, особистий кабінет або внутрішні документи. Відвідувачі з доступом бачать сторінку, а робот Google не може її проіндексувати. Пароль зазвичай ставлять у налаштуваннях хостингу або CMS, часто без допомоги програміста. Спосіб надійний: без пароля сторінку не побачить ні робот, ні випадковий відвідувач.

Тег noindex: сторінка лишається на сайті

Підходить для сторінок, які потрібні відвідувачам, але не в пошуку: подяка після заявки, результати пошуку по сайту. У head сторінки ставлять мета-тег robots зі значенням noindex, а для PDF та інших файлів заголовок X-Robots-Tag. Google має просканувати сторінку, щоб побачити тег, тому закривати її в robots.txt не можна. Інші пошукові системи тег можуть не врахувати. Знімають тег тільки тоді, коли сторінка знову потрібна в пошуку.

Пришвидшити це можна в «Перевірці URL-адреси» кнопкою «Надіслати запит на індексування» (Request indexing). Раніше схожу роль відігравала форма додавання адрес, яку в SEO називали «аддурілка гугл»: її давно замінила ця кнопка.

Чому robots.txt не видаляє сторінку з пошуку

Часта помилка: закрити адресу в robots.txt і чекати, що вона зникне. Файл robots.txt забороняє сканування, а не показ. Заблокована адреса може лишитися у видачі без опису, якщо на неї ведуть посилання. А головне, робот не побачить на такій сторінці ні noindex, ні відповіді 404, і вона застрягне в пошуку. Видалити сторінку з пошуку забороною в robots.txt не можна, потрібен 404, пароль або noindex. На сторінках з noindex robots.txt не чіпайте, тег має лишатися видимим для робота. Заборона вже стоїть? Зніміть її, поки Google не побачить 404 або noindex.

Файл robots.txt не є механізмом, щоб не допустити вебсторінку в Google.

Вступ до файлу robots.txt, довідка Центру Google Пошуку для власників сайтів (англійською, переклад наш)

Дублі сторінок: не видаляти, а склеїти

Дубль не видаляють інструментом: він сховає всі варіанти адреси разом з основною сторінкою. Натомість:

• ставлять 301 з копії на основну сторінку, Google називає переадресацію сильним сигналом канонічної адреси;
• додають rel="canonical", коли копія потрібна, наприклад сторінка фільтра або адреса з параметрами;
• вказують одну основну версію всюди: у посиланнях, sitemap.xml і canonical.

Дублі знаходять обходом усього сайту: так видно, де та сама сторінка відкривається за різними адресами. Це частина послуги технічний аудит сайту.

Увесь домен цілком

Щоб видалити сайт з пошуку Google повністю:

1. Сховайте його на час запитом у «Видаленнях» з префіксом головної сторінки.
2. Закрийте сайт паролем, віддавайте 404 або 410 на всіх адресах або поставте noindex на всі сторінки, якщо сайт має лишитися відкритим.
3. Не знімайте ці зміни, поки Google не просканує адреси заново.

Під час переїзду на новий домен сайт не видаляють, а налаштовують 301 зі старих адрес: так зберігаються позиції й посилання, а пошукові системи переносять їх на нову адресу.

Сторінку видалено, але вона досі в пошуку

Адреса не зникла з видачі за кілька тижнів? Перевірте чотири часті причини. Почніть з «Перевірки URL-адреси»: вона показує, що бачив робот під час останнього візиту.

Як перевірити індексацію і знайти биті посилання на видалені сторінки, ми розібрали окремо.

Якщо ваші дані на чужому сайті

«Видалення» працюють тільки для свого ресурсу. Якщо сторінки або даних уже немає на чужому сайті, а Google показує старе, допоможе інструмент видалення застарілого вмісту. Ваш телефон, адресу або документи прибирають запитом за довідкою Google про видалення особистої інформації. Для порушень закону, наприклад авторського права, у Google є окремий запит. Решту вмісту видаляє тільки власник сайту.

Часті запитання про видалення з пошуку