Как удалить сайт из поиска Google: временно и навсегда

Страницу или весь сайт убирают из Google двумя путями: быстро на время через Search Console и навсегда изменениями на самом сайте. Срочно скрыть помогает запрос, навсегда убирает изменение на сайте, и часто нужны оба. Ниже разберем, какой способ под какую задачу, пошаговые действия и как проверить результат.

Какой способ выбрать

Как убрать ненужную страницу в выдаче, решает задача: нужен ли быстрый запрос в Search Console, изменение на сайте или и то и другое. Чаще всего нужны оба шага: первый прячет адрес на время, второй не дает ему вернуться в поиск.

robots.txt в таблице нет намеренно: почему он не удаляет страницу, объясняем ниже. Сомневаетесь, что выбрать? Начните с первой строки: срочное и постоянное решения не мешают друг другу.

Временно: инструмент «Удаления» в Search Console

Инструмент скрывает адрес из поиска Google на срок до шести месяцев. Работает он только для сайта, права на который подтверждены в Search Console. Чужую страницу так скрыть нельзя, для нее есть отдельный способ, о нем в конце статьи.

Как отправить запрос на удаление

Как удалить страницу из поиска на время, по шагам из справки Google:

1. Откройте в Search Console инструмент «Удаления» и вкладку «Временные удаления».
2. Нажмите «Создать запрос» и выберите «Временное удаление URL».
3. Впишите точный адрес так, как он стоит в поиске.
4. Выберите «Удалить только этот URL» для одной страницы или «Удалить все URL с этим префиксом» для раздела: префикс https://site.com/blog/ скроет все адреса, которые с него начинаются. Косую черту в конце не пропускайте: по справке Google префикс /page без нее скроет и /pageB.
5. Нажмите «Далее» и подтвердите запрос.

На обработку могут потребоваться сутки, и одобрение не гарантировано. Статус видно в таблице: «Запрос обрабатывается» или «URL временно удален».

Чего инструмент не делает

Запрос только прячет адрес из выдачи, поэтому у него есть ограничения:

• Не запрещает Google сканировать страницу. Без изменений на сайте она вернется в поиск, когда закончится срок.
• Скрывает все варианты адреса: с http и https, с www и без. Для дублей он не подходит, иначе пропадет и основная страница.
• Действует только в Google, в других поисковых системах страница останется.
• Адреса с другим регистром букв или параметрами подают отдельными запросами: для Google это разные URL.
• Если страница уже отдает 404 в момент запроса, Google сочтет ее удаленной, и запрос потеряет силу. Новая страница по тому же адресу снова попадет в поиск.

Навсегда: три способа на самом сайте

Навсегда страницу убирает только изменение на сайте. Google увидит его, когда снова просканирует адрес, поэтому результат появляется не сразу, а после визита поискового робота.

Удалить страницу: ответ 404 или 410

Код ответа - это число, которое сервер отдает вместе со страницей. 404 значит «не найдено», 410 значит «удалено». Так решается и вопрос, как удалить URL навсегда: когда Google снова зайдет на адрес и получит такой код, он удалит его из индекса. PDF и другие файлы удаляют с сервера полностью. Какой код отдает адрес, покажет «Проверка URL» в Search Console.

Уберите внутренние ссылки на удаленную страницу и ее строку в sitemap.xml: иначе робот будет снова и снова приходить на пустой адрес. Когда у страницы был трафик или на нее ссылаются другие сайты, вместо удаления лучше настроить 301 на близкую по теме страницу. Так посетитель по старой ссылке попадет туда, где есть ответ.

Закрыть доступ паролем

Так закрывают тестовую версию сайта, личный кабинет или внутренние документы. Посетители с доступом видят страницу, а робот Google не может ее проиндексировать. Пароль обычно ставят в настройках хостинга или CMS, часто без помощи программиста. Способ надежный: без пароля страницу не увидит ни робот, ни случайный посетитель.

Тег noindex: страница остается на сайте

Подходит для страниц, которые нужны посетителям, но не в поиске: благодарность после заявки, результаты поиска по сайту. В head страницы ставят мета-тег robots со значением noindex, а для PDF и других файлов заголовок X-Robots-Tag. Google должен просканировать страницу, чтобы увидеть тег, поэтому закрывать ее в robots.txt нельзя. Другие поисковые системы тег могут не учесть. Снимают тег только тогда, когда страница снова нужна в поиске.

Ускорить это можно в «Проверке URL» кнопкой «Запросить индексирование». Раньше похожую роль играла форма добавления адресов, которую в SEO называли «аддурилка гугл»: ее давно заменила эта кнопка.

Почему robots.txt не удаляет страницу из поиска

Частая ошибка: закрыть адрес в robots.txt и ждать, что он пропадет. Файл robots.txt запрещает сканирование, а не показ. Заблокированный адрес может остаться в выдаче без описания, если на него ведут ссылки. А главное, робот не увидит на такой странице ни noindex, ни ответа 404, и она застрянет в поиске. Удалить ссылку из поиска запретом в robots.txt нельзя, нужен 404, пароль или noindex. На страницах с noindex robots.txt не трогайте, тег должен оставаться виден роботу. Запрет уже стоит? Снимите его, пока Google не увидит 404 или noindex.

Файл robots.txt не предназначен для того, чтобы запрещать показ ваших материалов в результатах поиска Google.

Введение к файлу robots.txt, справка Центра Google Поиска для владельцев сайтов

Дубли страниц: не удалять, а склеить

Дубль не удаляют инструментом: он скроет все варианты адреса вместе с основной страницей. Вместо этого:

• ставят 301 с копии на основную страницу, Google называет переадресацию явным признаком канонического адреса;
• добавляют rel="canonical", когда копия нужна, например страница фильтра или адрес с параметрами;
• указывают одну основную версию везде: в ссылках, sitemap.xml и canonical.

Дубли находят обходом всего сайта: так видно, где одна и та же страница открывается по разным адресам. Это часть услуги технический аудит сайта.

Весь домен целиком

Чтобы удалить сайт из поиска Google полностью:

1. Скройте его на время запросом в «Удалениях» с префиксом главной страницы.
2. Закройте сайт паролем, отдавайте 404 или 410 на всех адресах или поставьте noindex на все страницы, если сайт должен остаться открытым.
3. Не снимайте эти изменения, пока Google не просканирует адреса заново.

При переезде на новый домен сайт не удаляют, а настраивают 301 со старых адресов: так сохраняются позиции и ссылки, а поисковые системы переносят их на новый адрес.

Страница удалена, но все еще в поиске

Адрес не пропал из выдачи через несколько недель? Проверьте четыре частые причины. Начните с «Проверки URL»: она показывает, что видел робот при последнем визите.

Как проверить индексацию и найти битые ссылки на удаленные страницы, мы разобрали отдельно.

Если ваши данные на чужом сайте

«Удаления» работают только для своего ресурса. Если страницы или данных уже нет на чужом сайте, а Google показывает старое, поможет инструмент удаления устаревшего контента. Ваш телефон, адрес или документы убирают запросом по справке Google об удалении личной информации. Для нарушений закона, например авторского права, у Google есть отдельный запрос. Остальной контент удаляет только владелец сайта.

Частые вопросы об удалении из поиска