Обнаружена не проиндексирована статус исключено, полное решение
Предлагается пошаговое руководство решения проблемы долгой индексации веб-ресурсов в Google с сообщением: «Обнаружена не проиндексирована статус исключено». В развернутом формальном комментарии Гугл ссылается на неудачу сканирования по причине создания возможной излишней нагрузки сайта и потому включение в индекс пока откладывается. Выглядит не убедительно, особенно, если это «пока» длится бесконечно.
Реальный пример
Однажды обнаружил, что на блоге за 6 месяцев было проиндексировано лишь две страницы, на фоне нахождения остальных в непонятном состоянии ожидания. Причем стандартный интерфейс Google Search Console (GSC) оказался бесполезен. Особенно беспокоило выражение «статус исключено». Закралось подозрение, что размещаемый контент недостаточно качественен, но Яндекс индексировал моментально, часто без подсказок.
Пытаясь разобраться в ситуации, просмотрел в сети массу информации на эту тему. И обнаружил:
- подобное встречается часто;
- имеется множество бесполезных советов с пространными объяснениями;
- эффективным решением проблемы «обнаружена не проиндексирована статус исключено» на данный момент является Google Indexing API, осуществляющий быструю индексацию вебстраниц; если не допущены грубые ошибки в .htaccess или robots.txt, … .
Как результат, пользуюсь только этим методом и со «статусом» порядок.
Использование сервиса Google Indexing API
Захотелось написать информационно ёмкую, но лаконичную инструкцию на эту тему. Получилась не очень длинная из пяти частей с использованием скриншотов, упакованных в видеоролики.
Пользоваться роликами просто, если совмещать просмотр экранов с паузами. Во время изучения каждого из них рекомендуется выполнять описанные в них практические действия, с целью создания и применения сервиса.
Пояснение
Под видео, если требуется, расположены рабочие ссылки на необходимые веб-ресурсы, указанные в текстах самих роликов.
1. Создание облачного аккаунта и получение JSON-ключа.
Google Cloud Platform - console.cloud.google
Важно
Начиная с весны 2022 года взаимоотношения с Гуглом значительно изменились. Не знаю, как будет дальше, но сейчас поисковик запретил создавать новые облачные аккаунты с территории России. Таким образом, похоже данная инструкция в таком виде может полезна только тем, кто уже имеет подобные аккаунты, но созданные с иными целями.
С другой стороны, вокруг сложившейся ситуации существует клубок из реальных фактов, различных слухов и противоречивых домыслов.
Например, распространено мнение, что нельзя пользоваться старыми аккаунтами, если они жестко не привязаны к мобильнику и кредитной карте. Проверил - мнение ошибочное. Все работает, как и прежде, вхожу через почту Gmail и кредитка нигде не требуется.
Буду разбираться дальше. Уверен, положительное разрешение вопроса со временем будет найдено, что пока выносится за пределы настоящей инструкции.
2. Скачивание скрипта из GitHub и настройка - позволяет обойтись без стандартного интерфейса GSC, в части отправки ресурсов на индексацию.
Требуемый скрипт на GitHub - github.com/swalker-888/google-indexing-api-bulk
3. Установление связи GSC с вышеуказанным скриптом.
Выполнение аутентификации - console.developers.
4. Установка node.js.
Необходимо отметить, если в ПК уже имеется продукт node.js, это исключает необходимость выполнения данного пункта.
Скачать node.js лучше с официального сайта:
- Windows 10 и 11 - nodejs.org/ru/
download/ - Windows 7 - nodejs.org/
download/release/v13.14.0/
5. Запуск скрипта.
Из опыта использования данного сервиса, адреса страниц (URL) обычно можно обнаружить проиндексированными на третий день с момента их отправки.
⚬ ⚬ ⚬
Процесс создания и настройки сервиса Google Indexing API с одной стороны не прост, длителен и требует внимания, но конечный результат применения весьма эффективен в решении проблемы «Обнаружена не проиндексирована статус исключено». Пока уважаемый поисковик не придумает иное.
Полезно уметь не только вносить URL в индекс, но и удалять их оттуда, а также сообщать поисковикам о необходимости переобхода страниц. Причины бывают разные и темы отдельные, но об этом позднее.
