Открыть доступ поисковикам к сайту html в 3 этапа легко

Возможно, кто-то решил взять за основу создаваемого своего веб-ресурса, предложенные здесь ранее, демо шаблоны html со статическими страницами или с динамическим их формированием в соответствии с методикой MYsiteD. Тогда необходимо открыть поисковикам доступ к сайту, который, раз Вы читаете эту статью, надо полагать, почти готов.

Можно предположить, сайт находится на локальном хостинге, наполнен уникальным тематическим контентом с учетом SEO оптимизации, проверен на предмет спама, а его дизайн, в соответствии с выбранной тематикой, стал гораздо привлекательнее.

Осталось пройти лишь три завершающих важных этапа, с некоторыми в той или степени, но с определенными отличиями и нюансами, сталкиваются все вебмастера. В частности, у тех же статических и динамических ресурсов имеются различия в настройке (редактировании) кода, что обуславливается отличием в технологиях, особенностями адресации, структуры и т.д. При этом, между всеми есть и много общего.

Необходимо заметить, данный материал это логический итог четырех предыдущих статей (#0, #1, #2, #3), но приводимые здесь рекомендации достаточно универсальны. Они применимы к большинству сайтов.

Условия настройки при открытии и публикации

Все действия будут осуществляться с учетом их действительного размещения:

хостинг hostland.ru;
защищенный протокол https;
доменное имя статического сайта - template1.itworldmy.ru;
доменное имя динамического сайта – template2.itworldmy.ru;.

Безусловно, реальности других проектов будут всегда индивидуальны. Во избежание ошибок, об этом важно помнить.

#1 – предварительная настройка

Статика

1. Файлы html

1.1 В их верхней части после тега <title> вносится код, предоставляющий поисковым системам требуемую им информацию о странице. Первая строка — ее канонический адрес. Вторая — краткое описание (не не должно превышать 150 зн-ов, включая пробелы, содержит ключевые словосочетания, обязательно имеющие смысловое значение).

<link rel="canonical" href="https://templante1.itworldmy.ru/">
<meta name="description" content="Создание Всемирной паутины.">

1.2 После тега <body> удалить строку , а перед </body> -  .

Как и прежде, демонстрация редактирования кода, осуществляется на примере Главной страницы («Создание WWW», файл index.html, находится в корневой папке). Остальные правятся аналогичным образом, но смысловое наполнение обеих строк должно являться каждый раз уникальным.

2. sitemap.xml

В корневой директории создать новый и заполнить его следующим текстом

<?xml version="1.0" encoding="utf-8"?><!--Generated by Screaming Frog SEO Spider 16.2-->
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://template1.itworldmy.ru/</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://template1.itworldmy.ru/tech/</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.8</priority>
  </url>
  <url>
    <loc>https://template1.itworldmy.ru/tech/basic-tech.html</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.9</priority>
  </url>
  <url>
    <loc>https://template1.itworldmy.ru/about/</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.8</priority>
  </url>
  <url>
    <loc>https://template1.itworldmy.ru/applications/</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.8</priority>
  </url>
  <url>
    <loc>https://template1.itworldmy.ru/basics/</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.8</priority>
  </url>
  <url>
    <loc>https://template1.itworldmy.ru/map/</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.8</priority>
  </url>
  <url>
    <loc>https://template1.itworldmy.ru/tech/modern-tech.html</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.7</priority>
  </url>
</urlset>

или скачать готовый упакованный файл.

3. Соглашение Политики конфиденциальности.

Если такая информация на веб-проекте пока отсутствует, как требует законодательство РФ, то пришло время ее разместить. Для этого необходимо создать папку privacy-policy с соответствующим файлом index.html. Текст Соглашения, в качестве примера, можно найти на этом блоге здесь.

Далее в нижней части всех файлов html вместо тегов <footer class="footer"> .... <footer> (с содержимым между ними) необходимо прописать следующий код:

<footer>
  <!--noindex--><p>Здесь будет текст предупреждения посететелей о согласии с имеющейся Политикой конфиденциальности (текст соглашения <a href="/privacy-policy" rel="nofollow">ЗДЕСЬ</a>).</p><!--/noindex-->
  <address><a href="https://www.itworldmy.ru/connect/" target="_blank">Михаил Ярошевич</a></address>
  <span>©  2021</span>
</footer>

Правда, к открытию доступа поисковикам этот пункт прямого отношения не имеет, зато имеет отношение, к закрытию информации, которую не требуется открывать для доступа. Один фактор важен не менее другого.

4. robots.txt

Указываем ссылку на sitemap.xml и закрываем от индексации папки privacy-policy и images, заменяя имеющийся в файле текст на следующий:

User-agent: *
Disallow: /privacy-policy
Disallow: /images
Disallow: */?s=
Disallow: /*?*
Disallow: /*%
Disallow: /*?
Disallow: *?s=
Disallow: *?p=
Disallow: *PHPSESSID=
Disallow: *session_id=

Sitemap: https://template1.itworldmy.ru/sitemap.xml

5. .htaccess

Меняем в нем стр. 51-60 на следующие:

SetEnvIf Request_URI "^/images/" NOINDEXFOLLOW
SetEnvIf Request_URI "^/privacy-policy/" NOINDEXFOLLOW
SetEnvIf Request_URI "^/errors.php" NOINDEXFOLLOW
SetEnvIf Request_URI "^/.htaccess" NOINDEXFOLLOW
Header set X-Robots-Tag "noindex, nofollow" env=NOINDEXFOLLOW

Динамика

Настройка сайта с динамическим формированием несколько отличается от статического. Поэтому ниже находятся лишь их отличия, а не совпадения, но всегда не нужно забывать о возможных изменениях в адресации.

1. general-includes/header.shtml

После тега <body> удаляем  .

2. general-includes/footer.shtml

Перед тегом </body> удаляем  .

3. sitemap.xml

Все как в статике. Скачать готовый упакованный или создать новый, с приложенным ниже текстом:

<?xml version="1.0" encoding="utf-8"?><!--Generated by Screaming Frog SEO Spider 16.2-->
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://template2.itworldmy.ru/</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://template2.itworldmy.ru/applications/static.html</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.9</priority>
  </url>
  <url>
    <loc>https://template2.itworldmy.ru/tech/basis-tech.html</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.9</priority>
  </url>
  <url>
    <loc>https://template2.itworldmy.ru/applications/dinamics.html</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.9</priority>
  </url>
  <url>
    <loc>https://template2.itworldmy.ru/tech/modern-tech.html</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.9</priority>
  </url>
  <url>
    <loc>https://template2.itworldmy.ru/tech/</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.8</priority>
  </url>
  <url>
    <loc>https://template2.itworldmy.ru/basics/</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.8</priority>
  </url>
  <url>
    <loc>https://template2.itworldmy.ru/map/</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.8</priority>
  </url>
  <url>
    <loc>https://template2.itworldmy.ru/about/</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.8</priority>
  </url>
  <url>
    <loc>https://template2.itworldmy.ru/applications/</loc>
    <lastmod>2021-10-31</lastmod>
    <changefreq>daily</changefreq>
    <priority>0.8</priority>
  </url>
</urlset>

4. Соглашение Политики конфиденциальности

Раздел с Политикой конфиденциальности создается по аналогии со статикой, но представленный ниже код прописывается в general-includes/footer.shtml между тегами <footer> и <address>.

<!--noindex--><p>Здесь будет текст предупреждения посететелей о согласии с имеющейся Политикой конфиденциальности (текст соглашения <a href="/privacy-policy" rel="nofollow">ЗДЕСЬ</a>).</p><!--/noindex-->

5. .htaccess

5.1 Необходимо строку SSILegacyExprParser on (номер 38) закомментировать, если hostland. В реальности, комментировать эту строку или нет, зависит от версии синтаксиса SSI, принятой на конкретном хостинге.

5.2 Строки 60-71 нужно заменить на следующие:

SetEnvIf Request_URI "^/general-images/" NOINDEXFOLLOW
SetEnvIf Request_URI "^/privacy-policy/" NOINDEXFOLLOW
SetEnvIf Request_URI "^/general-includes/" NOINDEXFOLLOW
SetEnvIf Request_URI "^/errors.php" NOINDEXFOLLOW
SetEnvIf Request_URI "^/.htaccess" NOINDEXFOLLOW
Header set X-Robots-Tag "noindex, nofollow" env=NOINDEXFOLLOW

Завершение этапа #1

Этап настройки при открытии доступа поисковикам к сайту пожалуй самый сложный и деликатный, если можно так выразиться. Он имеет прямое отношение к SEO (поисковая оптимизация) и ошибки в этом случае обходятся очень дорого. Поисковики свои алгоритмы никогда не разглашают, но периодически меняют. Пока они существуют, доступ к их секретной информации никогда не будет открыт. И хотя некоторые официальные заявления поисковики периодически все же делают, но эта область постоянно полна всяческих противоречий, слухов и домыслов. Настоящие знания получают лишь практически.

Оставшиеся два этапа, безусловно очень важны, но логика действий будет гораздо очевидней и наглядней, чем было на первом.

#2 - размещение

Выбор доменного имени и хостинга

Этот выбор очень индивидуален. Кстати, очень часто на выбранном хостинге можно, в качестве бонуса, получить доменное имя бесплатно. Обо все этом уже написано очень много и подробно. Лишь добавлю, с осторожностью отношусь к бесплатным. Полагаю ими можно пользоваться лишь для отладки и приобретения опыта.

Хотя, есть и бесплатные весьма уважаемые - типа GitHub. Для размещения статического сайта и при наличии доменного имени, это может даже стать идеальным решением.

Как закачать

На hostland имеется несколько таких способов. Я, по привычке, всегда использую средство FileZilla. Этот FTP-клиент может работать в разных средах. Найти в сети не составит большого труда, его необходимо скачать и восстановить у себя, следуя указаниям. Далее требуется запустить, появится картинка, как показано на скриншоте.

В поле слева находим место на своем компьютере (в настоящем случае изображена среда Денвера), откуда предполагается брать документы. В письме хостера находятся требуемые данные для связи (сервер: ..., логин: ..., пароль: ....). которые соответствуют полям FileZilla в верхней части экрана (Хост, Имя пользователя и Пароль). Заносим данные в поля и нажимаем кнопку «Быстрое соединение». В поле справа находим место (узнаем тоже из письма) для файловой структуры проекта. Используя правую кнопку «мыши» и пункт «Закачать на сервер» копируем данные из левой части в правую. Все, проект в сети.

#3 - добавление сайта в поисковые системы

Сообщаем Яндексу

По запросу - «яндекс.вебмастер», находим этот бесплатный сервис. Далее последовательность действий следующая: регистрируемся, подтверждаем свои необходимые права (подробности в «Яндекс Справка» - «Права доступа»). Пройдя по пути «Индексирование» - «Мониторинг важных ...», заносим адреса страниц в предложенное поле, только которые должны быть индексированы, и нажимаем кнопку «Отслеживать». В основном это все.

Еще полезно в разделе «Настройки» сделать привязку к Яндекс.Метрике и получить иконку ИКС.

Сообщаем Гуглу

Здесь действия примерно, как в Яндексе: находим сервис «Google Search Console» по запросу «google search console», регистрация, подтверждение своих прав на сайт, с внесением туда полученного кода, и собственно занесение своих страниц в эту поисковую систему, но с некоторыми нюансами.

В верхней части экрана в поле «Проверка всех URL на ресурсе ...» поочередно заносим нужные адреса, каждый раз нажимая кнопку «Поиск» и кнопку «Запросить индексирование». Таким образом мы сообщаем Гуглу о появлении своего приложения в сети, но это не единственный способ. Если он не сработает поможет Google Indexing API.

Еще полезное

Рекомендуется не пренебрегать информацией предлагаемую поисковыми системами на своих бесплатных сервисах. В ней содержится масса полезных данных о продвигаемой веб-площадке: состояние, посещаемость, сбор статистики, демонстрация возможный и допущенных ошибок, рекомендации и т.д.

Будет для кого-либо открытием, но стоит в Интернете, например в социальной сети «Вконтакте» или иной, разместить ссылку на свой интернет-ресурс, как Google и Яндекс тоже, его обязательно обнаружат. Правда, это будет несколько дольше, чем сообщать поисковикам, как описано выше.

Рекомендуется использовать все возможные способы. В частности, наращивать количество ссылок всегда полезно, если, конечно, это будет происходить постепенно и естественным путем. В противном случае есть возможность попасть под фильтры, из которых сложно выбраться.

Заключение

Процесс открытия доступа поисковиков к сайту, изложенный в этой статье, дает лишь самое минимально необходимое представление о публикации создаваемого веб-ресурса. Тем не менее примеры выше демонстрируют:

что и как открыть поисковикам нужное для индексации и как закрыть от них ненужное;
как загрузить веб-приложение в сеть и сообщить о нем поисковикам, предварительно у них зарегистрировавшись.

В очередных материалах будут опубликованы наиболее важные детали на эту тему.