Работа с robots.txt и картой сайта

Карта сайта – это файл, который связывается с поисковыми системами, и говорит им на какие страницы нужно обратить внимание (индексировать). Все это мы сделаем с помощью плагина Yoast seo  Автор: Team Yoast. Этот плагин лучший по взаимосвязи сайта с поисковиками.

Установка плагина Yoast seo 

   Входим в административную панель сайта, жмем вкладку «Плагины» — «Добавить новый» — в поиске набираем название нашего плагина — Yoast seo  — выбираем нужный из предложенных и жмем «Установить» — «Активировать» — с лево в панели появилась вкладка «SEO» — нажимаем – далее мы видим поле с настройками SEO. Нам доступны разные настройки, нам нужна надпись «XML –карта сайта» — жмем на знак «?» и далее «Посмотреть XML –карту», нам открывается документ в котором наши посты, страницы, рубрики и автор. Так вот нам нужно удалить строку «Автор»  она лишняя. Для этого заходим снова в «SEO» — «Отображение в поисковой выдачи» — и видим кучу вкладок. Выбираем вкладку «Архивы» — далее с верху в низ будут разные настройки, нам нужна «Архивы авторов» по умолчанию она включена, нам нужно ее отключить. Не забудьте сохранить изменения, кнопка синего цвета в самом низу страницы. Готово, можно все проверить, снова посмотрев, как теперь выглядит карта сайта.

   Там же и тем же способом нам нужно отключить «Теги». Во вкладке «SEO» — «Отображение в поисковой выдачи» — далее вкладка «Таксономии» и выбираем отключить «Метки (post teg)» — «Сохранить изменения», готово.

   Плагину Yoast seo, нужно уделить больше внимания и настроить его исходя из ваших требований к продвижению интернет – проекта. Эта часть работы очень сложная для новичков, я до сих пор до конца не уверена, что сама сделала все правильно. Если вы располагаете бюджетом на создание сайта, то лучше поэтому вопросу обратится к специалистам. Я же изучала и применяла информацию, уже из проверенных источников: блог Александра Борисова.

Как установить на сайт robots.txt

   С помощью robots.txt мы показываем поисковым системам, какие части сайта индексировать, а какие закрыть от индексации. Заходим в админку, выбираем «SEO» — «Инструменты» — далее кликаем на «Редактор файлов» и видим пустое поле, куда нам и нужно поместить файл robots.txt. Ниже я оставила вариант, который стоит на моем сайте. Его предлагал Бошников Юрий, на своем курсе по созданию сайта с нуля. Курс, кстати отличный без преувеличения, а самое интересное, что он бесплатный. Обязательно уделите время и пройдите его, лишним точно не будет.

Один из вариантов robots.txt

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /wp-admin

Disallow: /shop

Disallow: /?s=

Disallow: /cgi-bin

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */feed

Disallow: */feed/*

Allow: /*?*

Allow: /wp-content/uploads/

Allow: /wp-content/*.js$

Allow: /wp-content/*.css$

Allow: /wp-includes/*.js$

Allow: /wp-includes/*.css$

Allow: /wp-content/themes/*.css

Allow: /wp-content/plugins/*.css

Allow: /wp-content/uploads/*.css

Allow: /wp-content/themes/*.js

Allow: /wp-content/plugins/*.js

Allow: /wp-content/uploads/*.js

Allow: /wp-includes/css/

Allow: /wp-includes/js/

Allow: /wp-includes/images/

Allow: /wp-content/uploads/

Allow: /wp-admin/admin-ajax.php

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /wp-admin

Disallow: /shop/

Disallow: /?s=

Disallow: /cgi-bin

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */feed

Disallow: */feed/*

Allow: /*?*

Allow: /wp-content/uploads/

Allow: /wp-content/*.js$

Allow: /wp-content/*.css$

Allow: /wp-includes/*.js$

Allow: /wp-includes/*.css$

Allow: /wp-content/themes/*.css

Allow: /wp-content/plugins/*.css

Allow: /wp-content/uploads/*.css

Allow: /wp-content/themes/*.js

Allow: /wp-content/plugins/*.js

Allow: /wp-content/uploads/*.js

Allow: /wp-includes/css/

Allow: /wp-includes/js/

Allow: /wp-includes/images/

Allow: /wp-content/uploads/

Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

User-agent: YandexImages

Allow: /wp-content/uploads/

Host: olgavpogone.ru

Sitemap: https://olgavpogone.ru/sitemap_index.xml

   Вот эту  «красоту» копируем и вставляем в пустое поле для robots.txt. Нужно только изменить две последние строчки, указав название своего сайта. В предпоследней строке мы просто меняем название сайта на свое. А в последней строке, нам нужно указать адрес карты сайта. Для этого мы заходим снова в «SEO» — «Общие» — «Возможности» —  «Посмотреть XML –карту» — и в строке браузера копируем адрес, который вставляем в последнюю строку  robots.txt. не забудьте сохранить изменения.

   Еще один момент – в этом файле robots.txt, в последней строке указано https (а не http)  – это расширение протокола для повышения безопасности сайта. Чтобы получить сертификат SSL, нужно обратится к вашему хостингу, на Beget я сделала это бесплатно, но на многих хостингах эта услуга платная.

Идем дальше…

Устанавливаем фавикон

Skillbox

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *