На просторах интернета можно встретить множество сайтов, рассказывающих о создании файла robots.txt, но мало кто из «учителей» настраивает файл верно. Поэтому я решил написать статью на тему: «что писать в файл robots.txt» на примере блога it-religiya.
Что такое robots.txt и для чего он нужен.
Robots.txt — текстовый документ в котором содержатся правила индексации сайта для различных поисковых систем. Поисковые роботы Яндекса или Google мониторят сайты и индексируют страницы для того, чтобы сайт отображался при поисковых запросах.
Когда поисковые роботы заходят на Ваш сайт, они в первую очередь ищут файл robots.txt т.к. именно в нём указано какие страницы и разделы нужно индексировать, а какие нет.
Так же robot.txt указывает на наличие sitemap.xml — страницы, в которой содержатся ссылки на все страницы сайта.
Т.к. сайт, созданный на движке WordPress, имеет множество папок, которые не должны индексироваться, нужно сделать так, чтобы поисковые роботы не тратили на них время, а индексировали только самое нужное.
Какие файлы не стоит показывать поисковым роботам.
Очень важно понимать, что не существует универсального файла robots.txt, который удовлетворил бы требования всех сайтов одновременно. Каждый владелец сайта должен определиться, какие разделы должны индексироваться на его сайте, а какие нет.
Лучше всего закрыть от индексирования:
- Административную часть сайта. Обычному пользователю делать там нечего, т.к. это личная территория владельца сайта.
- Пустые страницы т.к. они негативно влияют на продвижение сайта в поиске.
- Страницы с формами регистрации не должны попасть на глаза третьим лицам.
- Различные папки, которые на усмотрение владельца сайта не должны попасть под индексирование.
Что писать в файл robots.txt
Как я уже писал выше, каждый владелец сайта должен сам определить, какие разделы ему необходимо закрыть. Для этого следует лучше разобраться, в каких каталогах хранятся те или иные компоненты сайта, т.к. на разных CMS названия папок могут различаться.
Например, сайт it-religiya.ru создан на WordPress и файл Robots.txt содержит следующие строки:
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 | User-agent: * # правило создано для всех поисковых роботов User-agent: Yandex # правило создано для поискового робота Яндекса Disallow: /wp-admin #запретить индексацию админской панели Disallow: /wp-includes #закрыть индексирование папки, в которой находится большинство файлов ядра WordPress, в том числе и шрифты, виджеты и другие наиболее важные файлы. Disallow: /wp-content/plugins #закрываем от индексирования каталог с плагинами Disallow: /wp-login.php #закрываем от индексирования файл, через который проходит авторизация на сайте Disallow: */feed #закрыть от индексирования все RSS фиды Disallow: /cgi-bin #закрывает индексирование каталога в котором содержаться скрипты веб сервера Disallow: *?s= #закрываем все страницы поиска Disallow: /author/* #запретить индексацию архива автора Disallow: */page/* #закрывает все виды пагинации Host: it-religiya.ru #в этой строке указываем главное зеркало сайта для робота Яндекса. Google не понимает директиву "Host" Sitemap: https://it-religiya.ru/sitemap.xml #здесь указываем расположение карты сайта |
Как добавить robots.txt на сайт
Robots.txt сделать очень просто. Создаём на рабочем столе текстовый документ и вставляем туда строки, указанные в предыдущем абзаце. Также Вы можете скачать файл с яндекс диска.
В самом низу, после «Host:» и «Sitemap:» не забудьте поменять «it-religiya.ru» на доменное имя Вашего сайта.
Robots.txt должен храниться в корне сайта на сервере. Для этого нужно зайти на сайт вашего хостинг провайдера и перейти в раздел управления файлами вашего сайта.
Мой хостинг-провайдер — beget.com. Переходим во вкладку «Файловый менеджер» и выбираем папку с доменным именем Вашего сайта. Заходим в папку «public_html» и жмём кнопку «Загрузить файлы».
После того как robots.txt загружен на сервер, переходим в браузер и в адресной строке вводим: доменное_имя_вашего_сайта/robots.txt. Таким образом, должна открыться страница, как на рисунке:
Robots.txt простым языком
