Сегодня мы попробуем более подробно рассмотреть работу файла Robots.txt и его влияние на индексацию сайта поисковыми роботами. Правильно оформленный файл запретит индексацию всех ненужных файлов и папок на сервере. Важность этого файла чрезвычайно высока, ведь без него будут индексироваться различные файлы и папки, которые обеспечивают работу админ-панели, а это нежелательно.
Сегодня мы попробуем разобраться: какие файлы и папки должны индексироваться, а какие нет и как правильно оформить запрет на индексацию определенных папок через файл Robots.
Robots.txt – файл в корневой папке сайта и показывает поисковым роботам, какие папки и файлы можно индексировать – а какие нет. Если сайт создан на одном из популярных движков, то без файла роботс.тхт будет индексироваться все папки и файлы сайта, а это не очень хорошо для индексации сайта.
Файл robots.txt также дает возможность указать xml-карту сайта для улучшения индексации сайта. Также карта сайта помогает разобрать структуру сайта поисковым роботам.
Структура файла robots.txt построена в виде блоков, которые дают определенной поисковой системе команды на запрет или разрешение индексации определенных папок или файлов. Весь файл может состоять из одного блока (общего для всех поисковых систем), так и отдельных блоков для каждой поисковой системы отдельно.
Поисковая система, для которой указывается список запретов на индексацию, можно прописать в первой строке блока, например:
Если прописывается один общий блок для нескольких поисковых систем нужно в первой строчке приписать
После этого можно приступать непосредственно к запрещению основных файлов и папок. Запрещение происходит с помощью оператора Disallow.
Есть еще и обратная функция Allow – которая разрешает индексацию, однако он не обязателен, ведь поисковые системы будут индексировать все файлы или папки, которые не запрещены функцией Disallow.
Также в файле robots.txt можно использовать функцию Host, для указания главного зеркала сайта и sitemap для добавления карты сайта в формате xml.
Предлагаю рассмотреть установку запрета на примере вымышленной папки folder.
Для запрета индексации этой папки необходимо прописать:
Для запрета индексации файла file.php необходимо прописать следующее:
Для запрета папки folder2 в папке folder1 необходимо прописать следующее:
В таком случае будет индексироваться папка folder1, и не будет индексироваться папка folder2. Таким образом, можно запрещать индексацию определенных папок или файлов внутри других папок.
Сегодня существует множество онлайн-сервисов которые помогают создать файл robots.txt в режиме онлайн. Создать файл robots.txt через один из онлайн-сервисов достаточно прописать папки которые не должны индексироваться, а программа сформирует файл роботс.тхт, который нужно загрузить в корень своего сайта.
Проверить, правильно ли создан файл robots.txt можно в панели вебмастеров Яндекс. В случае обнаружения ошибок в файле, то они будут показаны.
В случае если на вашем сайте еще не создан файл robots.txt, то обязательно сделайте его. Файл robots.txt поможет правильно индексировать сайт поисковыми роботами и встать на путь правильного продвижения и правильной индексацией сайта поисковыми роботами.
