Обязательно почитайте

Файл robots.txt, его создание и влияние на индексацию

Robots.txt – файл в корневой папке сайта и показывает поисковым роботам, какие папки и файлы можно индексировать – а какие нет.

Сегодня мы попробуем более подробно рассмотреть работу файла Robots.txt и его влияние на индексацию сайта поисковыми роботами. Правильно оформленный файл запретит индексацию всех ненужных файлов и папок на сервере. Важность этого файла чрезвычайно высока, ведь без него будут индексироваться различные файлы и папки, которые обеспечивают работу админ-панели, а это нежелательно.

Сегодня мы попробуем разобраться: какие файлы и папки должны индексироваться, а какие нет и как правильно оформить запрет на индексацию определенных папок через файл Robots.

файл Robot.txt

Robots.txt – файл в корневой папке сайта и показывает поисковым роботам, какие папки и файлы можно индексировать – а какие нет. Если сайт создан на одном из популярных движков, то без файла роботс.тхт будет индексироваться все папки и файлы сайта, а это не очень хорошо для индексации сайта.
Файл robots.txt также дает возможность указать xml-карту сайта для улучшения индексации сайта. Также карта сайта помогает разобрать структуру сайта поисковым роботам.

Структура файла robots.txt построена в виде блоков, которые дают определенной поисковой системе команды на запрет или разрешение индексации определенных папок или файлов. Весь файл может состоять из одного блока (общего для всех поисковых систем), так и отдельных блоков для каждой поисковой системы отдельно.

Поисковая система, для которой указывается список запретов на индексацию, можно прописать в первой строке блока, например:

Пример User AgentЕсли прописывается один общий блок для нескольких поисковых систем нужно в первой строчке приписать

User_Agent_for_Bots После этого можно приступать непосредственно к запрещению основных файлов и папок. Запрещение происходит с помощью оператора Disallow.

Есть еще и обратная функция Allow – которая разрешает индексацию, однако он не обязателен, ведь поисковые системы будут индексировать все файлы или папки, которые не запрещены функцией Disallow.

Также в файле robots.txt можно использовать функцию Host, для указания главного зеркала сайта и sitemap для добавления карты сайта в формате xml.

Предлагаю рассмотреть установку запрета на примере вымышленной папки folder.

Для запрета индексации этой папки необходимо прописать:

Запрет индексации сайта

Для запрета индексации файла file.php необходимо прописать следующее:

Запрет индексации файла

Для запрета папки folder2 в папке folder1 необходимо прописать следующее:

Запрет индексации папки

В таком случае будет индексироваться папка folder1, и не будет индексироваться папка folder2. Таким образом, можно запрещать индексацию определенных папок или файлов внутри других папок.

Сегодня существует множество онлайн-сервисов которые помогают создать файл robots.txt в режиме онлайн. Создать файл robots.txt через один из онлайн-сервисов достаточно прописать папки которые не должны индексироваться, а программа сформирует файл роботс.тхт, который нужно загрузить в корень своего сайта.

Проверить, правильно ли создан файл robots.txt можно в панели вебмастеров Яндекс. В случае обнаружения ошибок в файле, то они будут показаны.


В случае если на вашем сайте еще не создан файл robots.txt, то обязательно сделайте его. Файл robots.txt поможет правильно индексировать сайт поисковыми роботами и встать на путь правильного продвижения и правильной индексацией сайта поисковыми роботами.


Комментариев нет

    Оставить отзыв


    Powered by searchengineswebsite.com