• { it статьи }

Для чего нужны robots.txt и sitemap

По сути, Robots.txt и Sitemap это очень важные атрибуты любого сайта, без которых ни один ресурс не сможет достичь пика своего развития, на практике, выходит так, что отсутствие этих важных элементов приводит к бану в поисковой системе Яндекс. В данной статье мы расскажем о том, для чего нужны Robots.txt и Sitemap.

Robots.txt

Данный элемент необходимо сразу же создавать на сайте, после того как он начал работу. Robots.txt представляет собой текстовый файл, который находится в корне сайта и нацелен на то, чтобы закрывать разделы вашего интернет ресурса от индексирования поисковой системой, если этого не сделать, то в частности, Яндекс, индексирует все разделы сайта, таким образом, будут создаваться дубли страниц, следовательно, поисковая система определяет уникальный контент как неуникальный, и следствие – бан Яндекса. Поэтому настоятельно рекомендуем создать себе такой файл. 

Как правило, Robots.txt закрывает раздел сайта командой Dissalow и открывает командой Allow. При этом, для индексирующего робота поисковой системы создается свой набор команд. Что такое робот поисковой системы? Индексирующий робот – это программа, которая сканирует сайт, и добавляет в свой индекс новые статьи, если Robots.txt работает неправильно, то в индексе либо же появляется слишком много страниц, либо же слишком мало, к примеру, одна, если все разделы сайта закрыты. Поэтому если у вас молодой сайт и в индексе около 500 страниц, то стоит задуматься над тем, чтобы поработать с Robots.txt. Для того, чтобы создать грамотный файл попросту скачайте его пример из интернета и вставьте в корень сайта, не забудьте там поменять доменное имя и директивы.

Sitemap

Дословно Sitemap можно перевести как Карта Сайта и это будет правильно. Sitemap как и Robots.txt это очень важный элемент сайта, без которого нормальное индексирование не будет происходит. Итак, Sitemap представляет собой также текстовый файл (в XML-формате), однако, в отличии от Robots.txt уже идет следующим звеном поискового робота. Сейчас попытаюсь это объяснить.

Давайте представим, что робот поисковой системы приходит на сайт, и начинает его сканировать и собирать информацию, о новых страницах, при этом некоторые разделы для него уже закрыты и туда он не смотрит, так вот, Sitemap содержит информацию о том, где располагаются на вашем сайте уже проиндексированные и новые страницы, это очень важный элемент, который значительно ускоряет индексацию интернет ресурса. К примеру, если бы не было Sitemap, то каждый раз поисковому роботу приходилось бы заново индексировать весь сайт, а так он знает, что данные страницы уже проиндексированы и ежедневно их индексировать заново не стоит, может быть, раз в месяц он туда заглянет и проверит свою копию Sitemap с той, которая располагается на ресурсе, а так же, поисковый робот получает список новых страниц, ожидающих индексацию.

  • frolpaxa
  • 04/09/15
  • SEO
  • 549

Комментировать

Рубрики