Файл robots.txt очень важен сайту, так как поисковики заходящие на ваш сайт первым делом читают именно его. В этой небольшой статье я расскажу о нем и его настройке. Несмотря на то, что в заголовке я упомянул Dle, это не значит, что настройки, которые я покажу не подойдут, например, на jooml`у. Сам файл robots.txt должен находится в корневой папке вашего сайта, и путь до него должен быть site.ru/robots.txt
И так, вот вам пример правильного robots.txt для dle:

Файл robots.txt очень важен сайту, так как поисковики заходящие на ваш сайт первым делом читают именно его. В этой небольшой статье я расскажу о нем и его настройке. Несмотря на то, что в заголовке я упомянул Dle, это не значит, что настройки, которые я покажу не подойдут, например, на jooml`у. Сам файл robots.txt должен находится в корневой папке вашего сайта, и путь до него должен быть site.ru/robots.txt
И так, вот вам пример правильного robots.txt для dle:

Теперь разберемся по-подробнее.
User-agent — указывает какому поисковому роботу учитывать настройки robots`а, прописывая «*» мы указываем, что учитывать настройки будут все роботы.

Disallow — здесь нужно указать какие страницы не учитывать поисковикам, это может быть обратная связь, чат и многое другое. Здесь также следует указать дублирующие страницы. Прописывая «*» мы говорим роботу, что индексировать сайт вообще не нужно. Там где мы прописали «*?*» этим мы указываем, что не нужно индексировать страницы, где в адресе есть вопросительный знак.

Allow — противоположное Disallow

Sitemap — в этом пункте следует прописать путь до вашей карты сайта, обычно это http://site.ru/sitemap.xml, где site.ru это ссылка на ваш сайт

Host — путь до вашего сайта без http и слешей

Поставив robots.txt который я написал выше, вы максимально избавитесь от дублей страниц и поисковики будут к вам лучше относиться 😉

Автор: злой админ с сайта arteom.net )