Компонент Robots.txt

Зачем нужен компонент

Работа с файлом robots.txt - важная часть сео-оптимизации сайта в интернете. Все поисковые роботы при заходе на сайт в первую очередь ищут этот файл. В данном файле записываются специальные инструкции для поисковых роботов, которые могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена и др. Поэтому маркетологи, стараясь держать содержимое файла в актуальном состоянии, достаточно часто обращаются к последнему.

Логично было бы вывести интерфейс управления файлом в администратор сайта для удобства пользования. Что и реализовано в компоненте. Однако, стоит учитывать, что компонент не имеет встроенного анализатора на правильность обработки файла, поэтому необходимо пользоваться штатными средствами поисковых систем.

Основные функции

• Компонент реализует интерфейс в административной части сайта, который позволяет производить редактирование файла robots.txt. (Текст заполняется по установленным правилам).
• Автоматическая генерация файла и размещение его в корневой директории сайта. Соответственно файл будет доступен по адресу www.mysite.ru/robots.txt.

Специальных настроек не требуется. После установки интерфейс управления доступен в административной части сайта.