Вход / Регистрация
Главная / Блог / Web-Словарь / Robots.txt (файл)

Robots.txt (файл)

26 февраля 14
Reading Time: < 1
1 комментарий
1 Star2 Stars3 Stars4 Stars5 Stars (3 votes)

С помощью файла Robots.txt можно управлять инструкциями как для одного «паука» так и для роботов нескольких поисковиков сразу. Например, можно указать адрес основного «зеркала» сайта, закрыть от индексации определенную страницу или целый раздел ресурса, и т.д.

Зачем нужен Robots.txt? Прежде всего, потому что с его помощью можно уберечь от попадания в индекс приватной информации, например, связанной с административной частью. Вторая причина – избежание дублей страниц, путем запрета их индексации в «роботсе «.

Тем не менее, наличие этого файла в корневой папке сайта не является обязательным. Необходимость в нем возникает в случае, если на сайте присутствует контент, попадание которого в индекс нежелательно.

Более подробно о применении и особенностях работы с Robots.txt, можно почитать на соответствующих страницах в справочных центрах поисковых систем.

Ivan Pylypchuk
Основатель и CEO в Premmerce, ImageCMS. Более 10 лет опыта в области разработки приложений, маркетинга и консалтинга для e-commerce.
Comments (1)
  • Chugunos:
    03/11/2015

    Не могу найти этот файл роботс. Где он находится? В админку не прописывается (

    Ответить

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Более 3000 запущенных проектов

Вместе с нами многие уже развивают свой бизнес! Смотреть все отзывы
Хочу выразить большую благодарность коллективу компании "ImageCMS" а именно Ивану и Марии! Во время выбора компании проводил переговоры с 7 различными организациями, Иван единственный кто смог адекватно объяснить и подсказать всю необходимую информацию для принятия решения. В итоге результат более чем на 100% соответствует ожиданиям, а во много их даже превосходит!
Перепробовав много CMS (opencart, Битрикс) и др. Мы увидим, как много в каждой из них недостатков. Где-то или очень сложно или очень дорого кастомизировать. Работая маркетологом, могу заверить, что в ImageCMS большинство нужны "фич" реализовано из коробки, без дополнительных надстроек. Посмотрев демо версию новой версии движка, был приятно удивлен скоростью работы (ооочень важно).
За время сотрудничества компания показала себя в качестве ответственного подрядчика, быстро воплотив в жизнь удобный интернет-магазин с учетом всех наших пожеланий.
Работой доволен. Отвечают всегда быстро и по сути, остаются только приятные впечатления от общения. Пара слов о новом движке: Быстро, красиво и интуитивно понятно. Полностью оправдывает вложенные средства. Рекомендую.
Доволен. Скрипт считаю перспективным. Считаю, что ваш коллектив работает на опережение: ваше предложение было оптимальным по цене/качеству.
Опертивная и четкая работа, своевременое предоставление дополнительных консультаций по работе с административной частью. Созданным магазином довольна. Рекомендую этот движок!