Robots.txt необходим для вашего сайта для того, чтобы указать поисковой сиситеме какие страницы вашего сайта не следует индексировать, например, если эти страницы не содержат информации, а только рисунки, фото.
Kadr
Добавлено: 09 май 2013, 20:52
Зарегистрирован: 08 май 2013, 22:53 Сообщений: 33
Очень нужная программка, если можно так назваться данный текстовый файл. Он не только не индексирует нужные для вас страницы, но и дает больше возможности самому админу сайта и его создателю.
Seoboom
Добавлено: 29 май 2013, 03:39
Зарегистрирован: 29 май 2013, 01:39 Сообщений: 68
Так же не подлежит индексации и не оригинальный, ворованный контент. Именно в связи с этим стал так популярен процесс SMO, именно специалисты по оптимизации выберут оригинальное наполнение сайта, благодаря которому индексация вам обеспечена.
Torvin
Добавлено: 10 июн 2013, 13:04
Зарегистрирован: 29 май 2013, 01:40 Сообщений: 25
Роботс основной инструмент многих поисковиков, поэтому если ваши страницы не индексируются, вполне возможно что всему виной именно эта программа.
Страница 1 из 1
[ Сообщений: 4 ]
Вернутся
Кто сейчас на форуме вебмастеров и оптимизаторов
Сейчас просматривают тему "Robots.txt": нет зарегистрированных пользователей и гости: 9
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете добавлять вложения
Меню
Новости
Часы
Поиск
Инструменты