robots.txt — что это такое, зачем он нужен и как его использовать?
robots.txt — это файл, предназначенный для помощи роботам поисковых систем в индексации страниц сайта.
robots.txt обязан храниться на сервере хостинга в каталоге public_html сайта. В привычных местах консоли WordPress доступ к нему не нашёл, а искать шире и глубже не вижу смысла: мне он легко доступен на хостинге.
robots.txt сообщает роботам имя файла, в котором хранится информация о всех существующих страницах сайта. По умолчанию это файл Sitemap.xml Подробности о нём смотрите по ссылке.
Кроме того, robots.txt исключает из индексации ряд страниц сайта, что облегчает работу роботов.
Можно и самому вписать в файл robots.txt те страницы сайта, которые Вы хотите исключить из индексации по только Вам ведомой причине. Нужно всего лишь не забывать вовремя отменять исключения из индексации, редактируя файл robots.txt Лично я считаю это лишней морокой: других проблем хватает!
Считается, что файл robots.txt является очень важным файлом и что пренебрегать им не следует. Поисковый робот, заходя на любой сайт, сперва обращается именно к файлу robots.txt. Если этот файл будет иметь неправильное содержание, оно может привести к потерям позиций сайта в поисковых системах и даже к полному выпадению сайта из поиска.
Реально файл robots.txt нужен тогда, когда нужно скрыть от посетителей сайта какие-то страницы: например, по причине их краткости, недоделанности, малой информатированности, платности или каким-либо иным причинам.
Я не считаю нужным скрывать страницы сайта от посетителей и поисковых систем.
Посетителям страницы становятся доступны, в основном, лишь тогда, когда они появляются в Топах поисковых систем, а на это нужно время — обычно за это время я успеваю дописать страницу. В Меню сайта вписываю лишь достаточно информативные страницы, а до этого до них сложно добраться, да никто и не станет этим заниматься.
Реально можно попасть на страницу сайта лишь с родительской страницы, потому что я сразу создаю там ссылку на каждую новую страницу. Вряд ли кто-то доберётся до новой страницы за то время, пока я её дописываю и совершенствую.
Считается, что поисковые страницы плохо относятся к тем страницам, которые имеют менее 300-т слов. А как насчёт «Умри — лучше не скажешь!»? Зачастую гениям и ещё некоторым людям удаётся сформулировать гениальную, выдающуюся или интересную мысль несколькими словами. Думаю, что и для роботов важнее не число слов на странице, а чёткий ответ на запрос и поведенческие факторы страницы (число посещений, время просмотра, число возвратов, число комментариев, …).
По рекомендации Google надолго удалял файл robots.txt
Файл robots.txt необходим только в том случае, если на вашем сайте есть содержание, которое не следует включать в индекс поисковых систем. Если вы хотите, чтобы поисковые системы включали в свои индексы все содержание вашего сайта, файл robots.txt (даже пустой) не требуется.
Точнее, я его переименовал в __robots.txt, сделав его нерабочим, но сохранив на всякий случай.
Я много месяцев обходился без файла robots.txt, но 08.03.14 оживил его по рекомендации Яндекса. Дело в том, что по информации программы Site-Auditor версии 2.48 Яндекс проиндексировал лишь 408-мь страниц сайта, Google — 663-ри, Bing — 563-ри.
Наиболее близким к истине является Bing-овское значение. Google почему-то сильно завышает число страниц в индексе, хотя в файле карты сайта Sitemap тогда была упомянута лишь 591-на страница. А Яндекс явно игнорирует множество страниц — похоже, что он не вводит в индекс те страницы, которые считает бесполезными для пользователей по причине краткости или по иным причинам.
Начал борьбу за повышение индексируемости Яндексом страниц сайта, поэтому по рекомендации Яндекса и оживил файл robots.txt
Результаты доложу. Докладываю: 14.03.2014 у Яндекса 553/516 — меня эти показатели устраивают, ибо считаю, что некоторые страницы пока что недостойны индексации из-за малой информативности. 20.05.2014 у Яндекса стало 668/616, хотя реально на сайте 631-на страница.
Приглашаю всех высказываться в Комментариях. Критику и обмен опытом одобряю и приветствую. В хороших комментариях сохраняю ссылку на сайт автора!
И не забывайте, пожалуйста, нажимать на кнопки социальных сетей, которые расположены под текстом каждой страницы сайта.
Продолжение тут…
