robots.txt

robots.txt — что это такое, зачем он нужен и как его использовать?

robots.txt — это файл, предназначенный для помощи роботам поисковых систем в индексации страниц сайта.

robots.txt обязан храниться на сервере хостинга в каталоге public_html сайта. В привычных местах консоли WordPress доступ к нему не нашёл, а искать шире и глубже не вижу смысла: мне он легко доступен на хостинге.

robots.txt сообщает роботам имя файла, в котором хранится информация о всех существующих страницах сайта. По умолчанию это файл Sitemap.xml  Подробности о нём смотрите по ссылке.

Кроме того, robots.txt исключает из индексации ряд страниц сайта, что облегчает работу роботов.

Можно и самому вписать в файл robots.txt те страницы сайта, которые Вы хотите исключить из индексации по только Вам ведомой причине. Нужно всего лишь не забывать вовремя отменять исключения из индексации, редактируя файл robots.txt Лично я считаю это лишней морокой: других проблем хватает!

Считается, что файл robots.txt является очень важным файлом и что пренебрегать им не следует. Поисковый робот, заходя на любой сайт, сперва обращается именно к файлу robots.txt. Если этот файл будет иметь неправильное содержание, оно может привести к потерям позиций сайта в поисковых системах и даже к полному выпадению сайта из поиска.

Реально файл robots.txt нужен тогда, когда нужно скрыть от посетителей сайта какие-то страницы: например, по причине их краткости, недоделанности, малой информатированности, платности или каким-либо иным причинам.

Я не считаю нужным скрывать страницы сайта от посетителей и поисковых систем.

Посетителям страницы становятся доступны, в основном, лишь тогда, когда они появляются в Топах поисковых систем, а на это нужно время — обычно за это время я успеваю дописать страницу. В Меню сайта вписываю лишь достаточно информативные страницы, а до этого до них сложно добраться, да никто и не станет этим заниматься.

Реально можно попасть на страницу сайта лишь с родительской страницы, потому что я  сразу создаю там ссылку на каждую новую страницу. Вряд ли кто-то доберётся до новой страницы за то время, пока я её дописываю и совершенствую.

Считается, что поисковые страницы плохо относятся к тем страницам, которые имеют менее 300-т слов. А как насчёт «Умри — лучше не скажешь!»? Зачастую гениям и ещё некоторым людям удаётся сформулировать гениальную, выдающуюся или интересную мысль несколькими словами. Думаю, что и для роботов важнее не число слов на странице, а чёткий ответ на запрос и поведенческие факторы страницы (число посещений, время просмотра, число возвратов, число комментариев, …).

По рекомендации Google надолго удалял файл robots.txt

Файл robots.txt необходим только в том случае, если на вашем сайте есть содержание, которое не следует включать в индекс поисковых систем. Если вы хотите, чтобы поисковые системы включали в свои индексы все содержание вашего сайта, файл robots.txt (даже пустой) не требуется.

Точнее, я его переименовал в __robots.txt, сделав его нерабочим, но сохранив на всякий случай.

Я много месяцев обходился без файла robots.txt, но 08.03.14 оживил его по рекомендации Яндекса. Дело в том, что по информации программы Site-Auditor версии 2.48 Яндекс проиндексировал лишь 408-мь страниц сайта, Google — 663-ри, Bing — 563-ри.

Наиболее близким к истине является Bing-овское значение. Google почему-то сильно завышает число страниц в индексе, хотя в файле карты сайта Sitemap тогда была упомянута лишь 591-на страница. А Яндекс явно игнорирует множество страниц — похоже, что он не вводит в индекс те страницы, которые считает бесполезными для пользователей по причине краткости или по иным причинам.

Начал борьбу за повышение индексируемости Яндексом страниц сайта, поэтому по рекомендации Яндекса и оживил файл robots.txt

Результаты доложу. Докладываю: 14.03.2014 у Яндекса 553/516 — меня эти показатели устраивают, ибо считаю, что некоторые страницы пока что недостойны индексации из-за малой информативности. 20.05.2014 у Яндекса стало 668/616, хотя реально на сайте 631-на страница.

Приглашаю всех высказываться в Комментариях. Критику и обмен опытом одобряю и приветствую. В хороших комментариях сохраняю ссылку на сайт автора!

И не забывайте, пожалуйста, нажимать на кнопки социальных сетей, которые расположены под текстом каждой страницы сайта.
robots.txtПродолжение тут…

Deviz_8

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Проверка комментариев включена. Прежде чем Ваши комментарии будут опубликованы пройдет какое-то время.