Barry Schwartz дает ссылки на обсуждения приоритета выбора записей в robots.txt роботами поисковых систем.
Меня всегда удивляло, как можно делать такие разные и вычурные ошибки в таком простом файле исключений с четким и однозначным форматом. Можно, конечно, грешить на большое количество расширений, которые добавляет в стандарт каждая значимая система с широко известными в узких кругах именами роботов: Google, Yahoo, MSN, Yandex. Но в таком случае и вопросы по robots.txt возникали бы прежде всего именно по расширениям.
Вернемся к приоритетам. Как известно, записи в robots.txt разделяются пустыми строками, каждая запись — это инструкция для одного или нескольких роботов. Пусть мы имеем следующее содержание файла исключений:
User-agent: *
Disallow: /dir/file
User-agent: Yandex
Disallow: /reports
User-agent: Googlebot
Disallow: /users
Allow: /best-page.html
Вопрос заключался в том, какими директивами в данном случае будет руководствоваться робот Гугля, что для него будет запрещено? Можно подумать, что робот наткнется в первую очередь на секцию для всех роботов и именно ее правила примет к рассмотрению.
Это неверное предположение. Робот при парсинге файла работает примерно по следующему алгоритму:
Получает полностью файл
Выделяет в файле корректные секции
Ищет "свою" секцию
Если своя секция найдена принимает к руководству ее инструкции.
Если своей секции не обнаружено, ищет секцию для всех роботов
Если обнаружена секция для всех роботов, принимает к руководству ее инструкции
Если общая секция не найдена, робот считает, что индексировать можно все без исключения.
Отсюда делаем сразу несколько выводов:
Порядок секций в файле значения не имеет.
Если будет найдена "своя секция", то робот будет руководствоваться только ее инструкциями, игнорируя все остальные, поэтому в нашем примере робот Гугл абсолютно справедливо будет индексировать /dir/file.
Отсутствие общей секции — разрешение индексировать весь сайт роботам, не упомянутым ни в одной секции.
|
