Содержание:
Добавление сайта в поисковые системы
Социальные сети, хостинги и закладки
Повышение скорости индексации сайта – одно из условий его SEO-оптимизации и продвижения. Поисковик располагает специальным средством скана страниц – поисковым роботом. Его ещё называют краулером. Так вот, краулер заходит на каждый сайт, собирает данные о нём и заносит их в поисковую базу. Это и называется индексацией сайта.
Поисковый робот проверяет каждый компонент структуры ресурса. Но, как правило, краулер всегда начинает свой обход с просмотра файла robots.txt. Это основной поставщик информации для поисковика, позволяющий боту вести скан сайта наиболее результативно. Однако здесь важна правильная настройка файла robots.txt. В противном случае не избежать проблем с качественной индексацией.
Предлагаем разобрать все нюансы работы с robots.txt на конкретных примерах, а также пройтись по другим способам ускорить индексацию сайта. Итак, к нашему вниманию несколько советов, как это сделать.
Файл robots.txt содержит ряд строк, на которые в первую очередь смотрит поисковый бот при сканировании. Среди них отметим инструкцию Disallow. Это закрытие директив для стороннего доступа. В частности, пример закрытия доступа для краулера в robots.txt выглядит следующим образом:
User-agent: *
Disallow: /
Эти строки в robots.txt – полный блок на индексацию сайта целиком. Исправить эту преграду можно, открыв доступ в строке Disallow. Выглядеть решение будет так:
User-agent: *
Disallow:
Теперь доступ открыт полностью. Но и это не совсем оптимальное содержание robots.txt. Команда Disallow позволяет закрыть неважные для индексации компоненты и это тоже часть SEO-оптимизации.
В указанном примере мы блокируем доступ скана поисковика к служебным и другим разделам в файле robots.txt. Это важно, учитывая ограниченность краулингового бюджета сайта.
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Можно запретить сканирование ресурса для определённого типа бота, изменив robots.txt так:
User-agent: YandexBot
Disallow: /no-index/this-page.html
Или дать запрет в robots.txt на проверку некоторых файловых расширений:
User-agent: *
Disallow: /*.gif$
Чтобы предоставить доступ краулеру к посещению заданной страницы, вводим в robots.txt такие строки:
User-agent: *
Disallow: /no-bots/unlock-some-materials-including-rogerbot-objects.html
User-agent: Google
Allow: /no-bots/ unlock-some-materials-including-Google- objects.html
Для наиболее жёсткой блокировки определённой страницы вместо robots.txt ещё используется имя noindex в среде HTML.
Проверить корректность структуры robots.txt можно через службу Webmaster поисковика. Таким образом, корректируя содержимое robots.txt, мы можем манипулировать степенью и скоростью индексации сайта.
В завершение предыдущей главы отметим, что в robots.txt не следует указывать список всех страниц сайта. Для карты сайта надо придумать уникальное имя и добавлять ссылку в Webmaster от поисковика. Добавление самого сайта в поисковике происходит через специальную форму.
Кроме настройки robots.txt и добавления сайта в поисковую систему, привлечь внимание краулера можно, размещая ссылки из сервисов социальных закладок (Memori.ru, Bobrdobr.ru, Google.com/bookmarks), в социальных сетях (Facebook или Twitter), хостингах (YouTube) и других сайтах.
Можем сделать вывод, что основная нагрузка при оптимизации индексации сайта ложится на настройку файла robots.txt. Размещение ссылок в соц сетях и добавление сайта в поисковую систему также играют важную роль.
Оставьте ваш e-mail, чтобы получать подборки наших новостей.
