Яндекс опубликовал в своем блоге статью о новых изменения в обработке директивы, которая регулирует частоту обхода вашего сайта роботами. Речь о Crawl-delay. Нововведения чреваты неожиданными негативными последствиями почти для всех сайтов, которые полагались на ранее заданные правила для обхода своего сайта. Если ранее роботам Яндекса директивно запрещалось заходить на сайт, теперь Яндекс стал игнорировать заданные директивы и по умолчанию предоставил своим роботам неограниченные возможности к частоте обращений к сайтам. Как это повлияет на доступность вашего сайта и в чем опасность для SEO и продаж вашего сайта или интернет-магазина?

Новые изменения привели к тому, что роботы Яндекса стали игнорировать настроенные вами или вашими SEO-специалистами настройки по рекомендованной частоте обхода страниц вашего сайта. В результате одна из самых популярных в России поисковых систем автоматически присвоила всем сайтам значения “”По умолчанию”, из-за которых к сайту может поступать множество излишне частых запросов от роботов, которые роняют ваш сайт и делают его недоступным для посетителей. Частая недоступность вашего сайта может негативно сказать на поисковой выдаче. И она точно скажется на лояльности ваших клиентов, которые не смогли вовремя получить искомую информацию или оформить покупку. Очевидно, что вы теряете деньги.

Как это произошло и что за скорость обхода сайта?

Поисковые системы часто обновляют свои алгоритмы по индексированию сайтов и поисковой выдачи. Большинство из них делается для максимально быстрого обновления сайтов, соответствующих запросам пользователей Яндекса. Однако благие намерения оборачиваются зачастую неожиданными последствиями. Поэтому крайне важно, чтобы ваши маркетологи и SEO-специалисты были в курсе всех последних изменений от Яндекса и Google. В Яндекс.Вебмастере появился новый инструмент “Скорость обхода”. Он доступен к изменению настроек с автоматических на ручные в разделе «Индексирование». С появлением этого инструмента (февраль 2018 г.) Яндекс начал игнорировать прописанную на вашем сайте директиву Crawl-delay и теперь ориентируется только на ваши настройки в Яндекс.Вебмастере. В результате многие владельцыы сайтов столкнулись с тем, что сайты по непонятной причине стали часто недоступны. Запросы в техподдержку своего хостинга прояснили ситуацию, но не предложили вариантов ее решения в большинстве своем.

Поясним: значение, выбираемое Яндексом по умолчанию, устанавливает в Я.Вебмастере максимально возможную частоту обхода для каждого сайта, принимая во внимание (на свое усмотрение) уровень максимально допустимых нагрузок для вашего текущего сервера. Зачастую это приносит крайне неприятные последствия для владельцев сайтов и интернет-магазинов. Роботы Яндекса начинают обращаться слишком часто, сервера не выдерживают нагрузки и сайт падает. Падает довольно регулярно. А каждое падение сайта – это потерянные клиенты и снижающаяся лояльность ваших посетителей. Ведь если сайт не доступен, посетители становятся менее уверены в надежности вашей компании.

Как обеспечить доступность моего сайта с учетом новых изменений Яндекса и подключить CDN?

Если у вас нет Яндекс.Вебмастера, у вас есть три варианта:

• создать и настроить аккаунт Яндекс.Вебмастер (будет полезно, но не решит все ваши проблемы с доступностью сайта и быстрой загрузкой)
• смириться с тем, что ваш сайт будет часто падать и может быть недоступен
• настроить CDN для вашего сайта, чтобы снизить нагрузку на ваш хостинг и обеспечить доступность сайта

За помощью в настройке CDN обращайтесь к вашему менеджеру в А25 или отправьте запрос в нашу Службу заботы А25.

Хотите быть спокойны за свой сайт?

Тарифы на поддержку сайта

Аудит сайта стоимость

SEO аудит сайта