Многие вебмастера сталкиваются с проблемами индексации сайта, которые негативно влияют на его SEO-продвижение, трафик. Они постоянно совершенствуют сайт, оптимизируют, добавляют новый контент, а число страниц в индексе не растет, либо и вовсе весь ресурса там отсутствует.
Чтобы предпринять соответствующие меры по предотвращению данной проблемы, нужно выяснить, почему сайт не индексируется поисковыми роботами. Сегодня мы и поговорим об основных причинах, которые приводят к тому, что материалы с ресурса не вносятся в базу данных поисковиков.
1. Яндекс и Google еще не заметили ваш ресурс
Это одна из самых возможных причин. Вы недавно создали свой сайт и выложили его в интернет, но не предприняли никаких мер, чтобы поисковики побыстрее нашли его. Тогда индексацию и вправду можно ждать очень долго.
Чтобы этого не допустить, обязательно добавьте проект в Addurl (Аддурилку), а также в панель вебмастера Google и Яндекс. Проделав эти несложные шаги, можно ожидать попадания сайта в индекс уже через пару часов, но бывает, что приходится ждать и несколько дней.
2. Настройки приватности в WordPress
Если вы используете готовую CMS, обязательно проверьте приватные настройки, которые нередко установлены по умолчанию, и именно из-за них сайт может не индексироваться.
Например, если у вас WordPress зайдите в «Настройки», а затем в «Чтение». Там вы найдете опцию «Видимость для поисковиков», напротив которого нужно убрать галочку возле «Попросить поисковые машины не индексировать сайт».
Если вы используете другую CMS, то обязательно проверьте стоит ли у вас в настройках подобная опция. Как ни странно, но ситуации, когда сайтостроители элементарно забывают снять эту галочку, случаются довольно регулярно.
3. Веб-ресурс или отдельные его файлы заблокированы в robots.txt
Еще одна распространенная причина, которая остается без внимания вебмастеров. Но и эту проблему легко исправить. Если на сайте нет мусорных страниц и технических разделов, то достаточно создать файл robots с таким правилом, которое разрешает индексировать весь ваш сайт:
User-agent: * Disallow:
Что такое robots.txt и как правильно его настроить читайте в этой статье.
4. На сайте много повторяющихся материалов
Как правило, зачастую дублируются страницы и мета-теги. Это грозит не только непопаданием вашего сайта в индекс, но и применением по отношению к нему санкций от Google Panda (алгоритм, который борется с некачественным контентом). Узнать, какие основные проблемы существенно снижают качество и эффективность проекта, вы можете в разделе «Вид в поиске» –> «Оптимизация HTML» в Google Вебмастере.
Сегодня это одна из распространенных причин, по которой сайты попадают под санкции, и разработчикам становится сложнее их продвигать.
5. Мета-тег name, content
Скрыть веб-ресурс от поисковиков можно и мета-тегом:
<meta name=”robots” content=”noindex, nofollow”>
Иногда это правило может быть прописано и для определенных роботов:
<meta name="googlebot" content="noindex" />
Чтобы проверить его наличие, откройте исходный код сайта и проверьте содержимое. Если найдете вышеупомянутую строку, просто удалите ее, или «nofollow» и «noindex» замените на «follow» и «index» соответственно.
Да, бывали и такие случаи, когда данный мета-тег присутствовал в коде, а вебмастера даже не догадывались об этом и искали совершенно другие проблемы.
6. Мета-тег noindex
Заодно проверьте в коде тег <noindex></noindex>, не обрамлен ли им ваш контент. Этот тег служит для поисковой системы Яндекс, который указывает, что этот контент не следует индексировать. То есть если у вас часть текста закрыта этим тегом, то у вас страница будет индексироваться, а сам контент который им обрамлен не будет.
7. Использование HTTP-заголовка X-Robots-Tag
Этот способ закрывает от индексации страницы только для Google. В коде этот метатег не найти, так как он работает на уровне заголовков сервера. Проверить его можно с помощью плагина для браузера Web Developer: Chrome, FireFox
Или с помощью онлайн инструмента http://tools.seobook.com/server-header-checker/
8. Перебои в работе хостинга или сервера
Если робот посетил ваш сайт, чтобы проиндексировать его содержимое, а в это время он оказался недоступным, то страницы так и не будут внесены в базу данных поисковых систем. Поэтому очень важно выбрать надежный хостинг и сервер с хорошим up time.
Чтобы всегда быть в курсе доступности ресурса, созданы самые разные сервисы. Найти их можно, введя в поиск запрос «uptime checker». Рекомендуем Яндекс.Метрика – он совершенно бесплатный.
9. Ошибки при сканировании
Если их возникает в изобилии, то боты не имеют возможности полноценно обойти сайт и добраться до необходимых страниц. Проверить наличие ошибок можно в Google Webmaster Tools. Зайдите в раздел «Сканирование» и выберите «Ошибки сканирования». Если они будут обнаружены, сервис предложит их исправить.
10. Ранее используемый домен
Если вы зарегистрировали сайт на старое доменное имя, потому что оно легко читается и хорошо звучит, будьте готовы к тому, что его предыдущий владелец занимался черными методами SEO-продвижения, и теперь вам придется «разгребать» все те проблемы, к которым привела его деятельность.
Поправить ситуацию можно:
- Отправив в Яндекс и Google запрос на пересмотр и узнав, почему страницы не индексируются.
- Продолжая продвигать проект и работать над его качеством.
На заметку. Если домен спустя 3 или чуть более месяцев все равно нормально не индексируется, лучше сменить доменное имя. Или написать в поддержку поисковых систем и узнать насчет санкций на этот домен.
11. Медленная скорость загрузки сайта
Данный показатель является одним из основных факторов ранжирования ресурса и оказывает существенное влияние на его позиции в поисковых системах. Разумеется, если ваш портал загружается дольше положенного, с большой долей вероятности и его индексация будет проходить очень медленно. Самое оптимальное время загрузки составляет 2 секунды. Более 3-х секунд – это уже долго. На загрузку сайта влияет хостинг на котором он расположен.
12. Ресурс заблокирован в файле htaccess
Зачастую данный файл используется для настройки 301 редиректа, однако здесь также можно осуществить закрытие поисковым ботам доступ к сайту. Чтобы проверить содержимое .htaccess, найдите его на сервере, после чего проверьте код, чтобы там не было команды, блокирующей ресурс.
13. Наличие AJAX и JavaScript
Поисковик Google индексирует их, но гораздо сложнее, чем тот же HTML. Неправильно настроив страницы AJAX и JavaScript, ваш сайт не будет проиндексирован.
14. Попадание под фильтры поисковиков
Получить Deindexed, пожалуй, страшнее всего. Это наказание за то, что вебмастер выбрал нелегальную политику продвижения своего сайта: размещал запрещенные материалы или нерелевантный запросам контент, спамил ключевыми словами, использовал дорвеи и пр. Это очень и очень плохо, и если вас разоблачили, то вернуть сайт в поиск и заслужить доверие поисковых машин будет сложно.
15. Индексация сайта с www и без www
По сути, www – это поддомен. Поэтому https://seob.ru и http://www.seob.ru – это разные адреса сайта. Перепроверьте, указали вы 301 редирект с одного домена на другой. Также не забудьте указать основное доменное имя, и при этом подтвердить, что вы являетесь владельцем обеих доменов, чтобы поисковая система не считала эти домены разными сайтами.
16. Отсутствие карты сайта
В редких случаях, но отсутствие Sitemap на сайте может стать причиной того, что он остается незамеченным поисковыми ботами. Эту страницу тоже не забудьте добавить в панель вебмастера Яндекс и Google.
Заключение
Без индексации веб-сайта его существование просто бессмысленно, только если вы не ведете его чисто для себя. Если желаете продвигать сайт, найдите причину, из-за которой он не заносится в индекс. Это важно, чтобы поскорее предотвратить проблему и в дальнейшем не допускать ее снова.
Если же вы исправили все вышеуказанные причины и ресурс все-равно не попадает в поиск, незамедлительно обращайтесь в поддержку Google и Яндекс. Там вам с большой вероятностью объяснят, в чем дело.
