Частые вопросы - Студия Веб-дизайна Site Move
Главная » О Студии » Частые вопросы » Индексирование ресурса

Категории:

В первую очередь необходимо добавить ресурс в поисковые системы.

1. Sitemap.

Это такой формат карты сайта, который очень удобен в пользовании, но не для обыкновенных пользователей, а зачастую веб-мастеров и систем поиска. Чаще всего представляет собой перечень ссылок, которые подаются в формате XML. Данный формат может прочитать практически любая поисковая система. Вы также имеете возможность загрузить и себе sitemap, если у вас есть собственный сайт, воспользовавшись специальным разделом сервиса. После данной процедуры вы сможете влиять на то, какие из страниц сайта у вас будут чаще просматриваться роботами поисковых систем. Это очень удобно в том случае, если вы точно знаете, какие из них часто вами обновляются.

2. Robots.txt

Это специализированны файловый документ, который используется только роботами в поисковых системах. Этот файл может быть закреплен таким образом, что каждая поисковая система будет иметь определенные параметры индексирования. Наиболее важными из них являются таковые:

  • Disallow - этим параметром вам необходимо воспользоваться в том случае, если какие-то разделы своего сайта вы индексировать не желаете. Это зачастую бывают страницы, которые не являются ценными носителями информации для поисковика. К ним относятся страницы статистики, дубликаты и многие другие. Более детально об этом вы сможете прочитать в специальном разделе помощи, который посвящен данной теме, robots.txt.
  • Crawl delay - с помощью него можно задать определенный промежуток времени для поискового робота, зачастую минимальный и в секундах. Очень удачным этот параметр будет в том случае, если у вас масштабный проект сайта. Если обращение робота к такому сайту происходит слишком часто, в таком случае могут происходить сбои в его работе. А при помощи, например, Crawl-delay: 2 вы можете быть уверенными, что между обращениями к сайту будет задержка в две секунды.
  • Clean param - данный параметр необходим для указания поисковикам cgi-параметры, которые не являются для него значимыми и важными. К тому же, если адреса страниц содержат идентификаторы сессий, в таком случае поисковая система будет их индексировать, а не скачивать необходимую информацию, что не принесет пользы сайту и его продвижению. Более подробно об этом параметре вы сможете прочитать в использовании директивы clean param.

Сервисы поисковых систем. Вам, как создателю сайта, просто необходимо с определенной периодичностью проверять тот список URL, которые проиндексировались. Ведь если идет ненужная индексация, в таком случае опять-таки возникает огромная нагрузка на ваш сайт.

3. Документы

Поисковые системы производят индексацию тех документов, которые являются в сети Интернет наиболее распространенными и часто встречаемыми. Можно встретить и своего рода ограничения, которые не способствуют индексации сайта. Ими являются:

  • Документ может плохо индексироваться в том случае, если имеется большое количество cgi-параметров в URL;
  • Обращайте внимание на то, сколько весит ваш сайт. Ведь индексацию не проходят те документы, у которых размер больше 10Мб;
  • Flash индексация: происходит индексация в том случае, если присутствует HTTP-заголовок Content-Type: application/x-shockwave-flash; файлы типа *.swf проходят индексацию в том случае, если имеется наличие прямой ссылки;
  • Если формат документа PDF, в таком случае индексацию проходит только текст. Картинки не индексируются;
  • Очень успешно в поисковых системах проходят индексацию те документы, которые имеют формат Open Office XML и OpenDocument.

4. Страница 404

Необходимо быть уверенным в возвращении кода 404 в том случае, если вы для тех URL, которых нет, определили иное поведение робота. В таком случае все страницы должны отдавать код 200 OK.

5. Дата обновления

Обращайте внимание на то, чтобы http-заголовки были корректными. Заголовок ответа на запрос «if-modified-since», должен включать дату обновления, причем правильную.

6. Мобильная версия

Если ваш сайт можно просматривать на мобильном, то в таком случае лучшее место его размещения – это поддомен.

Не стоит заставлять поисковую систему индексировать все и этим сбивать в работе ваш сайт. Управляйте работой робота, удаляйте страницы, которые не нужны для индексации.


В интернете базой является возможность с помощью ссылок попадать на различные сайты, а также их отдельные страницы абсолютно любой тематики. Поисковые системы проводят ежедневно тщательный анализ такого рода ссылок. В основном, в поисковые системы сайты попадают благодаря переходам поискового робота по ссылкам. А добавление сайтов вручную происходит крайне редко. В таком случае используется форма «Сообщить о новом сайте». Все страницы вашего сайта, которые не связаны друг с другом, не смогут быть проиндексированы никогда. Именно поэтому можно дать определенные советы касательно того, каким образом должна быть оформлена структура сайта.

1. Структура сайта должна иметь четкие ссылки.

Документы должны находиться в своих разделах. Проверяйте то, чтобы все страницы имели простые адреса, то есть на них можно было зайти по обыкновенной ссылке в HTML-коде страницы с тегом А. Чем многояруснее структура сайта, тем сложнее поисковой системе проиндексировать то, что на страницах находится. Если вы создаете ссылки между страницами вашего сайта, в таком случае вам необходимо кое-что учесть. Зачастую на все сайты вход осуществляется именно с главной страницы. Это можно объяснить тем, что запомнить название сайта не составляет особого труда, а вот помнить все адреса отдельных страниц достаточно сложно. Сайт должен быть распланирован таким образом, чтобы посетитель легко в нем разобрался и нашел необходимую информацию.

2. Воспользуйтесь картой сайта.

В том случае, если вы будете пользоваться картой сайта sitemap, вы сможете проиндексировать свой сайт намного быстрее и лучше.

3. Служебную информацию не следует индексировать.

При индексации различных вспомогательных страниц, вы усложняете работу робота, именно поэтому статистика, страницы-дубликаты и многое другое лучше не индексировать. Не неся никакой уникальной информации, которая могла бы выделить ваш сайт, такого рода страницы просто мешают индексации полезной информации.

4. Уникальность адресов (URL) обязательна.

Адрес должен соответствовать тому, что на странице сайта за информация содержится. При составлении адреса, необходимо использовать транслитерацию, что позволить извлечь информацию из адреса наиболее полно.

5. Ссылки между разделами сайта желательно делать текстовыми.

Это поможет предоставить дополнительную информацию для робота.

6. Следите за корректностью simlink-ов.

При наличии большого количества токенов, к примеру, site.ru/1/2/3/4/, страница может плохо проходить индексацию.

Если на сайте присутствуют страницы, которые для обычных пользователей не предназначены, запретите их просмотр в robots.txt.


Редко можно встретить хороший сайт абсолютно лишенный графики, придающей его дизайну индивидуальности, корпоративности, привлекательности. Прежде, чем применять их на страницах вашего сайта. Взвесьте все и не торопитесь.

Первым делом следует помнить о необходимости в заполнении атрибута ALT тега , что позволяет вашим изображениям иметь иное (альтернативное) описание, присваиваемое ему в данном атрибуте ALT тега IMG. Данный атрибут хорош тем, что:

  • В случае невозможности пользователя загрузить картинки, вставляемые вами на страницах сайта, он будет созерцать надпись, заданную вами в атрибуте ALT, что даст пользователю некое представление возможного изображения;
  • Текст, вписанный вами в атрибуте ALT, значительно облегчает работу «робота по картинкам», который производит индексирование изображений для Яндекс.Картинки. Указанный текст в атрибуте ALT, четко дает представление системе о данном изображении;

Далее следует непременно продублировать текст, показанный на изображении. К сожалению, пока роботы поисковых систем ещё не научились понимать текст, который являет собой графическое изображение, а введенное вами описание в атрибут ALT не проходит первостепенной индексации. Соответственно, не стоит заменять «живой» текст картинками. Если вы никак не можете избавиться от необходимости разместить на странице сайта картинки с текстом, обязательно продублируйте надпись на изображении в тексте. Таким образом, вы учтете всю важную информацию для правильного ранжирования.

Использование графических элементов на страницах сайта имеет ряд нюансов:

  • Меню в виде графического изображения является весьма удобным, позволяя быстро перемещаться по внутренним страницам, однако поисковые системы не могут понять, что расположено на этих самых страницах. В таком случае, необходимо создать альтернативное меню (текстовое) со ссылками-переходами на основополагающие страницы сайта;
  • Если в дизайне вашего сайта применяется flash-технология, советуем вам также сделать дублирующую текстовую версию. Это поможет посетить ваш сайт пользователям, не имеющим на своем компьютере, или имеющим более раннюю версию программы, читающей flash, пользователям мобильных устройств, и, что немаловажно, работу роботов поисковых систем, которые проводят индексацию вашего сайта максимально корректно. Flash имеет некоторые ограничения при индексации (см. раздел «Файл robots.txt»);
  • Если вы желаете полной индексации сайта, не стоит использовать вместо текста множество картинок.

Ещё дадим парочку советов по улучшению ранжирования в поиске при использовании картинок:

  • Если изображение применяется как иллюстрация к тексту, необходимо располагать их максимально близко друг к другу. Если это невозможно, сопровождайте картинки непосредственными подписями;
  • Картинки стоит подписывать осмысленно (не просто img_123.jpg los.jpg);
  • Если в содержании страницы используется ссылка на картинку, то текст ссылки должен иметь смысл;
  • Не давайте robots.txt индексировать картинки САРТСНА и прочие сгенерированные автоматически картинки (графики, баннеры, графические информеры, счетчики и пр.).


Наиболее важное свойство всемирной паутины – разноплановость и многоформатность представленной информации. Задача поисковых систем - как можно корректнее проиндексировать и проранжировать доступную ей информацию. Но к сожалению бывают такие случаи, когда роботы понимают информацию несколько по-другому, не с тем смыслом, который в него вкладывали разработчики и владельцы сайтов:

  • Навигация с помощью скриптов. Для размещения ссылки большей популярностью пользуется HTML тег A. Однако это далеко не единственный способ навигации между страницами. Существуют достаточно неплохие технологии JavaScript или Flesh.Однако следует помнить, что переход по таким ссылкам для роботов невозможен, поэтому дублируйте такие ссылки простыми текстовыми;
  • Применение фреймов - теги FRAMESET, FRAME, IFRAME. Если вы стремитесь пройти корректное ранжирование ваших страниц сайта, помните, что текс, прописанный при помощи данных фреймов, не ранжируется;
  • Перенасыщение редиректами (автоматическим перенаправлением). Старайтесь не прибегать к использованию редиректов. Это необходимо лишь в тех случаях, когда сайт меняет свой прямой адрес и необходимо перенаправить посетителей на новые страницы. Изучите правильное применение ридеректов в соответствующем разделе помощи (301 редирект). В отличии от 301 редирект, который может при поиске отобразить причину редиректа, серверы в основном используют 302 редирект, не дающего 100% гарантии;
  • Адреса страниц. Каждая страница сайта должна иметь свой постоянный уникальный адрес. Старайтесь избегать упоминания списков cgi-параметров в адресе страницы и следите за отсутствием в нем идентификатора сессий;
  • Клоакинг. Старайтесь, чтобы индексация страницы соответствовала ее реальному содержанию;
  • Применения графических элементов вместо текста. Старайтесь не создавать безтекстовых страниц. Представленная в виде графического изображения главная страница вашего веб-ресурса, может затруднить ранжирование вашего сайта в целом, поскольку множество ссылок извне на сайт перенаправляют именно на главную страницу, не содержащую текста, что ставит робота поисковой системы в тупик;
  • Soft 404. Одна из самых часто встречающихся ошибок – это попытка замены сообщения об ошибке «страница не найдена (Soft 404) на страницу-заглушку OK (код 200). Таким образом, поисковые системы воспринимают страницу с неправильным адресом как реально существующую и оставляют ее в базе. Замедляя тем самым процесс индексации остальных страниц сайта;
  • Движок сайта. Следите за тем, чтобы ПО вашего сайта работало исправно. Открытие страниц в разных браузерах должны иметь одни и те же адреса. Создание различных адресов страниц приведет к негативным последствиям индексации, а также могут быть использованы хакерами (например, для перенаправления на порносайты).

Получать сведения об ошибках при индексации (при возникновении таковых) можно на сервасе Яндекс.Вебмастер. Лучше и более корректно индексируются те сайты, которые имеют наиболее простую и понятную структуру.


Одной из наиболее важных составляющих интернета являются ссылки. С помощью ссылок связываются различные страницы интернета, образуя всемирную паутину, по которой перемещаются пользователи, попадая, в том числе, и на ваш сайт.

  • Партнерские ссылки. В том случае, когда ссылки на ваш сайт размещены на дружественных сайтах, позаботьтесь о том, чтобы их текст был интересен и содержателен, а не сводился только к URL. Пообщайтесь с партнёрами в случае, если ссылки кажутся вам не совсем адекватными, с целью их редактирования.
  • Ссылки, используемые интернет-СМИ. В том случае, если новостные сайты пользуются материалами размещёнными на вашей страничке, имеет смысл разместить в тексте ссылку с ключевой фразой.
  • Каталог ссылок. В сети есть некоторое количество каталогов, размещение в которых ссылки на свою страничку имеет смысл. Такие как, например, Яндекс.Каталог и catalog.i.ua. Также стоит размещать ссылку в каталогах на популярных региональных порталах. Кроме качественных и популярных каталогов, в сети существует огромнейшее количество спам-каталогов, которые не модерируются, размещение ссылок в этих каталогах зачастую не несёт смысла и не влияет положительно на ранжирование сайта.

Основные признаки, присущие хорошему каталогу:

  • У каталога обязан быть модератор;
  • Удобная навигация;
  • В тематических рубриках хорошего каталога всегда есть в наличии ссылки на сайты-лидеры в соответствующей специализации;
  • Реклама, размещённая на страничках каталога, не должна создавать неудобств для восприятия основной информации;
  • Названия сайтов и их описания должны быть комфортными для восприятия и использования, а также, естественно, не должны содержать грамматических ошибок;

Обращайте внимание на ссылки, размещённые посетителями на вашем веб-ресурсе. В случае если у вас есть форум или иные разделы сайта, в которых есть возможность оставлять свои сообщения, уделяйте внимание исходящим ссылкам.

В идеале, владелец сайта должен модерировать все ссылки. Достаточно большой является вероятность размещения на вашем сайте спам-сообщений. Например, поисковик Яндекс не берёт в учёт спам-ссылки, однако рейтинг вашего сайта пострадает, если вы не будете уделять внимание спам-записям.

Индексирование в поисковых системах вашего форума имеет шанс быть полностью запрещённым, в случае наличия большого количества спам-сообщений.

Однако вы можете воспользоваться, своего рода, инструментарием, дабы облегчить работу себе и поисковику, размещая все немодерируемые ссылки внутри тега. Также зачастую используется и рекомендуется, система CAPTCHA, защищающая сайт от спам-роботов.

Платные ссылки, биржи ссылок. Поисковые системы ценят ссылки, предназначенные для помощи пользователей. В свою очередь ссылки, которые ставятся на сайтах за определённую плату (тем более, если они размещаются через биржи ссылок и ориентированы не на посетителя сайта, а на поисковую систему), являются помехой для поисковика и мешают корректному определению степени доверия к сайтам и их релевантности.

Наблюдайте не только за ссылками, размещаемыми на вашем сайте, но и за ссылками, с помощью которых ссылаются на ваш сайт – их можно увидеть в Яндекс.Вебмастере. Некоторые ссылки могут быть не совсем полезны для вас.


При переезде сайта на новый домен есть два различных метода показать роботам поисковых систем дорогу на новое главное зеркало. Обязательным условием для обоих методов является наличие в вашем распоряжении старого домена.

В первом варианте, учитывая то, что новый домен не должен являться неглавным зеркалом, вы имеете возможность установить перенаправление на новый домен со старого (серверный редирект 301).

Во втором случае, чтобы указать поисковикам на главное зеркало вы имеете возможность применить нижеприведенную схему:

  • Осуществить регистрацию нового домена, настройку веб-сервера и всего необходимого ПО.
  • Всё содержимое сайта скопировать на новый сервер со старого, вследствие чего сайты продублируются (станут зеркалами). Можно также сделать перенаправление, используя система доменных имен (DNS - domain name system).
  • Директиву Host разместить в файле robots.txt. Файл robots.txt, в котором будет прописано новое главное зеркало, обязан быть доступным на всех зеркалах группы.

Когда пройдёт некоторое время, специальный робот-зеркальщик осуществит анализ старого и нового сайтов и «свяжет» по 301 перенаправлению либо директивой Host.

Поисковик будет определять их как идентичные, при этом индексироваться и считаться главным будет новый домен.

При изменении структуры ресурса, советуем использовать серверное перенаправление со старых URL страниц на новые, при условии абсолютного соответствия между страницами домена. Тогда робот будет перемещаться по редиректам, производить индексацию новых страниц и попутно удалять старые. Со временем поиск будет выдавать уже только страницы нового ресурса.

Используйте директиву Host или же перенаправление для перемещения сайта на новый домен.