Индексирование сайта

Индексирование веб-сайта считается одним из наиболее важных атрибутов абсолютно любого вебсайта, заинтересованного в привлечении пользователей. В данной статье мы постараемся максимально подробно рассказать весь процесс попадания страницы в индекс. Данная статья будет полезна начинающим веб-мастерам.

Индексирование предполагает процесс обхода веб-ресурса специально разработанным методом, просматривающим все страницы сайта и, заносящим информацию о них в базу данных поисковых систем. При обходе ресурса, робот запоминает и анализирует следующее:URL страницы, анализ плотности ключевых слов, мета-теги и мета-описание. На основании эти данных любой сайт позиционируется в выдаче по поисковым запросам. Помимо веб-страниц, робот отмечает исходящие ссылки с сайта, которые являются главным фактором в повышении рейтинга ТИЦ и PR.

Кстати, если ваш ресурс начал работать сравнительно недавно, и обратной ссылочной массы у вас еще нет, то можно самостоятельно добавить сайт в список поисковых систем, что значительно ускорит процесс обнаружения вашего веб-ресурса роботом.

Существуют различные алгоритмы индексации, каждый из которых занимается своей определенной работой. Одни роботы занимаются строго сбором данных и анализируют новые страницы сайта, другие индексируют изображения, добавляя информацию о них на поисковый сайт картинок, третьи регулярно проверяют сайт на доступность, четвертые обновляют данные о лентах подписки. Давайте рассмотрим совокупность их работы более подробно.

Сначала любой сайт посещается роботом, проверяющим его доступность, если ресурс работоспособен, вслед за первым вступает в работу робот, занимающийся индексированием страниц. Примечательно, что последний прежде всего обращается к файлу, robots.txt, лежащему в корневой директории сайта, в котором определены директивы поведения алгоритма индексации. Настройки этого файла необходимы большей частью по соображениям безопасности, а также дают роботу необходимую информацию о том, какие страницы необходимо проиндексировать, а какие нет. Например директива Disallow запрещает роботу индексировать определенные URL-ы, папки и файлы сайта, в то время, как директива Allow является разрешающей. Стоит отметить, что помимо PHP и HTML индексируются документы с расширением PDF, DOC, RTF, TXT, Flash и другие.

На заметку начинающему веб-мастеру. Чтобы робот гарантированно обошел все страницы сайта, а так же чтобы периодичность его заходов была более частой, имеет смысл составить карту сайта, в которую будут автоматически добавляется новые страницы веб-ресурса. И обязательно добавить ссылку на Sitemap в панели управления веб-мастера поисковых систем. Опытным путем установлено, что сайты не имеющие карты реже обходятся поисковыми роботами, чем те у которых она присутствует.

Индексирующий робот помимо сбора информации о мета-тегах и мета-описании, сравнивает контент на уникальность. Поэтому, в случае скопированного материала не стоит рассчитывать на высокие позиции в выдаче по поисковым результатам. Лучше писать статьи на средне-частотные запросы самому, так чтобы их с уникальность составляла не меньше 90 %.

Кстати, недавно мы писали об АГС фильтре от поисковой системы Яндекс, который накладывается на некачественные сайты, в результате чего выпадают из индекса все страницы кроме главной. Что хочется сказать: информация по которой применяется АГС собирается, как раз с помощью поисковых роботов и является совокупностью факторов. Но большей частью в сборе этих данных участвует второй индексирующий робот, анализирующий соотношение исходящих/входящих ссылок, ключевые слова и сам контент.

Затем после робота, обходящего страницы сайта наступает очередь алгоритма индексирующего ленты подписки или по другому RSS. О том, что такое лента RSS можно узнать в этой статье. И финальным завершением индексации сайта является обход робота, добавляющим новые изображения на поисковый сайт картинок.

Благодаря последнему алгоритму, можно существенно увеличить приток посетителей на свой сайт, так как этот робот обращает внимание на имя файла, а также на тег , в котором прописано альтернативное название изображения. Поэтому, имеет смысл прописывать в тегах заголовок картинки, а для самого файла составлять соответствующее название.

Подводя итог, давайте зарезюмируем все вышеизложенное. Первоначально необходимо подобрать качественный хостинг для веб-ресурса, чтобы робот проверяющий доступность сайта всегда мог на него зайти. Затем, при отсутствии обратных ссылок на ресурс либо вообще полное отсутствие следует добавить сайт в список поисковых систем. Следующим шагом, при добавлении контента, стоит не забывать прописывать мета-теги и мета-описание каждой страницы сайта. Далее, необходимо составить карту сайта, либо установить определенные компонент, делающий это автоматически, после чего указать адрес к Sitemap в панели веб-мастера поисковой системы. Не забывайте прописывать альтернативное название тега в изображениях и соответственно переименовывать сами графические файлы. Эти советы в купе с приобретенным в последующем опытом позволят Вам держать сайт постоянно в регулярно обновляемом индексе.