Особенности поисковой системы Google

1) Google'овский паук называется Googlebot. Через файл robots.txt можно запретить роботу Googlebot индексацию каких-либо из ваших страниц. Аналогично этому файлу на работу паука влияют meta-теги. Помимо стандартных noindex, nofollow, index, follow Google использует еще один тег:

Дело в том, что при выдаче результатов, пользователи имеют возможность просмотреть найденную страницу не на вашем сервере, а в кэше Google. При частом обновлении вашего ресурса такая возможность может вам только навредить. Поставив вышеприведенный тег на нужную страницу, Google не сохранит ее в кэш и ваши посетители всегда будут получать только свежую информацию с вашего сайта.

Для сужения области действия, вы можете разрешить/запретить какое-нибудь действие только пауку Google. Для этого достаточно вместо name="robots" написать name="googlebot".

Пример

Робот-паук Googlebot следует и индексирует документы по ссылкам HREF и SRC.

2) Объем проиндексированных документов у Google огромен, и вносить дополнительные изменения в ход индексации паука Google очень сложно. Поэтому нередко Googlebot быстрее сам находит ваш сайт, чем получает информацию из формы AddURL. В любом случае первая индексация вашего сайта произойдет через 2-3 недели. Зато переиндексация идет очень интенсивно, особенно если вы добавите свой сайт в каталог DMOZ. Googlebot просматривает этот каталог практически каждый день.

Но проходит достаточно времени, а ваш сайт до сих пор не проиндексирован. На то могут быть несколько причин.

• Динамические страницы (.php и т.д.) Google индексирует не в полном объеме. А при использовании сессий паук не проиндексирует сайт вовсе.
• Если вы используете дорвеи (doorways, об их использовании я расскажу вам в других публикациях).
• Ваш сайт использует фреймы. Фреймовая структура доставляет неудобство пользователям всех поисковых машин. Хотя Google лучше всех них обрабатывает фреймы, даже он может на них споткнуться. Выхода из сложившейся ситуации только два: или составлять полноценное описание в теге , или не использовать фреймы вообще.

3) Технология PageRank основывается на количестве и "качестве" внешних ссылок на ваш сайт. Именно от нее в первую очередь зависит релевантность вашей страницы и, соответственно, положение вашей страницы в результатах поиска (в России подобную технологию использует Яндекс, она называется Яндекс цитирования (CY)).

Кроме PageRank на релевантность страницы влияет:

• Имя вашего домена;
• Текст заголовка страницы (тот, что в теге );
• Текст ссылок, ведущих с других серверов на ваш сайт;
• Содержимое атрибута ALT;
• Наличие ключевых слов в заголовках
• Визуальное выделение ключевых слов ( , размер, цвет);
• Плотность ключевых слов на странице, т.е. их частота в документе.

***

Вот, пожалуй, это все особенности поисковой системы Google. Но кое-какие моменты в поиске Google выходят за рамки представленной статьи, поэтому публикации об этой системе в дальнейшем будут продолжены.

Автор: Полянко Александр
Источник: http://www.webbegin.info