Стремительный рост популярности интернета в последние десятилетия обусловлен возможностью простого и быстрого поиска информации. Обеспечивают такую возможность поисковые системы.
Поисковые системы – это сервисы, которые сканируют все сайты, находящиеся в сети, анализируют информацию на страницах и выдают пользователям список страниц подходящих под запрос. Для сбора и обработки данных с сайтов используются различные программные алгоритмы (роботы).
В настоящее время, мы не представляем себе интернет без поисковой системы. Каждый из нас пользовался или пользуется поисковыми системами, такими как Google, Yandex, Bing, Yahoo и т.д. И наверное, каждый пользователь хоть раз задавался вопросом: «А правилен ли мой выбор?» или «Сколько еще человек пользуется такой же поисковой системой, как я?».
Целью данной курсовой работы является анализ поисковых систем в сети Интернет. Для этого необходимо рассмотреть принципы работы и функционирования поисковых систем, схему обработки запросов; определить наиболее популярные поисковые системы мира и Рунета.
Как работает поисковая система
ГЛАВА 1. ПОИСКОВЫЕ СИСТЕМЫ: ПОНЯТИЕ, ФУНКЦИИ, ПРИНЦИПЫ РАБОТЫ
1.1 Понятие и функции поисковой системы
Поисковая система — это программно-аппаратный комплекс, предназначенный для осуществления поиска в сети Интернет и реагирующий на запрос пользователя, задаваемый в виде текстовой фразы (поискового запроса), выдачей списка ссылок на источники информации, в порядке релевантности (в соответствии запросу). Наиболее крупные международные поисковые системы: «Google», «Yahoo», «MSN». В русском Интернете это – «Яндекс», «Рамблер», «Апорт».
Рассмотрим понятие поискового запроса. Поисковый запрос должен быть сформулирован пользователем в соответствии с тем, что он хочет найти, максимально кратко и просто. Для этого открываем главную страницу поисковой системы и вводим текст поискового запроса. Далее, задача сводится к тому, чтобы открыть предоставленные по запросу ссылки на источники информации в Интернет.
Однако, возможна ситуация, когда нужная информация не найдена. Если это произошло, то нужно либо перефразировать свой запрос, либо в базе поисковой системе действительно нет никакой актуальной информации по нашему запросу.
Основная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут. А научить пользователей делать «правильные» запросы к системе, т.е. запросы, соответствующие принципам работы поисковых систем, невозможно. Поэтому разработчики создают такие алгоритмы и принципы работы поисковых систем, которые бы позволяли находить пользователям искомую ими информацию (рис.1).
Это означает, поисковая система должна «думать» так же, как думает пользователь при поиске информации.

Рисунок 1. Пример поиска информации
Когда пользователь обращается с запросом к поисковой машине, он хочет найти то, что ему нужно, максимально быстро и просто. Получая результат, он оценивает работу системы, руководствуясь несколькими основными параметрами [2]:
Как работают поисковые системы? Разбирался математик Вольфсон
- Нашел ли он то, что искал?
- Если не нашел, то сколько раз ему пришлось перефразировать запрос, чтобы найти искомое?
- Насколько актуальную информацию он смог найти?
- Насколько быстро обрабатывала запрос поисковая машина?
- Насколько удобно были представлены результаты поиска?
- Был ли искомый результат первым или же сотым?
- Как много ненужного мусора было найдено наравне с полезной информацией?
- Найдется ли нужная информация, при обращении к поисковой системе, скажем, через неделю, или через месяц?
Для того, чтобы получить правильные ответы на подобные вопросы, разработчики поисковых систем постоянно совершенствуют алгоритмы и принципы поиска, добавляют новые функции и возможности, всячески пытаются ускорить работу системы.
1.2 Основные характеристики поисковой системы
Рассмотрим основные характеристики поисковых систем [3]:
Полнота представляет собой отношение количества найденных по запросу информационных документов к общему числу документов в сети Интернет, относящихся к данному запросу. Например, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. В этом случае, чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.
Точность определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 40 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 40/100 (=0,4). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.
Актуальность характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. В большинстве случаев информация об этой новости уже доступна в поиске, хотя с момента публикации новостной информации на эту тему прошло меньше суток. Это происходит благодаря наличию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.
Скорость поиска тесно связана с так называемой «устойчивостью к нагрузкам». Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Интересы пользователя и поисковой системы в этом случае совпадают: посетитель желaет получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не притормозить обработку следующих запросов.
Наглядность представления результатов является важнейшим компонентом удобного поиска. В результате большинства запросов поисковая машина находит сотни, a то и тысячи документов. Из-за нечеткости составления запросов или неточности поиска, даже первые страницы выдачи не всегда содержат нужную информацию. Это означает, что пользователю часто приходится производить свой собственный поиск среди предоставленных результатов. Различные элементы страницы выдачи поисковой системы помогают ориентироваться в результатах поиска.
1.3 История развития поисковых систем
В начальный период развития Интернет, число его пользователей было небольшим, a объем доступной информации сравнительно невеликим. В тот период доступ к ней имели, в основном, работники различных крупных учебных заведений и лабораторий, и полученные данные использовались в научных целях. Использование Сети не имело такой актуальности, как сейчас.
В 1990 году британский ученный Тим Бернерс-Ли (который также является изобретателем URI, URL, HTTP, World Wide Web) создал сайт info.cern.ch, который является первым в мире доступным каталогом интернет-сайтов. С этого момента Интернет начал набирать популярность не только среди научных кругов, но и среди простых обладателей персональных компьютеров [1].
Так, первым способом облегчения доступа к информационным ресурсам в Интернете стало формирование каталогов сайтов. Ссылки на ресурсы в них были сгруппированы по тематике.
Первым проектом такого рода принято считать Yahoo, открытый в апреле 1994 года. В связи со стремительным ростом количества сайтов в нём, вскоре появилась возможность поиска необходимой информации по запросу. Конечно же, это ещё не было полноценной поисковой системой. Поиск был ограничен только данными, которые находились в каталоге.
Каталоги ссылок широко использовались ранее, однако практически полностью утратили свою популярность в настоящее время. Так как даже современные, огромные по своему объему каталоги, содержат информацию лишь о ничтожно малой части сети Интернет. Самый известный и большой каталог сети DMOZ (его еще называют Open Directory Project) содержит информацию о 25 миллионах страниц [2].
Хронология развития поисковых систем [1]
1945 год – американский инженер Ванневар Буш опубликовал записи идеи, которая привела в дальнейшем к изобретению гипертекста, и рассуждение о необходимости разработки системы быстрого извлечения данных из хранимой информации таким образом (эквивалент сегодняшних поисковых систем). Введённое им понятие устройства-расширителя памяти содержало оригинальные идеи, которые, в конце концов, воплотились в Интернете.
1960-е — Джерард Сэлтон и его группа в Корнелльском университете разработали «Остроумную систему извлечения информации» (SMART information retrieval system). SMART — аббревиатура от Salton’s Magic Automatic Retriever of Text, то есть «Волшебный автоматический извлекатель текста Сэлтона». Джерард Сэлтон считается отцом современной поисковой технологии.
1987-1989 – разработана Archie — поисковая система для индексации FTP архивов. Archie представлял из себя сценарий, автоматизирующий внедрение в листинги на ftp-серверах, которые затем переносились в локальные файлы, а уже потом в локальных файлах осуществлялся быстрый поиск необходимой информации. Поиск основывался на стандартной grep-команде Unix, а доступ пользователя к данным осуществлялся на основе telnet.
В следующей версии данные были разбиты на отдельные базы, одна из которых содержала только текстовые названия файлов; а другая — записи со ссылками на иерархические директории тысячи хостов; и еще одна, соединяющая первые две. Эта версия Archie была эффективней предыдущей, так как поиск производился только по именам файлов, исключая множество существующих ранее повторов.
Поисковая система становилась всё популярнее, и разработчики задумались, как ускорить её работу. Упомянутая выше база данных была заменена на другую, основанную на теории сжатого дерева. Новая версия, по существу, создала полнотекстную базу данных вместо списка имен файлов и была значительно быстрее, чем раньше. В дополнение, второстепенные изменения позволили системе Archie индексировать web-страницы. К сожалению, по различным причинам, работа над Archie вскоре прекратилась.
В 1993 году была создана первая в мире поисковая система для Всемирной сети Wandex. В её основу был заложен World Wide Web Wanderer бот, разработанный Метью Греем из Массачусетского технологического института.
1993 год – Мартин Костер создаёт Aliweb – одну из первых поисковых систем по World Wide Web. Владельцы сайтов должны были сами их добавлять в индекс Aliweb, чтобы они появлялись в поиске. Поскольку слишком мало вебмастеров это делали, Aliweb не стал популярным
20 апреля 1994 г. – Брайан Пинкертон из университета Вашингтон выпустил WebCrawler — первого бота, который индексировал страницы полностью. Основным отличием поисковой системы от своих предшественников является предоставление возможности пользователям осуществлять поиск по любым ключевым словам на любой веб-странице. Сегодня эта технология является стандартом поиска любой поисковой системы. Поисковая система «WebCrawler» стала первой системой, о которой было известно широкому кругу пользователей. К сожалению, пропускная способность была невысокой и в дневное время система часто была недоступной.
20 июля 1994 г. – открылся Lycos — серьезная разработка в технологии поиска, созданная в университете Карнеги Мелон. Майкл Малдин был ответственен за эту поисковую систему и до сих пор остаётся ведущим специалистом в Lycos Inc. Lycos открылся с каталогом в 54,000 документов. И в дополнение к этому результаты, которые он предоставлял, были ранжированными, кроме того он учитывал приставки и приблизительное совпадение. Но главным отличием Lycos был постоянно пополняемый каталог: к ноябрю 1996 было проиндексировано 60 миллионов документов — больше, чем у любой другой поисковой системы того времени.
Январь 1994 г. — был основан Infoseek. Он не был по-настоящему инновационным, но имел ряд полезных дополнений. Одним из таких популярных дополнений была возможность добавления своей страницы в реальном времени.
1995 год – запустилась AltaVista (рис.2). Появившись, поисковая система AltaVista быстро получила признание пользователей и стала лидером среди себе подобных. У системы была практически неограниченная на то время пропускная способность, она была первой поисковой системой, в которой было возможно формулировать запросы на естественном языке, а также формулировать сложные запросы. Пользователям было разрешено добавлять или удалять их собственные URL в течение 24 часов.

Рисунок 2. AltaVista
Также AltaVista предлагала много советов и рекомендаций по поиску. Основной заслугой системы AltaVista считается обеспечение поддержки множества языков, в том числе китайского, японского и корейского. Действительно, в 1997 году ни одна поисковая машина в Сети не работала с несколькими языками, тем более с редкими.
1996 год — поисковая машина AltaVista запустила морфологическое расширение для русского языка.
Также, в 1996 году были запущены первые отечественные поисковые системы – Rambler.ru и Aport.ru. Появление первых отечественных поисковых систем ознаменовало новый этап развития Рунета, позволяя русскоязычным пользователям осуществлять запрос на родном языке, а также оперативно реагировать на изменения, происходящие внутри Сети.
20 мая 1996 г. — появилась корпорация Inktomi вместе со своим поисковиком Hotbot. Его создателями были две команды из калифорнийского университета. Когда сайт появился, то он быстро стал популярным.
1997 год – в западных странах наступает переломный момент в развитии поисковых систем, когда С. Брин и Л. Пейдж из Стэндфордского университета основали Google (первоначальное название проекта BackRub) (рис.3). Они разработали собственную поисковую машину, которая дала пользователям возможность осуществлять качественный поиск с учетом морфологии, ошибок при написании слов, а также повысить релевантность в результатах выдачи запросов.

Рисунок 3. С. Брин и Л. Пейдж
23 сентября 1997 года – анонсирован Yandex, который быстро стал самой популярной у русскоязычных пользователей Интернета системой поиска.
С запуском в поисковой системы Яндекс отечественные поисковые машины начали конкурировать между собой, улучшая систему поиска и индексации сайтов, выдачи результатов, а также предлагая новые сервисы и услуги
Таким образом, развитие поисковых систем и их становление можно охарактеризовать перечисленными выше этапами.
1.4 Состав и принципы работы поисковой системы
Практически все крупные поисковые системы имеют свою собственную структуру, отличную от других. Однако можно выделить общие для всех поисковых машин основные компоненты [2]. Различия в структуре могут быть лишь в виде реализации механизмов взаимодействия этих компонентов.
Модуль индексирования состоит из трех вспомогательных программ (роботов):
- Spider (паук) – программа, предназначенная для скачивания веб-страниц (рис.4). «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html-код каждой страницы. Для скачивания страниц роботы используют протоколы HTTP.

Рисунок 4. Spider
Работает «паук» следующим образом. Робот на сервер передает запрос “get/path/document” и некоторые другие команды HTTP-запроса. В ответ робот получает текстовый поток, содержащий служебную информацию и непосредственно сам документ.
Ссылки извлекаются из тэгов a, area, base, frame, frameset, и др. Наряду со ссылками, многими роботами обрабатываются редиректы (перенаправления). Каждая скачанная страница сохраняется в следующем формате:
- URL страницы;
- дата, когда страница была скачана;
- http-заголовок ответа сервера;
- тело страницы (html-код).
- Crawler («путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице. Выделяет все ссылки, присутствующие на странице. Его задача — определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Crawler, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.
- Indexer (робот-индексатор) — программа, которая анализирует веб-страницы, скаченные пауками (рис.5).

Рисунок 5. Indexer
Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д.
Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.
База данных, или индекс поисковой системы — это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов.
Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска.
Поисковый сервер работает следующим образом:
1. Запрос, полученный от пользователя, подвергается морфологическому анализу. Генерируется информационное окружение каждого документа, содержащегося в базе (которое и будет впоследствии отображено в виде сниппета, то есть соответствующей запросу текстовой информации на странице выдачи результатов поиска).
2. Полученные данные передаются в качестве входных параметров специальному модулю ранжирования. Происходит обработка данных по всем документам, в результате чего, для каждого документа рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.
3. В зависимости от выбора пользователя этот рейтинг может быть скорректирован дополнительными условиями (например, так называемый «расширенный поиск»).
4. Далее генерируется сниппет, то есть, для каждого найденного документа из таблицы документов извлекаются заголовок, краткая аннотация, наиболее соответствующая запросу и ссылка на сам документ, причем найденные слова подсвечиваются.
5. Полученные результаты поиска передаются пользователю в виде SERP (Search Engine Result Page) – страницы выдачи поисковых результатов.
Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов.
Например, по информации ООО«Рамблер Интернет Холдинг» обработка поискового запроса в системе «Рамблер» происходит, так, как это изображено на рисунке 6 [3].

Рисунок 6. Обработка поискового запроса в системе «Рамблер»
Запрос поступает в поисковую систему через маршрутизатор Cisco 6000 series. Cisco передает его наименее загруженной машине первого уровня — frontend (1.1 — 1.3, на рис. машине 1.3). Frontend, в свою очередь, отправляет запрос дальше, на один из восьми proxy-серверов, также выбирая наиболее свободный сервер (2.1 — 2.8, на рис. машине 2.2). Одновременно frontend отправляет запрос на машины, осуществляющие поиск по товарам (3.1 — 3.2, на рис. машине 3.1) и по базе Тор 100 (4.1 — 4.2, на рис. машине 4.1). На proxy проводится поиск по ссылочному индексу, и его результаты вместе с поисковым запросом передаются на машины, которые содержат основную индексную базу, — backends (5.1.х — 5.7.х, на рис. машинам 5.1.2, 5.2.11, 5.3.1 и т.д.) Та же информация отправляется на машины с «быстрой базой» (6.1 — 6.2).
На текущий момент в поиск включено 77 backend’ов. Они сгруппированы по 11 машин, и каждая группа содержит копию одной из частей поискового индекса.
Таким образом, информация о сайтах, условно входящих в красный сектор Интернета, находится на backend’ах первой группы (5.1.1 — 5.1.11 на рис), оранжевый сектор — на backend’ах второй группы (5.2.1 — 5.2.11) и т.д. Proxy-сервер выбирает наименее загруженный backend в каждой группе машин и отправляет на него поисковый запрос с результатами ссылочного поиска. На backend’ах осуществляется поиск по частям индексной базы и ранжирование с учетом результатов поиска по ссылочному индексу. При ранжировании для всех найденных документов высчитываются веса по конкретному запросу.
После того, как запрос обработан на backend’ах, информация о результатах и ранжировании отдается обратно на proxy-сервер. Туда же поступают отсортированные результаты с машин «быстрой базы». Proxy интегрирует данные, полученные с восьми машин: клеит дубли, объединяет зеркала сайтов, переранжирует документы в общий список по весам, рассчитанным на backend’ах.
Так, первым в списке найденного может быть документ с машины 5.3.1, вторым и третьим — с 6.1, четвертым — с 5.5.2 и т.д. На proxy-сервере также реализуется построение цитат к документам и подсветка слов запроса в тексте. Полученные результаты отдаются на frontend.
Помимо информации с proxy-сервера, frontend получает результаты из поиска по товарам и из базы Тор 100, отсортированные, с цитатами и подсветкой слов запроса. Frontend осуществляет окончательное объединение результатов, генерирует html со списком найденного, вставляет баннеры и перевязки (ссылки на различные разделы Рамблера) и отдает html Cisco, который маршрутизирует информацию пользователю.
ГЛАВА 2. РЕЙТИНГ ПОИСКОВЫХ СИСТЕМ ИНТЕРНЕТА
2.1 Популярные поисковые системы мира
Рейтинги поисковых систем строятся, основываясь на двух критериях:
- качество поиска;
- популярность.
Напрямую оценивать качество получается не всегда, так как этот параметр имеет субъективный характер – одним кажется, что лучше ищет Яндекс, другим – Google, третьи отдают предпочтение интеллектуальной поисковой системе Нигма и т.д.
Более менее объективную информацию может дать только статистика посещений. Именно эта статистика и будет использована при анализе популярных поисковых систем.
В настоящее время существуют три основные поисковые системы (международные) – Google, Bing и Yahoo, имеющие собственные базы и алгоритмы поиска. Остальные поисковые системы (большинство) используют в том или ином виде результаты трех перечисленных. Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo.
По данным на ноябрь 2016 года, доли поисковых систем в мире распределены следующим образом (рисунок 7) [5]:
- Google — 69,24 %;
- Bing — 12,26 %;
- Yahoo! — 9,19 %;
- Baidu — 6,48 %;
- AOL — 1,11 %;
- Ask — 0,23 %;
- Excite — 0,00 %.

Рисунок 7. Доля поисковых систем в мире (на ноябрь 2016года)
Вот данные исследовательской компании NetMarketShare на декабрь 2016 года [8]. В таблице собраны самые популярные поисковики, и процент от общего числа запросов пользователей ПК, который они обрабатывают:
Рейтинг поисковых систем мира (декабрь 2016)
Поисковая система
Доля поисковых запросов
Источник: www.evkova.org
Как работает Яндекс. Разбор косточек текущего поискового алгоритма
Величайшие умы оптимизаторов ломают над этим голову годами, а Костик взял и раскидал алгоритм работы Яндекса для читателей Спарк.ру по полочкам за 15 минут.
Как работает Яндекс. Разбор косточек текущего поискового алгоритма

Поисковую систему Яндекс в нашей стране знают практически все люди, которые имеют хотя бы мобильный телефон. Не смотря на то, что google с помощью тех же самых мобильных телефонов смог обогнать Яндекс в битве за аудиторию (мы писали об этом совсем недавно). По другим же данным, доля поиска от Яндекса все еще довольно высока, поэтому его актуальность не теряет своих позиций.
Продвижение сайтов, а точнее не столько процесс, сколько результат, интересует многих бизнесменов. Они хотят знать как работают поисковые алгоритмы (в самых общих словах), потому что за работу по SEO они, собственно говоря, и платят. И чтобы лишний раз не рассказывать все азы и основы с самого начала новым клиентам, которые заказывают у нас продвижение сайтов, но хотят знать как это все будет работать, я решил написать эту статью.
Рассмотрим на конкретном примере. Встречайте! Многорукий бандит — текущий поисковый алгоритм, применяемый все еще лидирующей российской поисковой системой.
Что за бандитское название?

Ни к дворовой гопоте, ни благородным преступникам это название по сути своей отношения не имеет. Оно лишь условно обозначает принцип работы механизма ранжирования сайтов в поисковой выдаче.
Яндекс сам упомянул его в одной из записей в своем блоге. От этого и пошло. Бандит орудует на просторах рунета с лета 2015 года по неофициальным данным.
Именно летом седалищные мышцы некоторых оптимизаторов внезапно увеличили свою температуру, когда они увидели, что их проекты ушли из ТОПа выдачи даже по тем запросам, по которым находились там уже давно, не говоря уже про усилия, приложенные к новым результатам seo-оптимизации. Официальная информация о введении нового поискового алгоритма попала в интернет осенью 2015. К этому моменту выдача относительно устоялась, позиции большинства сайтов по своим запросам вернулись на место, однако с этого момента выдача больше никогда не будет прежней.
Общие основы работы поисковых алгоритмов

На данный момент самыми важными вопросами, которые ставит поисковая система перед собой в процессе ранжирования — «насколько хорош именно этот сайт в рамках данного поискового запроса?». Наиболее важную роль здесь играют 2 фактора — релевантность текста страницы запросу и поведенческие факторы.
Релевантность текста поисковому запросу при формировании выдачи поиска
Нужно начать с того, что при поступлении какого-либо запроса в поисковую выдачу, алгоритм обязательно обрабатывает внутреннее содержимое страницы. Тут важен вопрос релевантности текста, то есть соответствие текста страницы именно тому запросу, который хочет раскрыть пользователь. Причем речь идет не о тупом методе «если есть фраза «крутые парни», то обязательно нужно набить всю страницу через строчку этой фразой», отнюдь. За годы работы поисковик научился определять «смысл» текста. Только не на основе логических умозаключений, а путем многочисленных вычислений, сравнений, анализа и прочего.
Иными словами, поисковик улавливает суть текста страницы, перебирает множество технических и семантических данных, а потом делает вывод о том насколько конкретный сайт соответствует конкретному поисковому запросу.
Как он делает это так быстро?
Ответ прост. Выдача в общем виде формируется задолго до того, как вы введете интересующий вас запрос в строку поиска. Поисковые роботы постоянно индексируют сайты, вылавливают их суть, сравнивают друг с другом и расставляют приоритеты. А в тот момент, когда вы нажимаете кнопку «найти», подсовывает вам уже обработанную заготовку, в которую вносятся лишь коррективы по вашим персональным предпочтениям (их поиск тоже учитывает!).
Я скажу честно и откровенно, что никаких точных данных типа «тошность текста», частота использования ключевых фраз вплоть до сотых долей процентов и прочих блудных движений, мы в работе по раскрутке сайтов не используем. Вся работа делается на автоматизме, а акцент ставится на тематичности статьи и удобстве для чтения.
Поведенческие факторы, которые влияют на формирование поисковой выдачи

А знаете, что ссылочная масса — это поведенческий фактор?
Для тех, кто засмотрелся на картинку выше, я повторюсь:
Ссылочная масса — это поведенческий фактор
Почему? Да потому что в идеальных условиях она как раз таки и отображает качество конкретного сайта и конкретной страницы в глазах других пользователей. Если есть ссылка, значит ее кто-то поставил. Если ее кто-то поставил, значит она кому-то была нужна. Если она кому-то была нужна, и ее поставили, то это значит, что ей поделились с другими «ищущими», чтобы они смогли прочитать и получить полезную информацию.
Все эти движения со ссылочными биржами, арендой и закупкой ссылок оставим за кадром. Ссылки с социальных сетей тоже играют роль, ведь зачастую они являются сигналами для других пользователей, что именно «тут» есть что-то интересное.
Ссылочный профиль — не единственное, на что смотрит тот же самый Яндекс при ранжировании. Количество просмотренных страниц, аналогичный показатель за одну сессию одного человека, глубину просмотра, тематичность просматриваемых страниц, время на сайте, показатель отказов, источники заходов, поисковые фразы, с которых произошел заход и т.д.
Все эти моменты в той или иной степени оказывают влияние на работу поисковой системы, оказывая влияние на формирование поисковой выдачи. Оно и понятно — чем лучше сайт, тем больше его будут смотреть (во всех смыслах). Чем больше его смотрят люди, пришедшие с конкретного источника, тем интересней он для них. Уже слышите как заскрипели шестеренки поисковых машин?
Яндекс следит за вами
Откуда берет данные о поведенчсеких факторах Яндекс? Из той же Яндекс Метрики. Тут общение с вебмастерами построено по приниципу «я тебе, ты мне». Поиск дает хороший аналитический инструмент, но вы оказываетесь не единственным (да и далеко не самым важным) потребителем информации. А еще Яндекс Браузер, который так рекламировался везде и всюду. Кстати, у Google тоже самое.
Ваш любимый Chrome кропотливо записывает все-все посещения фоточек вашей первой любви в одноклассниках.
Есть еще многие конкретные параметры, которые используются при анализе и сравнении сайтов для формирования выдачи, но мы-то тут смотрим основы, ага? Азы я вам рассказал.
Бандитизм от все еще самого популярного российского поисковика

Многорукий бандит от Яндекса делает жизнь молодых сайтов чуть проще. Он теснит старые сайты по каким-либо запросам, впихивая туда новичков. Зачем ему это? Элементарно, он же хочет получить данные по поведенческим факторам тех или иных сайтов, а делается это самым простым способом — опыт реальных посетителей.
Робот Яндекса сканирует сайт, понимает, что вроде тут есть что-то интересное по тому или иному запросу, а поисковый алгоритм подкидывает этот запрос в ТОП-3 — ТОП-10 и анализирует данные. Если пользователям сайт понравился, показатели ПФ оказались высокими, то очень скоро придет время старожилам выдачи немного потесниться. Если же сайт уныл чуть менее, чем полностью, то он занимает свое законное место — в Ж**Е выдачи, старожилы идут обратно, а в бой рвутся очередные новички.
Яндекс дает шанс молодым сайтам
Логично и понятно, что данные о поведенческих факторах поисковая машина может получить только от реальных пользователей. Изменения выдачи происходят регулярно. Сайты ранжируются с изменениями почти каждый день, а ведь выигрывают от этого только пользователи.
И это здорово, ведь в противном случае выдача не менялась бы десятками лет. Ни пользователи, ни поисковые машины просто не знали бы о том, что появилось что-то такое, что может перекрыть своей полезностью всех представителей ТОПа по запросу. А ведь выдача полезных результатов — первичная цель поисковой машины.
Поэтому если ваш старый сайт потерял ключевую позицию, то не стоит расстраиваться, ведь он мог просто дать временное место для новичка. При выходе молодого сайта в ТОП по конкурентной тематике тоже радоваться не стоит, нужно выждать время, ведь именно ваш сайт мог собрать джек-пот и попробовать свои силы на территории «больших дядек». К слову, часто выдача меняется каждый день.
Источник: spark.ru
Как осуществляется поиск информации в интернете?
Поиск информации – это одна из самых востребованных на практике задач, которую приходится решать любому пользователю Интернета. При этом если поиск не приносит нужных результатов, то скорее всего вы неправильно ищете.
Существуют три основных способа поиска информации в Интернет:
- Указание адреса страницы.
- Передвижение по гиперссылкам.
- Обращение к поисковой системе (поисковому серверу).
Способ 1: Указание адреса страницы
Это самый быстрый способ поиска, но его можно использовать только в том случае, если точно известен адрес документа или сайта, где расположен документ. Не стоит забывать возможность поиска по открытой в окне браузера web-странице (Правка-Найти на этой странице…).
Способ 2: Передвижение по гиперссылкам
Это наименее удобный способ, так как с его помощью можно искать документы, только близкие по смыслу текущему документу.
Способ 3: Обращение к поисковой системе
Пользуясь гипертекстовыми ссылками, можно бесконечно долго путешествовать в информационном пространстве Сети, переходя от одной web-страницы к другой, но если учесть, что в мире созданы многие миллионы web-страниц, то найти на них нужную информацию таким способом вряд ли удастся. На помощь приходят специальные поисковые системы (их еще называют поисковыми машинами). Адреса поисковых серверов хорошо известны всем, кто работает в Интернете. В настоящее время в русскоязычной части Интернет популярны следующие поисковые системы: Яндекс (yandex.ru),Google (google.ru) и Rambler (rambler.ru
Что такое поисковая система?
Поисковая система — это веб-сайт, предоставляющий возможность поиска информации в Интернете.
Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на ftp-серверах, товары в интернет-магазинах, а также информацию в группах новостей Usenet.
По принципу действия поисковые системы делятся на два типа: поисковые каталоги и поисковые индексы.
Поисковые каталоги
Поисковые каталоги служат для тематического поиска. Информация на этих серверах структурирована по темам и подтемам. Имея намерение осветить какую-то узкую тему, нетрудно найти список web-страниц, ей посвященных. Каталог ресурсов в Интернете или каталог интернет-ресурсов или просто интернет-каталог — структурированный набор ссылок на сайты с кратким их описанием. Каталог, в котором ссылки на сайты внутри категорий сортируются по популярности сайтов называется рейтинг (или топ).
Поисковые индексы
Поисковые индексы работают как алфавитные указатели. Клиент задает слово или группу слов, характеризующих его область поиска, — и получает список ссылок на web-страницы, содержащие указанные термины.
Как работает поисковой индекс?
Поисковые индексы автоматически, при помощи специальных программ(веб-пауков), сканируют страницы Интернета и индексируют их, то есть заносят в свою огромную базу данных. Поисковый робот («веб-паук») — программа, являющаяся составной частью поисковой системы и предназначенная для обхода страниц Интернета с целью занесения информации о них (ключевые слова) в базу поисковика.
По своей сути паук больше всего напоминает обычный браузер. Он сканирует содержимое страницы, забрасывает его на сервер поисковой машины, которой принадлежит и отправляется по ссылкам на следующие страницы. В ответ на запрос, где найти нужную информацию, поисковый сервер возвращает список гиперссылок, ведущих web-страницам, на которых нужная информация имеется или упоминается. Обширность списка может быть любой, в зависимости от содержания запроса.
Самые популярные поисковые системы рунета
http://www.yandex.ru/ Яндекс — это российская система поиска в Сети. Сайт компании, Yandex.ru, был открыт 23 сентября 1997 года. Слово «Яндекс» (состоящее из буквы «Я» и части слова index; обыгран тот факт, что русское местоимение «Я» соответствует английскому «I») придумал Илья Сегалович, один из основателей Яндекса.
Поиск Яндекса позволяет искать по Рунету документы на русском, украинском, белорусском, румынском, английском, немецком и французском языках с учётом морфологии русского и английского языков и близости слов в предложении.
Отличительная особенность Яндекса — возможность точной настройки поискового запроса. Это реализовано за счёт гибкого языка запросов. По умолчанию Яндекс выводит по 10 ссылок на каждой странице выдачи результатов, в настройках результатов поиска можно увеличить размер страницы до 20, 30 или 50 найденных документов. Время от времени алгоритмы Яндекса, отвечающие за релевантность выдачи, меняются, что приводит к изменениям в результатах поисковых запросов. В частности, эти изменения направлены против поискового спама, приводящего к нерелевантным результатам по некоторым запросам.
http://www.google.ru/ Google – лидер поисковых машин Интернета, Google занимает более 70 % мирового рынка. Google может находить информацию на 115 языках. По одной из версий, Google — искажённое написание английского слова googol. «Googol (гугол)» – это математический термин, обозначающий единицу со 100 нулями.
Использование этого термина компанией Google отражает задачу организовать огромные объемы информации в Интернете. Интерфейс Google содержит довольно сложный язык запросов, позволяющий ограничить область поиска отдельными доменами, языками, типами файлов и т. д.
https://mail.ru/ Доля Mail.ru небольшая, но она постепенно растет. В первую очередь, за счет почты, Одноклассников и других сервисов от этого поисковика.
История Мейл.ру началась в 1998 году, когда группа программистов из Питера разработала почтовый сервис mail.ru и отправила в интернет для тестирования. В мае 2005 года была создана компания mail.ru Group. Она продвигает общую интегрированную площадку коммуникационных и развлекательных интернет-сервисов.
На сегодняшний день компания Мейл.ру владеет лидирующим почтовым сервисом, одним из самых посещаемых площадок в Рунете, популярными социальными сетями – ВКонтакте и Одноклассники, крупными играми Warface, Armored Warfare, Skyforge и Perfect World, сервисом maps.me – офлайн-картами и навигацией для мобильных гаджетов на базе OpenStreetMap, сервисом доставки еды Delivery Club, торговым местом китайской продукции Pandao.
Источник: psiheya-market.ru
