Поиск находит информацию практически моментально, но что в это время происходит внутри него? Как он понимает, какой ответ подойдет пользователю лучше всего? Руководитель Поиска Яндекса Максим Загребин рассказывает, как алгоритмы обрабатывают запросы и почему ссылка на сайт — не всегда лучший ответ.
Как устроен поиск?
Поиск в интернете состоит из двух частей:
- Поисковик обходит интернет, создавая его образ на своих серверах
- Выбрать из этих образов самую полезную информацию по запросу
Ежедневно Яндекс обрабатывает запросов больше, чем живет людей в России. Примерно половина из них никогда раньше не задавалась. Понятно, что отслеживать все эти показатели руками – невозможно. Невозможно написать для поисковой системы такую программу, в которой предусмотрен каждый запрос и для каждого запроса известен лучший ответ.
Сначала поиск выбирает из миллиардов ответов, потом из миллионов, и через какое-то количество этапов остаются те 10 сайтов на первой странице, которые лучше всего решают задачу пользователя. А для человека это все происходит моментально.
Как работает поисковая система Яндекс или Google (Урок № 1)
Люди не приходят в поиск, чтобы убить время, человек спрашивает что-то в Яндексе, когда у него есть какая-то конкретная задача. Например, найти какой-то фильм, который он помнит по описанию, но не помнит, как называется. Поэтому задача поиска – не просто найти и показать какую-то информацию, а помочь решить задачу пользователя. И страницу выдачи Яндекс формирует так, чтобы она лучше всего делала именно это – решала ту задачу, которую пользователь сформулировал в строке запроса.
При этом важно, чтобы поиск делал это быстро и удобно. Чтобы человеку не нужно было собирать всю информацию по крупицам с разных сайтов и не приходилось перепроверять ее, если сайт какой-то подозрительный. Например, если пользователь ищет ресторан или кафе, чтобы была сразу понятная шкала с проверенными отзывами: вот в этом ресторане чаще хвалят кухню, а здесь лучше интерьер и атмосфера.
Обычно пользователю нужно обойти несколько отзовиков или сайтов, чтобы собрать эту информацию самому. Почему бы не показать это сразу на странице выдачи?
Как понять, что поиск справился?
В Яндексе работают инженеры, поэтому во всем они ориентируются на цифры и показатели. В данном случае показатели бывают двух типов.
Например, на запрос и на ответ на него может посмотреть человек, или сразу много разных людей – они называются асессорами – и оценить, насколько этот результат полезен и помогает решить задачу. Понятно, чт не всегда человек может оценить это, это довольно субъективно. Поэтом важно также смотреть на то, как пользователи ведут себя на странице результатов.
Если человек на запрос [как научить собаку ходить на поводке] чаще выбирает сайт с курсами дрессировки, который находится ниже, чем страница с общей инструкцией, то поисковая машина поднимает сайт с курсами выше в выдаче, потому что понимает, что он лучше решает задачу по этому запросу. Это называется принципом или показателем профицита*.
Как работает Поиск?
Профицит – это метрика, которая определяет полезность объекта в поиске по кликам пользователя.
Раньше просто оценивались переходы, Яндекс считал, что если человек перешел на какой-то сайт и провел там продолжительное время, это значит, что он для него уже оказался полезным. Но понятно, что это не всегда так. Поэтому Яндекс начал смотреть на то, решил ли человек свою конечную задачу на этом сайте.
Например, если он искал кофеварку, положил ли он ее в корзину, после перехода на сайт, оплатил ли заказ. Чтобы поиск мог это понять, сайты сами передают эту информацию через Яндекс.Метрику. Теперь Яндекс может показывать выше в выдаче те результаты, которые лучше решают задачу уже на самом сайте.
Как поиск этому научился?
Поиск Яндекса использует машинное обучение. Именно потому, что невозможно каждый раз оценивать профицит того или иного сайта. Точно также, как инженеры поиска смотрят на все эти показатели – на оценки асессоров и на поведение пользователя на странице – алгоритм учится их оценивать и находить такие результаты, которые эти показатели улучшают.
Поисковая система должна уметь принимать решения самостоятельно и очень быстро, то есть выбирать из сотен миллиардов документов тот, который лучше всего отвечает пользователю. Алгоритмам машинного обучения демонстрируются примеры, огромное количество примеров, что вот тут человек решил свою задачу, а вот тут – нет. И дальше машинно-обученный алгоритм создает для себя такое правило и подбирает результаты.
Откуда берутся короткие ответы?
Иногда поиск понимает, что человеку нужно получить ответ на свой вопрос быстро, но емко. Например, если пользователь задает запрос [почему море соленое], он не хочет читать подробную статью о морской воде, а хочет получить ответ сразу. Тогда пользователь показывает ему быстрый ответ на вопрос. А если человек хочет найти обувную мастерскую, то гораздо лучше решит его задачу карта, на которой будут все обувные мастерские его района, а не просто куча ссылок для них.
Такие ответы появляются по тем запросам, где поиск точно видит, что они полезнее, чем набор ссылок – то есть их профицит намного выше.
А если человек хочет почитать подробнее про состав морской воды, или про конкретную обувную мастерскую, он переходит на сайт. На самом деле поиск уже уходит от того, чтобы искать просто сайты: технологии идут к тому, чтобы поиск стал универсальным и искал сразу по контенту.
Например, пользователь ищет фильм «Семнадцать мгновений весны», поиск должен понять смысл того, что тот ищет, и найти этот фильм на 5 онлайн-кинотеатрах. А дальше пользователь уже сам выберет, где именно этот фильм посмотреть.
Как работает поисковик Яндекс?
Интернет — просто охренеть какая ог ромная штука. И в нем есть все . Общение с друзьями? Вот, пожалуйста — Facebook. Фотоальбом — в Instagram. Купить дачу? У меня уже есть «Веселый фермер».
А энциклопедией давно пользовались? Зачем, ведь есть поисковики, которые знают все. И сегодня мне бы хотелось отдать должное этим чудо-сервисам. А точнее рассказать вам о том, как работает Яндекс поиск .
Помните Гермиону из саги о Гарри Поттере? Как вы думаете: почему она была такой сверхэрудированной всезнайкой? Правильно, потому что постоянно ходила где-то читала про всякие зелья, изучала разные заклинания, допытывалась до учителей по всем непонятным моментам. В общем, делала все, чтобы расширить свою базу знаний. Точно так же работает Яндекс поисковик.
Еще до того, как вы задали ему вопрос, он уже кое-что узнал про вашу тему и сохранил себе в копилочку.
Как формируется поисковая база Яндекса
Пауки всемирной паутины
Поисковик Яндекс знает несколько триллионов урлов. И каждый день он изучает по паре миллиардов из них . Делают это специальные роботы — пауки , краулеры . Они заходят на страницу , анализируют содержимое , делают копию и отправляют на сервер . А затем уходят по ссылкам на другие страницы. Так происходит знакомство поисковика с сайтом. Далее следует этап индексикации.
Индексикация
Определение индекса сайта — это процесс добавления всей важной информации о странице в базу поисковика . То есть определяется язык , формируются данные об отдельных словах и вытаскиваются все ссылки исходящие на другие страницы . Кроме того у Yandex есть специальный инструмент , который называется логи Яндекса . Он изучает, как пользователь ведет себя в выдаче: на что кликает, а на что не кликает . Опираясь на все полученные параметры и задается поисковый индекс сайта .
Составление поисковой базы
Поисковые индексы , полученные в ходе предыдущего этапа, отправляются в поисковую базу . У Яндекс поиска она функционирует на программной платформе мапредьюс YT. Здесь данные превращаются файлы и «остаются жить».
У поисковой базы данных есть еженедельное обновление — апдейт. Это тот момент, когда поисковый робот Яндекса, накачав определенное количество файлов и рассчитав для них все необходимые характеристики, принимает решение, что можно добавить эту информацию в поиск.
Согласно статистическим данным Игоря Ашманова — специалиста по поисковым системам в интернете, п олнота поисковой базы у Яндекса (красные на графике) в несколько раз выше , чем у их ближайшего конкурента Google (черные) .
Пока индекс — времязатратный и протекает комплексно сразу для большого количества данных . Поэтому у Яндекса есть специальный быстрый контур , который может добавлять и доносить до пользователя отдельные , срочные файлы . Ну , например , новости в реальном времени .
Как работает сам Яндекс поиск
Любой запрос в поисковой системе Яндекс проходит по следующей схеме.
Балансеры — это машины, которые агрегируют выдачу.
Построение выдачи формируется из результатов трех средних метапоисков . Поясню , что это значит . В выдаче вы видите результаты запроса по страницам , картинкам и видео . Происходит это потому, что ваш запрос проходит по трем разным индексам . И по ним он спускается в самую — самую глубь поисковой базы , разделенную на несколько тысяч кусков . Этот процесс обозначается, как поисковая кластеризация.
Работа поискового кластера состоит из функционирования более миллиона экземпляров различных программ . Они выполняют всяческого рода задачи , у них разные системные требования и всем им нужно где — то « жить ». Поэтому поисковая кластеризация занимает еще и огроменное количество компьютерного железного хостинга .
Вернемся к результатам выдачи .
В поисковую выдачу попадают наиболее релевантные , соответствующие поисковому запросу документы . Дальше происходит ранжирование — упорядочивание результатов поиска . Проходит оно с помощью специальной формулы . Чтобы порядок результатов каждый раз был качественным , актуальным и максимально релевантным разработчики Яндекса придумали одну очень крутую штуку .
Матрикснет — метод машинного обучения, с помощью которого строится формула ранжирования Яндекс . Он постоянно модернизирует эту схему: выстраивает комбинации , добавляет и убирает факторы , выставляет коэффициенты . Другая важная характеристика этого метода — возможность индивидуальной настройки формулы ранжирования для узкопрофильных категорий запросов . То есть для отдельных запросов, например, про кино или компьютерные игры, можно улучшить качество поиска. При этом ранжирование по остальным классам запросов не ухудшится.
Задача поисковика не просто находить иголки в сеновалах , но и определять самые острые из них . И самое удивительное то, как работает Яндекс поиск. Результат выдается за доли секунд. Десять первых наиболее релевантных запросов — как правило, это все, что нужно пользователю . Если в этих запросах мы не находим то, что искали, то мы пробуем или другой запрос, или меняем поисковик. Но рано или поздно: «Найдется все!»
Как работает поисковая машина «Яндекса»
Секретные опции Google и «Яндекса». Как профессионально искать информацию в Сети
Любой пользователь Сети наверняка считает себя профи по поиску в «Гугле» и «Яндексе». А что тут уметь? Вбил пару слов в поисковую строку, нажал Enter — и готово. Во всяком случае, многие привыкли думать, что работает это именно так. На деле же к искомым статьям часто приходится продираться сквозь десятки ссылок.
Но есть ряд секретных опций, которые позволяют работать с «Гуглом» и «Яндексом» эффективнее.
Лайфхаки эти называются уточняющими командами, или знаками-операторами. Они бывают документарными и бездокументарными. Многие из них в «Гугле» и «Яндексе» перекликаются. Но есть у каждой из систем и уникальные функции. Рассказываем о самых полезных и неочевидных.
Слова только нужной формы («Яндекс»)
По умолчанию «Яндексу» плевать на склонения, падежи и спряжения. Если запрос содержит глагол «делать», в выдаче наверняка появятся статьи и с другими формами слова: «делал», «сделал», «делает» и не только.
Но даже такую мощную машину можно заставить следовать указаниям человека. Главное, чтобы требование было сформулировано чётко. В конкретном случае перед искомым словом нужно добавить «!». Пример запроса: !делать.
Запросы только с нужными словами («Гугл»+»Яндекс»)
Если запрос состоит из двух, трёх и больше слов, в первых строках выдачи «Яндекс» любезно предложит ссылки на документы с каждым из них. Однако дальше он может начать выпендриваться и предлагать страницы, где есть либо одно, либо другое.
Проблему решить просто: перед каждым искомым словом нужно поставить «+». Пример запроса: +телефон +nfc +купить.
Поиск по соцсетям (Google)
Бывает, нужно найти что-либо именно в рамках экосистемы той или иной соцсети. Google в этом вопросе — лучший помощник.
Ищем статьи по конкретным запросам («Яндекс»+»Гугл»)
Другим минусом многословных запросов является то, что «Яндекс» и «Гугл» не всегда показывают результаты, в которых нужные три слова идут подряд, как просит пользователь. Цифровые ищейки зачастую предлагают документы, в которых одно слово — в одном предложении, другое — в другом, третье — в третьем. В общем, тасуют их как хотят.
Можно приструнить. Стоит только свой запрос из нескольких слов взять в английские кавычки («), и поисковики покажут, что от них требуются. Пример запроса: «я вчера купил смартфон».
Поиск по любым файлам («Яндекс»+»Гугл»)
«Гугл» и «Яндекс» поддерживают поиск файлов с заданным расширением. Настоящая палочка-выручалочка в случаях, когда, например, нужно найти инструкцию по эксплуатации к старому холодильнику, стиральной машине или любой другой бытовой технике.
В «Гугле» нужна команда filetype:. Вводить после слов запроса. Пример запроса: RSM 601 filetype:pdf. В данном случае RSM 601 — это модельный номер стиральной машины Hotpoint-Ariston. У «Яндекса» схема та же, только нужна команда mime:.
Учим поисковики игнорировать слова («Яндекс»+»Гугл»)
«Яндекс» и «Гугл» можно заставить игнорировать в выдаче конкретные слова. Например, если пользователь ищет любой iPhone, только не чёрный, поисковик всё равно будет предлагать и чёрный смартфон тоже. Даже если в запросе не окажется слова «чёрный».
Избавиться от такой навязчивости несложно. Просто прописываем в запросе слово, которое нужно проигнорировать, и добавляем перед ним знак «–». Пример запроса: купить iPhone –чёрный.
Ищем определения в два клика (Google)
Бывают случаи, когда нужно сразу найти определение незнакомого слова, а поисковики откидывают ссылку на словарь или энциклопедию подальше. Есть выход. C помощью специального заклинания можно заставить Google показывать документы сразу из авторитетных источников вроде «Википедии».
В данном случае пригодится команда define:. Вводим её, а следом без пробелов искомое слово. Пример запроса: define:мисофония.
Фильтруем статьи по заголовкам («Яндекс»)
Нередко «Яндекс» разбивает элементы сложного запроса по разным частям выдачи: одно слово идёт в заголовок, другие два — в тело статьи. Если же нужно сосредоточить внимание поисковика только на заголовках, пригодится команда title:.
Пример запроса: title:причёска Трампа.
Сортируем результаты выдачи по времени публикации (Google)
«Гугл», как и «Яндекс», умеет искать документы в рамках заданного промежутка времени. Однако только в американском поисковике можно обойтись без выставления дополнительных настроек.
Просто пишем нужные слова, затем команду date: и число от одного до двенадцати. Цифры, как несложно догадаться, обозначают месяц. Пример запроса: Huawei Лайф date:5. Так Google покажет все соответствующие запросу статьи за последние пять месяцев.
«Гугл» и «Яндекс» знают сайты лучше, чем их создатели («Гугл»+»Яндекс»)
Внутренние поисковики сайтов почти всегда работают хуже, чем «Яндекс» или «Гугл». Если эффективность внутренних цифровых ищеек не устраивает, впору воспользоваться мощностями технологических гигантов.
Для этого задаём команду site:, за ней пишем адрес сайта и через пробел нужное слово или словосочетание. В выдаче появятся ссылки только на страницы указанного сайта. Пример запроса: site:life.ru смартфоны Huawei.
Узнаём всё о любом фильме в два клика (Google)
Занятно, но у «Гугла» предусмотрена и специальная команда для поиска информации о фильмах. Не знаем, кому и для чего она потребовалась, но раз есть, давайте ею пользоваться.
Команда называется movie:. Вводим её, а затем без пробела название искомой картины. Пример запроса: movie:помпеи. Получаем исчерпывающую сводку об историческом фильме с Китом Харингтоном.
Источник: life.ru
Поисковая система Яндекс
Яндекс – одна из поисковых систем, которая разработана и создана в России. Поисковая система Яндекс пользуется огромным спросом не только в одной России, но и в других странах таких как Украина, Казахстан, Беларусь и даже Турция.
Поисковая система Яндекс — информационный обзор, немного истории
Яндекс по своей структуре и техническим свойствам – довольно удобная компактная поисковая система, которая не вызывает никаких затруднений в работе. Главным её достоинством является возможность применять разнообразные виды поиска. Иными словами, поиск может осуществляться через новости, заметки в блогах, картинки, иллюстрации, видео и в товарах.
Официальное создание Яндекса датируется 23 сентября 1997 года. За время существования, поисковая система Яндекс зарекомендовала себя с наилучшей стороны, показывая качественную надёжную работу. С каждым годом система постоянно развивалась и совершенствовалась, пополнялась разнообразными современными методами и процессами, которые улучшали её основные показатели в работе. К примеру, в 2011 г. разработчики успешно установили такой механизм работы, как «матрикснет». На базе данного механизма улучшилась поисковая система, а при поиске информации стало учитываться гораздо больше показателей.
Так же, довольно недавно были добавлены некоторые новинки:
1. исправление ошибок в автоматическом режиме при загрузке информации;
2. расшифровка, поиск информации по аббревиатуре;
3. обработка транслита;
4. использование географической зависимости запроса, то есть соответствие сайта, блога, определённому городу, району, области;
5. применение на практике такой программы, как «Сектр», благодаря которой значительно расширяются кругозоры поиска. Особенно актуально, если поиск информации не был точно указан;
6. использование процессов, которые ведут борьбу с разнообразными рода ссылками, накрутками, недостаточно профессиональным контентом;
7. создаются программы и механизмы, работа которых направлена на пользовательские потребности, согласно коммерческим целям.
Компания Яндекс, наверное, одна из самых первых перешла на самоокупаемость, что стало возможным лишь с использованием контекстной рекламы. Но разработчики данной системы не останавливаются на достигнутом уровне и обещают, что Яндекс будет постоянно совершенствоваться и развиваться, тем самым завоёвывая новые просторы.
Источник: procomputer.su