Уже давно стали неотъемлемой частью российского Интернета. Поисковые системы сейчас – это огромные и сложные механизмы, представляющие собой не только инструмент поиска информации, но и заманчивые сферы для бизнеса.

Большинство пользователей поисковых систем никогда не задумывались (либо задумывались, но не нашли ответа) о принципе работы поисковых систем, о схеме обрабатки запросов пользователей, о том, из чего эти системы состоят и как функционируют…

Данный мастер-класс призван дать ответ на вопрос о том, как работают поисковые системы. Однако, Вы не найдете здесь факторов, влияющих на ранжирование документов. И тем более не стоит рассчитывать на подробное объяснение алгоритма работы Яндекса. Его, по словам Ильи Сегаловича, - директора по технологиям и разработке поисковой машины «Яндекс», можно узнать, лишь «под пыткой» самого Ильи Сегаловича…

2. Понятие и функции поисковой системы

Поисковая система - это программно-аппаратный комплекс, предназначенный для осуществления поиска в сети Интернет и реагирующий на запрос пользователя, задаваемый в виде текстовой фразы (поискового запроса), выдачей списка ссылок на источники информации, в порядке релевантности (в соответствии запросу). Наиболее крупные международные поисковые системы: «Google» , «Yahoo» , «MSN» . В русском Интернете это – «Яндекс» , «Рамблер» , «Апорт» .

Рассмотрим подробнее понятие поискового запроса на примере поисковой системы «Яндекс». Поисковый запрос должен быть сформулирован пользователем в соответствии с тем, что он хочет найти, максимально кратко и просто. Допустим, мы хотим найти информацию в «Яндексе» о том, как выбрать автомобиль. Для этого, открываем главную страницу «Яндекса», и вводим текст поискового запроса «как выбрать автомобиль». Далее, наша задача сводится к тому, чтобы открыть предоставленные по нашему запросу ссылки на источники информации в Интернет. Однако, вполне можно и не найти нужную нам информацию. Если таковое произошло, то либо нужно перефразировать свой запрос, либо в базе поисковой системе действительно нет никакой актуальной информации по нашему запросу (такое может быть при задании очень «узких» запросов, как, например «как выбрать автомобиль в Архангельске»)

Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут. А научить пользователей делать «правильные» запросы к системе, т.е. запросы, соответствующие принципам работы поисковых систем, невозможно. Поэтому разработчики создают такие алгоритмы и принципы работы поисковых систем, которые бы позволяли находить пользователям искомую ими информацию.

Это означает, поисковая система должна «думать» так же, как думает пользователь при поиске информации. Когда пользователь обращается с запросом к поисковой машине, он хочет найти то, что ему нужно, максимально быстро и просто. Получая результат, он оценивает работу системы, руководствуясь несколькими основными параметрами. Нашел ли он то, что искал? Если не нашел, то сколько раз ему пришлось перефразировать запрос, чтобы найти искомое? Насколько актуальную информацию он смог найти? Насколько быстро обрабатывала запрос поисковая машина? Насколько удобно были представлены результаты поиска? Был ли искомый результат первым или же сотым? Как много ненужного мусора было найдено наравне с полезной информацией? Найдется ли нужная информация, при обращении к поисковой системе, скажем, через неделю, или через месяц?

Для того, чтобы удовлетворить ответами все эти вопросы, разработчики поисковых машин постоянно совершенствуют алгоритмы и принципы поиска, добавляют новые функции и возможности, всячески пытаются ускорить работу системы.

3. Основные характеристики поисковой системы

Опишем основные характеристики поисковых систем:

• Полнота

  Полнота - одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.

• Точность

  Точность - еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.

• Актуальность

  Актуальность - не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.

• Скорость поиска

  Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.

• Наглядность

4. Краткая история развития поисковых систем

В начальный период развития Интернет, число его пользователей было невелико, а объем доступной информации сравнительно небольшим. В большинстве своем, доступ к сети Интернет имели лишь сотрудники научно-исследовательской сферы. В это время задача поиска информации в Интернете не была столь актуальной, как в настоящее время.

Одним из первых способов организации доступа к информационным ресурсам сети стало создание открытых каталогов сайтов, ссылки на ресурсы в которых группировались согласно тематике. Первым таким проектом стал сайт Yahoo.com, открывшийся весной 1994 года. После того, как количество сайтов в каталоге значительно увеличилось, была добавлена возможность поиска нужной информации по каталогу. В полном смысле это еще не было поисковой системой, так как поисковая область была ограничена только ресурсами, присутствующими в каталоге, а не всеми Интернет ресурсами.

Каталоги ссылок широко использовались ранее, однако практически полностью утратили свою популярность в настоящее время. Так как даже современные, огромные по своему объему каталоги, содержат информацию лишь о ничтожно малой части сети Интернет. Самый большой каталог сети DMOZ (его еще называют Open Directory Project) содержит информацию о 5 миллионах ресурсов, тогда как база поисковой системы Google состоит из более чем 8 миллиардов документов.

В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в сети Интернет.

В 1997 году Сергей Брин и Ларри Пейдж создали поисковую машину Google в рамках исследовательского проекта в Стэндфордском университете. В настоящий момент Google - самая популярная поисковая система в мире!

В сентябре 1997 года была официально анонсирована поисковая система Yandex, являющаяся самой популярной в русскоязычном Интернете.

В настоящее время существуют три основные поисковые системы (международные) – Google, Yahoo и , имеющие собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих насчитывается большое количество) использует в том или ином виде результаты трех перечисленных. Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo.

5. Состав и принципы работы поисковой системы

В России основной поисковой системой является «Яндекс», далее - Rambler.ru, Google.ru, Aport.ru, Mail.ru. Причем, на данный момент, Mail.ru использует механизм и базу поиска «Яндекса».

Практически все крупные поисковые системы имеют свою собственную структуру, отличную от других. Однако можно выделить общие для всех поисковых машин основные компоненты. Различия в структуре могут быть лишь в виде реализации механизмов взаимодействия этих компонентов.

Модуль индексирования

Модуль индексирования состоит из трех вспомогательных программ (роботов):

Spider (паук) – программа, предназначенная для скачивания веб-страниц. «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html-код каждой страницы. Для скачивания страниц роботы используют протоколы HTTP. Работает «паук» следующим образом. Робот на сервер передает запрос “get/path/document” и некоторые другие команды HTTP-запроса. В ответ робот получает текстовый поток, содержащий служебную информацию и непосредственно сам документ.

• URL страницы
• дата, когда страница была скачана
• http-заголовок ответа сервера
• тело страницы (html-код)

Crawler («путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице. Выделяет все ссылки, присутствующие на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Crawler, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.

Indexer (робот- индексатор) - программа, которая анализирует веб-страницы, скаченные пауками. Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д.

Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.

База данных

База данных, или индекс поисковой системы - это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов.

Поисковый сервер

Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска.

Поисковый сервер работает следующим образом:

• Полученный от пользователя запрос подвергается морфологическому анализу. Генерируется информационное окружение каждого документа, содержащегося в базе (которое и будет впоследствии отображено в виде , то есть соответствующей запросу текстовой информации на странице выдачи результатов поиска).
• Полученные данные передаются в качестве входных параметров специальному модулю ранжирования. Происходит обработка данных по всем документам, в результате чего, для каждого документа рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.
• В зависимости от выбора пользователя этот рейтинг может быть скорректирован дополнительными условиями (например, так называемый «расширенный поиск»).
• Далее генерируется сниппет, то есть, для каждого найденного документа из таблицы документов извлекаются заголовок, краткая аннотация, наиболее соответствующая запросу и ссылка на сам документ, причем найденные слова подсвечиваются.
• Полученные результаты поиска передаются пользователю в виде SERP (Search Engine Result Page) – страницы выдачи поисковых результатов.

Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов.

6. Заключение

Теперь подытожим все вышесказанное.

• Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут.
• Основные характеристики поисковых систем:
  1. Полнота
  2. Точность
  3. Актуальность
  4. Скорость поиска
  5. Наглядность
• Первой полноценной поисковой системой стал проект WebCrawler, вышедший в свет в 1994 году.
• В состав поисковой системы входят компоненты:
  1. Модуль индексирования
  2. База данных
  3. Поисковый сервер

Надеемся, наш мастер-класс позволит Вам поближе ознакомиться с понятием ПС, лучше узнать основные функции, характеристики и принцип работы поисковых систем.

Доброго всем времени суток, мои дорогие друзья и читатели моего блога. Сегодня я вам хочу рассказать про самые известные поисковые системы в интернете на русском языке. Ресурсы сети Интернет используются для каждодневной работы и отдыха огромного количества людей.

А для того, чтобы получить то, что нужно или интересно используются поисковые системы, которые представляют собой аппаратно-программный комплекс для быстрого поиска необходимой пользователю информации, хранящейся на серверах (специальных компьютерах) Интернета.

Частота использования поисковой системы определяется, во-первых, тем насколько актуальные данные она предоставляет, а во-вторых, как быстро она это делает. Основными критериями для выбора являются:

• полнота и точность найденных результатов;
• актуальность данных;
• скорость нахождения;
• наглядность интерфейса.

В России наиболее востребованы такие поисковики, как Yandex, Mail, Rambler и некоторые другие. Но я хотел бы вам предоставить более подробный список этих систем, чтобы вы имели более полное представление обо всем этом.

Yandex.ru – наиболее популярна в пределах русскоязычного Интернета. Поисковые запросы можно писать как на английском, так и на русском языке. Девиз сайта Яндекс «Найдется все!» и действительно, им обеспечивается качественное и быстрое предоставление информации.

Лично я этим поисковиком пользуюсь же более 10 лет по умолчанию и мне он безумно нравится. А для любого веб-мастера он имеет просто огромное значение, так как любой из них в лепешку расшибается ради того, чтобы его сайт находили именно в этой системе.

Он обладает огромной индексной базой, а значит, может найти практически все. Вывод найденной информации отличается рациональностью. Яндекс непрерывно развивается. Он предлагает все больше востребованных сервисов, например, новости, карты, прогноз погоды, электронная почта, Яндекс. деньги. Кстати я тут писал , так что если вас это интересует, то обязательно почитайте.

На сегодняшний момент доля использования яндекса в России составляет около 56 процентов . То есть большая часть населения страны предпочитает использовать именно этот обозреватель.

Google

А вот и главный конкурент вышеупомянутого Яши. Да, система эта конечно не русская, но зато один из ее основателей — это наш соотечественник Сергей Брин. Правда его увезли в штаты еще будучи ребенком, поэтому врядли его можно назвать русским. Если вам интересно, то вы можете почитать , которые я для вас собрал.

Как бы то ни было, гугл является самой популярной системой в мире и пока еще второй по популярности в России.

На сегодняшний 38 процентов всех поисковых запросов России проходит именно через гугл

Поиск Mail.ru

У русскоязычных пользователей сети очень популярна почта mail.ru. Но не очень многие используют одноименный поисковик. Сам по себе он обычный и ничем не примечательный, поэтому против таких конкурентов, как вышеупомянутые яндекс и гугл, ему пока не выстоять. Хотя я сомневаюсь, что он будет пытаться покорять вершины поисковых систем. Ему вполне достаточно, что у него самая популярная почта России. Но всё же свои 5 процентов от общего числа запросов он имеет.

Кроме того сайт содержит огромное количество приложений, интересных игр, а также имеет собственную социальную сеть. Разработаны приложения позволяющие производить поиск по голосу.

Rambler.ru

Rambler – это один из наиболее ранних вариантов и раньше это была одна из самых популярных поисковых систем на русском языке, наравне с яндексом. И первые пару лет я активно использовал его в качестве поисковой системы по умолчанию, пока не перешел на Яндекс. Сейчас он используется не очень активно (я бы даже сказал совсем не активно), хотя он обладает неплохим качеством и отличной скоростью.

Он является также популярным медийным порталом Рунета, на котором можно использовать почту, узнать последние новости о самых разных сферах жизни. Кстати именно какмедийно-новостной портал он зарекомендовал себя вполне неплохо и я знаю многих людей, которые специально идут именно на рамблер, чтобы почитать последние новости.

Несмотря на свою былую популярность, рамблеру сегодня принадлежит меньше 0,5 процентов от общего количества запросов в интернете.

WebAlta.ru

WebAlta — один из новых российских поисковиков. Он неплохо развивается и уже отражает более 1 миллиарда документов, что является хорошим результатом. Он легко настраивается в соответствии с предпочтениями пользователей. Настройка визуализирована, и смена запроса сразу же отражается на результатах.

Но как же он меня раздражал пару лет назад, когда после установки какого-либо приложения вебальта вставала в качестве домашней страницы и поисковика по умолчанию. Я вообще думал, что это вирус какой-то. Поэтому еще раз скажу: « ».

Ну а насчет доли поискового трафика даже и говорить не буду, так как он ничтожно мал.

Nigma.ru

Nigma – это современная российская интеллектуальная метапоисковая система. Она использует современный кластерный подход, что улучшает качество и полноту процесса. Сайт включает математическую и химическую подсистемы для решения самых разных задач и стандартные пользовательские сервисы.

Но пока это наверное наименее популярный сервис из всех представленных выше. Хотя можете попробовать его в деле. Быть может вам всё понравится). Ну и насколько вы поняли, трафик тут также настолько низкий, что его можно даже не включать.

Скажите пожалуйста, какими поисковыми системами вы пользуетесь? Я спрашиваю не просто так. Дело в том, что недавно я узнал, что один мой знакомый пользуется рамблером. И если честно, то я был удивлен, что кто-то из моих знакомых пользуется не яндексом или гуглом. Я просто еще с середины нулевых подсел на яндекс и именно он является моим любимым поисковиком.

Ну вот теперь в принципе я думаю, что вы в принципе знаете все основные поисковые системы на русском языке, и сделаете выводы, какая из них вам интереснее. Но правда с двумя гигантами остальным будет сложно конкурировать

Ну а на этом я пожалуй свою сегодняшнюю статью закончу. Надеюсь, что она вам пришлась по вкусу. Если это так, то обязательно заходите ко мне снова. Удачи вам. Пока!

С уважением Дмитрий Костин.

Что это

DuckDuckGo - это довольно известная поисковая система с открытым исходным кодом. Серверы находятся в США. Кроме собственного робота, поисковик использует результаты других источников: Yahoo, Bing, «Википедии».

Чем лучше

DuckDuckGo позиционирует себя как поиск, обеспечивающий максимальную приватность и конфиденциальность. Система не собирает никаких данных о пользователе, не хранит логи (нет истории поиска), использование файлов cookie максимально ограничено.

DuckDuckGo не собирает личную информацию пользователей и не делится ею. Это наша политика конфиденциальности.

Гэбриел Вайнберг (Gabriel Weinberg), основатель DuckDuckGo

Зачем это вам

Все крупные поисковые системы стараются персонализировать поисковую выдачу на основе данных о человеке перед монитором. Этот феномен получил название «пузырь фильтров»: пользователь видит только те результаты, которые согласуются с его предпочтениями или которые система сочтёт таковыми.

Формирует объективную картину, не зависящую от вашего прошлого поведения в Сети, и избавляет от тематической рекламы Google и «Яндекса», основанной на ваших запросах. При помощи DuckDuckGo легко искать информацию на иностранных языках, тогда как Google и «Яндекс» по умолчанию отдают предпочтение русскоязычным сайтам, даже если запрос введён на другом языке.

Что это

not Evil - система, осуществляющая поиск по анонимной сети Tor. Для использования нужно зайти в эту сеть, например запустив специализированный .

not Evil не единственный поисковик в своём роде. Есть LOOK (поиск по умолчанию в Tor-браузере, доступен из обычного интернета) или TORCH (один из самых старых поисковиков в Tor-сети) и другие. Мы остановились на not Evil из-за недвусмысленного намёка на Google (достаточно посмотреть на стартовую страницу).

Чем лучше

Ищет там, куда Google, «Яндексу» и другим поисковикам вход закрыт в принципе.

Зачем это вам

В сети Tor много ресурсов, которые невозможно встретить в законопослушном интернете. И их число будет расти по мере того, как ужесточается контроль властей над содержанием Сети. Tor - это своеобразная сеть внутри Сети со своими социалками, торрент-трекерами, СМИ, торговыми площадками, блогами, библиотеками и так далее.

3. YaCy

Что это

YaCy - децентрализованная поисковая система, работающая по принципу сетей P2P. Каждый компьютер, на котором установлен основной программный модуль, сканирует интернет самостоятельно, то есть является аналогом поискового робота. Полученные результаты собираются в общую базу, которую используют все участники YaCy.

Чем лучше

Здесь сложно говорить, лучше это или хуже, так как YaCy - это совершенно иной подход к организации поиска. Отсутствие единого сервера и компании-владельца делает результаты полностью независимыми от чьих-то предпочтений. Автономность каждого узла исключает цензуру. YaCy способен вести поиск в глубоком вебе и неиндексируемых сетях общего пользования.

Зачем это вам

Если вы сторонник открытого ПО и свободного интернета, не подверженного влиянию государственных органов и крупных корпораций, то YaCy - это ваш выбор. Также с его помощью можно организовать поиск внутри корпоративной или другой автономной сети. И пусть пока в быту YaCy не слишком полезен, он является достойной альтернативой Google с точки зрения процесса поиска.

4. Pipl

Что это

Pipl - система, предназначенная для поиска информации о конкретном человеке.

Чем лучше

Авторы Pipl утверждают, что их специализированные алгоритмы ищут эффективнее, чем «обычные» поисковики. В частности, приоритетными являются профили социальных сетей, комментарии, списки участников и различные базы данных, где публикуются сведения о людях, например базы судебных решений. Лидерство Pipl в этой области подтверждено оценками Lifehacker.com, TechCrunch и других изданий.

Зачем это вам

Если вам нужно найти информацию о человеке, проживающем в США, то Pipl будет намного эффективнее Google. Базы данных российских судов, видимо, недоступны для поисковика. Поэтому с гражданами России он справляется не так хорошо.

Что это

FindSounds - ещё один специализированный поисковик. Ищет в открытых источниках различные звуки: дом, природа, машины, люди и так далее. Сервис не поддерживает запросы на русском языке, но есть внушительный список русскоязычных тегов, по которым можно выполнять поиск.

Чем лучше

В выдаче только звуки и ничего лишнего. В настройках можно выставить желаемый формат и качество звучания. Все найденные звуки доступны для скачивания. Имеется поиск по образцу.

Зачем это вам

Если вам нужно быстро найти звук мушкетного выстрела, удары дятла-сосуна или крик Гомера Симпсона, то этот сервис для вас. И это мы выбрали только из доступных русскоязычных запросов. На английском языке спектр ещё шире.

Если серьёзно, специализированный сервис предполагает специализированную аудиторию. Но вдруг и вам пригодится?

Что это

Wolfram|Alpha - вычислительно-поисковая система. Вместо ссылок на статьи, содержащие ключевые слова, она выдаёт готовый ответ на запрос пользователя. Например, если ввести в форму поиска «сравнить население Нью-Йорка и Сан-Франциско» на английском, то Wolfram|Alpha сразу выведет на экран таблицы и графики со сравнением.

Чем лучше

Этот сервис лучше других подходит для поиска фактов и вычисления данных. Wolfram|Alpha накапливает и систематизирует доступные в Сети знания из различных областей, включая науку, культуру и развлечения. Если в этой базе находится готовый ответ на поисковый запрос, система показывает его, если нет - вычисляет и выводит результат. При этом пользователь видит только и ничего лишнего.

Зачем это вам

Если вы, например, студент, аналитик, журналист или научный сотрудник, то можете использовать Wolfram|Alpha для поиска и вычисления данных, связанных с вашей деятельностью. Сервис понимает не все запросы, но постоянно развивается и становится умнее.

Что это

Метапоисковик Dogpile выводит комбинированный список результатов из поисковых выдач Google, Yahoo и других популярных систем.

Чем лучше

Во-первых, Dogpile отображает меньше рекламы. Во-вторых, сервис использует особый алгоритм, чтобы находить и показывать лучшие результаты из разных поисковиков. Как утверждают разработчики Dogpile, их системы формирует самую полную выдачу во всём интернете.

Зачем это вам

Если вы не можете найти информацию в Google или другом стандартном поисковике, поищите её сразу в нескольких поисковиках с помощью Dogpile.

Что это

BoardReader - система для текстового поиска по форумам, сервисам вопросов и ответов и другим сообществам.

Чем лучше

Сервис позволяет сузить поле поиска до социальных площадок. Благодаря специальным фильтрам вы можете быстро находить посты и комментарии, которые соответствуют вашим критериям: языку, дате публикации и названию сайта.

Зачем это вам

BoardReader может пригодиться пиарщикам и другим специалистам в области медиа, которых интересует мнение массовой по тем или иным вопросам.

В заключение

Жизнь альтернативных поисковиков часто бывает скоротечной. О долгосрочных перспективах подобных проектов Лайфхакер спросил бывшего генерального директора украинского филиала компании «Яндекс» Сергея Петренко .

Сергей Петренко

Бывший генеральный директор «Яндекс.Украины».

Что касается судьбы альтернативных поисковиков, то она проста: быть очень нишевыми проектами с небольшой аудиторией, следовательно без ясных коммерческих перспектив или, наоборот, с полной ясностью их отсутствия.

Если посмотреть на примеры в статье, то видно, что такие поисковики либо специализируются в узкой, но востребованной нише, которая, возможно только пока, не выросла настолько, чтобы оказаться заметной на радарах Google или «Яндекса», либо тестируют оригинальную гипотезу в ранжировании, которая пока не применима в обычном поиске.

Например, если поиск по Tor вдруг окажется востребованным, то есть результаты оттуда понадобятся хотя бы проценту аудитории Google, то, конечно, обычные поисковики начнут решать проблему, как их найти и показать пользователю. Если поведение аудитории покажет, что заметной доле пользователей в заметном количестве запросов более релевантными кажутся результаты, данные без учёта факторов, зависящих от пользователя, то «Яндекс» или Google начнут давать такие результаты.

«Быть лучше» в контексте этой статьи не означает «быть лучше во всём». Да, во многих аспектах нашим героям далеко до и «Яндекса» (даже до Bing далековато). Но зато каждый из этих сервисов даёт пользователю нечто такое, чего не могут предложить гиганты поисковой индустрии. Наверняка вы тоже знаете подобные проекты. Поделитесь с нами - обсудим.

Что это

DuckDuckGo - это довольно известная поисковая система с открытым исходным кодом. Серверы находятся в США. Кроме собственного робота, поисковик использует результаты других источников: Yahoo, Bing, «Википедии».

Чем лучше

DuckDuckGo позиционирует себя как поиск, обеспечивающий максимальную приватность и конфиденциальность. Система не собирает никаких данных о пользователе, не хранит логи (нет истории поиска), использование файлов cookie максимально ограничено.

DuckDuckGo не собирает личную информацию пользователей и не делится ею. Это наша политика конфиденциальности.

Гэбриел Вайнберг (Gabriel Weinberg), основатель DuckDuckGo

Зачем это вам

Все крупные поисковые системы стараются персонализировать поисковую выдачу на основе данных о человеке перед монитором. Этот феномен получил название «пузырь фильтров»: пользователь видит только те результаты, которые согласуются с его предпочтениями или которые система сочтёт таковыми.

Формирует объективную картину, не зависящую от вашего прошлого поведения в Сети, и избавляет от тематической рекламы Google и «Яндекса», основанной на ваших запросах. При помощи DuckDuckGo легко искать информацию на иностранных языках, тогда как Google и «Яндекс» по умолчанию отдают предпочтение русскоязычным сайтам, даже если запрос введён на другом языке.

Что это

not Evil - система, осуществляющая поиск по анонимной сети Tor. Для использования нужно зайти в эту сеть, например запустив специализированный .

not Evil не единственный поисковик в своём роде. Есть LOOK (поиск по умолчанию в Tor-браузере, доступен из обычного интернета) или TORCH (один из самых старых поисковиков в Tor-сети) и другие. Мы остановились на not Evil из-за недвусмысленного намёка на Google (достаточно посмотреть на стартовую страницу).

Чем лучше

Ищет там, куда Google, «Яндексу» и другим поисковикам вход закрыт в принципе.

Зачем это вам

В сети Tor много ресурсов, которые невозможно встретить в законопослушном интернете. И их число будет расти по мере того, как ужесточается контроль властей над содержанием Сети. Tor - это своеобразная сеть внутри Сети со своими социалками, торрент-трекерами, СМИ, торговыми площадками, блогами, библиотеками и так далее.

3. YaCy

Что это

YaCy - децентрализованная поисковая система, работающая по принципу сетей P2P. Каждый компьютер, на котором установлен основной программный модуль, сканирует интернет самостоятельно, то есть является аналогом поискового робота. Полученные результаты собираются в общую базу, которую используют все участники YaCy.

Чем лучше

Здесь сложно говорить, лучше это или хуже, так как YaCy - это совершенно иной подход к организации поиска. Отсутствие единого сервера и компании-владельца делает результаты полностью независимыми от чьих-то предпочтений. Автономность каждого узла исключает цензуру. YaCy способен вести поиск в глубоком вебе и неиндексируемых сетях общего пользования.

Зачем это вам

Если вы сторонник открытого ПО и свободного интернета, не подверженного влиянию государственных органов и крупных корпораций, то YaCy - это ваш выбор. Также с его помощью можно организовать поиск внутри корпоративной или другой автономной сети. И пусть пока в быту YaCy не слишком полезен, он является достойной альтернативой Google с точки зрения процесса поиска.

4. Pipl

Что это

Pipl - система, предназначенная для поиска информации о конкретном человеке.

Чем лучше

Авторы Pipl утверждают, что их специализированные алгоритмы ищут эффективнее, чем «обычные» поисковики. В частности, приоритетными являются профили социальных сетей, комментарии, списки участников и различные базы данных, где публикуются сведения о людях, например базы судебных решений. Лидерство Pipl в этой области подтверждено оценками Lifehacker.com, TechCrunch и других изданий.

Зачем это вам

Если вам нужно найти информацию о человеке, проживающем в США, то Pipl будет намного эффективнее Google. Базы данных российских судов, видимо, недоступны для поисковика. Поэтому с гражданами России он справляется не так хорошо.

Что это

FindSounds - ещё один специализированный поисковик. Ищет в открытых источниках различные звуки: дом, природа, машины, люди и так далее. Сервис не поддерживает запросы на русском языке, но есть внушительный список русскоязычных тегов, по которым можно выполнять поиск.

Чем лучше

В выдаче только звуки и ничего лишнего. В настройках можно выставить желаемый формат и качество звучания. Все найденные звуки доступны для скачивания. Имеется поиск по образцу.

Зачем это вам

Если вам нужно быстро найти звук мушкетного выстрела, удары дятла-сосуна или крик Гомера Симпсона, то этот сервис для вас. И это мы выбрали только из доступных русскоязычных запросов. На английском языке спектр ещё шире.

Если серьёзно, специализированный сервис предполагает специализированную аудиторию. Но вдруг и вам пригодится?

Что это

Wolfram|Alpha - вычислительно-поисковая система. Вместо ссылок на статьи, содержащие ключевые слова, она выдаёт готовый ответ на запрос пользователя. Например, если ввести в форму поиска «сравнить население Нью-Йорка и Сан-Франциско» на английском, то Wolfram|Alpha сразу выведет на экран таблицы и графики со сравнением.

Чем лучше

Этот сервис лучше других подходит для поиска фактов и вычисления данных. Wolfram|Alpha накапливает и систематизирует доступные в Сети знания из различных областей, включая науку, культуру и развлечения. Если в этой базе находится готовый ответ на поисковый запрос, система показывает его, если нет - вычисляет и выводит результат. При этом пользователь видит только и ничего лишнего.

Зачем это вам

Если вы, например, студент, аналитик, журналист или научный сотрудник, то можете использовать Wolfram|Alpha для поиска и вычисления данных, связанных с вашей деятельностью. Сервис понимает не все запросы, но постоянно развивается и становится умнее.

Что это

Метапоисковик Dogpile выводит комбинированный список результатов из поисковых выдач Google, Yahoo и других популярных систем.

Чем лучше

Во-первых, Dogpile отображает меньше рекламы. Во-вторых, сервис использует особый алгоритм, чтобы находить и показывать лучшие результаты из разных поисковиков. Как утверждают разработчики Dogpile, их системы формирует самую полную выдачу во всём интернете.

Зачем это вам

Если вы не можете найти информацию в Google или другом стандартном поисковике, поищите её сразу в нескольких поисковиках с помощью Dogpile.

Что это

BoardReader - система для текстового поиска по форумам, сервисам вопросов и ответов и другим сообществам.

Чем лучше

Сервис позволяет сузить поле поиска до социальных площадок. Благодаря специальным фильтрам вы можете быстро находить посты и комментарии, которые соответствуют вашим критериям: языку, дате публикации и названию сайта.

Зачем это вам

BoardReader может пригодиться пиарщикам и другим специалистам в области медиа, которых интересует мнение массовой по тем или иным вопросам.

В заключение

Жизнь альтернативных поисковиков часто бывает скоротечной. О долгосрочных перспективах подобных проектов Лайфхакер спросил бывшего генерального директора украинского филиала компании «Яндекс» Сергея Петренко .

Сергей Петренко

Бывший генеральный директор «Яндекс.Украины».

Что касается судьбы альтернативных поисковиков, то она проста: быть очень нишевыми проектами с небольшой аудиторией, следовательно без ясных коммерческих перспектив или, наоборот, с полной ясностью их отсутствия.

Если посмотреть на примеры в статье, то видно, что такие поисковики либо специализируются в узкой, но востребованной нише, которая, возможно только пока, не выросла настолько, чтобы оказаться заметной на радарах Google или «Яндекса», либо тестируют оригинальную гипотезу в ранжировании, которая пока не применима в обычном поиске.

Например, если поиск по Tor вдруг окажется востребованным, то есть результаты оттуда понадобятся хотя бы проценту аудитории Google, то, конечно, обычные поисковики начнут решать проблему, как их найти и показать пользователю. Если поведение аудитории покажет, что заметной доле пользователей в заметном количестве запросов более релевантными кажутся результаты, данные без учёта факторов, зависящих от пользователя, то «Яндекс» или Google начнут давать такие результаты.

«Быть лучше» в контексте этой статьи не означает «быть лучше во всём». Да, во многих аспектах нашим героям далеко до и «Яндекса» (даже до Bing далековато). Но зато каждый из этих сервисов даёт пользователю нечто такое, чего не могут предложить гиганты поисковой индустрии. Наверняка вы тоже знаете подобные проекты. Поделитесь с нами - обсудим.

17.12.2017 17:00:00

Современный Интернет сложно представить без поисковых систем. Ежедневно они обрабатывают миллиарды запросов, поступающие через десктопные браузеры и мобильные приложения. Сложнейшие алгоритмы буквально предугадывают действия пользователей, подсказывают возможные варианты вводимых данных и выдают наиболее точные результаты.

Но какая самая лучшая поисковая система функционирует в Сети на сегодняшний день? Почему мы отдаем предпочтение какому-то определенному поисковику? В нашей статье мы разберем какие поисковые системы завоевали наибольшую популярность и в чем их принципиальные отличия.

Рейтинг поисковых систем в мире

Для начала выясним, какие поисковики пользуются самой большой популярностью в мире. Для этого обратимся к данным, которые предоставляет авторитетное аналитическое агентство NetMarketShare. В данной таблице выведен топ-5 поисковиков и процент запросов пользователей персональных компьютеров за 2017 год:

Нетрудно заметить, что по обеим позициям поисковик от Google лидирует с максимальным отрывом от своих конкурентов. Более того, для мобильных устройств Google, по сути, является монополистом, обрабатывая 93% всех поисковых запросов. Связано это и с широким распространением смартфонов на ОС Андроид.

Кроме того, Google – один из самых минималистичных поисковиков. На главной странице пользователь видит лишь логотип и строку поиска. Также пользователей привлекают интересные дудлы – логотипы Google, которые перерисоваются в честь определенной даты или события. Очень часто такие дудлы делают интерактивными. Таким образом, по всем вышеуказанным показателям Google – это однозначно лучшая поисковая система.

На втором месте по популярности, как на ПК, так и на смартфонах, прочно утвердился китайский поисковик Baidu. Дело в том, что данный сервис является единственно доступным в Китае – им пользуются 92% всего населения. Время от времени Baidu пытается расширить географический границы, однако популярности в других странах он так и не снискал. Во многом это связано с довольно агрессивной политикой продвижения и конфликт расширений поисковика с антивирусами.

Bing – поисковик от Microsoft, которым чаще всего пользуются владельцы персональных компьютеров в США. Небольшой процент запросов с мобильных устройств обусловлен тем, что смартфоны от Microsoft постепенно уходят с рынка.

Yahoo! – один из старейших поисковиков, который был создан в 1995 году. В основном, им пользуются жители США, Великобритании и некоторых стран Юго-Восточной Азии.

Поисковик от Яндекс попал только в первую пятерку по запросам с ПК. Небольшой процент от общего количества запросов также обусловлен тем, что отечественным поисковиком пользуются пользователи России и стран СНГ. А замыкает топ-5 по популярности поисковиков для мобильных устройств сервис Dogpile. Его основная аудитория – жители США, Канады и Европы.

Рейтинг поисковых систем в России

Выяснить, какая лучшая поисковая система в российском интернет-сегменте Рунете нам помогут данные счетчика LiveInternet и аналитического сервиса Seo-auditor.

Счетчик LiveInternet учитывает поисковые запросы как с ПК, так и с мобильных платформ. В итоге, рейтинг популярности поисковиков в России выглядит так:

С большим отрывом лидируют два главных конкурента – Google и Яндекс. Оба поисковика отличаются высокой скоростью и эффективностью работы. Кроме того, каждый сервис обладает своими уникальными «фишками». Например, поисковик от Гугл выдает четкую и лаконичную информацию о каждом сайте, а также учитывает качество страниц в выдаче. Яндекс же большое внимание уделяет своим дополнительным сервисам, которые подключаются при каждом запросе в поисковике.

На третьем месте по популярности оказался поисковик от Mail.ru. Многие эксперты отмечают у данного сервиса хорошо проработанные поисковые алгоритмы, быстрое обновление новостей на главной странице. С другой стороны, хватает у Mail и недочетов. В первую очередь, это нехватка дополнительных сервисов и недоработанный анти-спам фильтр.

Некогда популярный Rambler сейчас обрабатывает всего 0,2% от общего количества поисковых запросов в Рунете. Некоторое время назад сервис сделал капитальный ремонт: у поисковика сменился логотип и была с нуля перерисована главная страница. Однако подняться в рейтинге поисковых систем это, увы, не помогло.

Тем не менее, у Рамблера есть свои очевидные достоинства. Например, ассоциативная система поиска. Если пользователь забывает сменить раскладку и вбивает слово vepsrf, поисковик выдает результаты по запросу «Музыка». Сейчас этой системой уже никого не удивишь, вот только Рамблер был первым поисковиком в Рунете, который смог качественно реализовать такой алгоритм.

Меньше 200 тысяч запросов в год обработал поисковик Bing. Как уже говорилось выше, сервис от Microsoft популярен, в основном, на Западе, и, скорее всего, большая часть запросов в Рунете через Bing отправляется со смартфонов и ПК иностранцев, работающих в России.

Схожие данные по популярности поисковиков можно наблюдать в исследовании аналитического агентства Seo-auditor. Сравните цифры по состоянию на январь и ноябрь 2017 года:

Сопоставив данные счетчиков Яндекс.Метрика, SpyLog/Openstat, LiveInternet, Hotlog, Рейтинг@Mail.ru, а также с помощью оригинальных алгоритмов, специалисты Seo-auditor пришли к выводу, что звание «Самая лучшая поисковая система» в Рунете вновь делят между собой Google и Яндекс. К тому же заметно, как за год уменьшилась доля запросов через поисковики Мейл, Рамблер и Бинг.

Мобильные приложения-поисковики

Среди первой пятерки самых популярных поисковых систем фирменные мобильные приложения имеются у Google , Яндекс и Bing . Чтобы выяснить, чем отличается каждая утилита, мы протестировали поисковики на мощном и производительном смартфоне . В качестве тестового запроса мы использовали один из самых популярных, на данный момент, не только в России, но и во всем мире – Звездные Войны 8. Результат можно посмотреть на видео ниже:

Google в своем мобильном поисковике руководствуется тем же принципом, что и в десктопной версии - минимум элементов интерфейса. Поисковый запрос можно вводить как с экранной клавиатуры, так и голосом. В выдаче поисковика можно проследить четкую иерархию:

• Обзоры и рейтинги фильма
• Расписание сеансов в кинотеатрах города
• Трейлеры на YouTube
• Список актеров фильма
• Похожие запросы
• Ссылки на сайты.

Похожую картину можно наблюдать и в поисковике от Яндекса. Российский сервис в своем приложении также копирует основную версию. На главном странице размещены полезные сервисы и новости, а поисковая строка закреплена внизу экрана. Результаты по выдаче распределяются так:

• Трейлеры и ролики на Яндекс.Видео
• Расписание сеансов в кинотеатрах
• Ссылка на Википедию
• Список актеров
• Похожие запросы
• Ссылки на сайт (причем первой ссылкой значится страница фильма на Кинопоиске, который принадлежит Яндексу).

Отдельной «фишкой» Яндекса можно назвать голосовой помощник Алиса, с помощью которого можно не только найти нужную информацию, но и скоротать время в приятной, а иногда и забавной беседе с цифровым алгоритмом.

Приложение Bing, так же как и Гугл, идет по пути лаконичности. На главном экране размещена кнопка поиска на красивом фоне. По нажатию на увеличительное стекло пользователь попадает на страницу поисковика. Несмотря на то, что интерфейс не русифицирован, приложение быстро выдает нужные результаты. Правда, в отличие от Гугла и Яндекса, Bing ограничивается лишь ссылками на сайты без дополнительно включенных сервисов.

Альтернативные поисковики

Помимо самых популярных поисковиков вроде Яндекса и Гугла в Сети существует немало интересных поисковых сервисов, которые по своим функциям могут стать неплохой альтернативой признанным гигантам. Мы выбрали 5 самых интересных систем, которыми можно пользоваться как на ПК, так и на смартфонах.

Поисковик, который базируется на трех основных принципах:

• Отсутствие хранилища личных данных
• Отсутствие навязчивой рекламы на основе запросов пользователя
• Отсутствие отслеживания действий пользователя.

Таким образом, DuckDuckGo оценят те, кто предпочитает конфиденциальность в Сети и хочет получать объективную информацию, без учета прошлого поискового поведения в Интернете. Кроме того, DuckDuckGo не привязан географически к пользователю. Это значит, что информацию можно искать и получать на любом языке, в то время как Яндекс и Гугл отдают предпочтение русскоязычным ресурсам, даже если вбить запрос на английском.

YaCy

Децентрализованный поисковик, у которого нет единого сервера и владельца. YaCy это сеть компьютеров пользователей, на которых установлена специальная программа. Каждый ПК самостоятельно сканирует Сеть и собирает полученную информацию в общую базу данных. Каждый узел сети YaCy автономен и, следовательно, не подвержен государственной или корпоративной цензуре.

Единственный недостаток для отечественного пользователя – YaCy не русифицирован.

Pipl

Pipl – это система, которая создана для поиска конкретных пользователей в Сети. Сложные алгоритмы собирают все данные о человеке по профилям в соцсетях комментариям, открытым базам данных, и так далее. На данный момент, в поисковой базе Pipl собраны данные по более чем 3 миллиардам человек.

Поиск по Рунету для Pipl является пока еще довольно сложной задачей. Так что данный поисковик станет более полезен тем, кто ищет конкретных пользователей в Европе, США или Канаде.

Вопросно-ответная система, поисковик на основе базы знаний и наборе вычислительных алгоритмов. В отличие от остальных поисковых систем, Wolfram|Alpha не выводит список ссылок по запросам, а формирует полноценный ответ на основе базы знаний об истории, культуре, науке, кинематографии, театре и многом другом. Кроме того, алгоритм подключает данные об известных людях и страницах в Сети.

Например, на запрос Star Wars films поисковик выдает список всех фильмов киновселенной, по каждому из которых можно посмотреть индивидуальную информационную карточку. Следом идет подборка постеров фильмов и подробная информация о сборах в кинотеатрах.

Wolfram|Alpha постоянно пополняет свою базу данных для более точного вывода самой необходимой информации по запросам. Для студентов, журналистов, аналитиков и научных сотрудников Wolfram|Alpha – пожалуй, лучший поисковик, так как он выдает не только текстовую информацию, но и компилирует различные графики, таблицы и схемы для большей наглядности.

Мы познакомили вас с самыми популярными поисковыми системами. Конечно, довольно сложно назвать определенный поисковик лучшим в мире. У каждой системы есть свой набор инструментов, которые привлекают тех или иных пользователей. А каким поисковиком чаще всего пользуетесь вы? Расскажите о своих впечатлениях в комментариях к данной статье!