"Яндекс" стал обрабатывать запросы пользователей по новому алгоритму
Принцип работы алгоритма в том, что он ищет ссылки на страницы в Интернете не по ключевым словам, как это делалось ранее, а по смыслу запроса, который забил пользователь в строке поиска. Пришлось перейти к такой схеме, так как в сети накопилось большое количество информации, и по ключевым словам может вылезти не совсем нужная для пользователя ссылка. Разработчики приводят в пример роман Льва Толстого "Война и мир" и уверяют, что их поисковик сможет понять даже его смысл. А вот если ориентироваться на поиск по словам, то компьютер покажет ссылки только на батальные сцены, добавляют они.
"Королев" высчитывает векторы страниц не в режиме реального времени, а заранее, на этапе индексирования. Когда человек задает запрос, алгоритм сравнивает вектор запроса с уже известными ему векторами страниц.
"Королев" - это нейронная сеть, которая обучается на обезличенной поисковой статистике. Системы сбора данных учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят. Если человек открыл веб-страницу и "завис" там надолго, вероятно, он нашел то, что искал. То есть страница хорошо отвечает на его запрос. Но иногда система ошибается, и ее работе нужно постоянно давать оценку. Для всех желающих, кто хочет приобщиться к созданию поисковой системы, запустили сервис "Яндекс.Толока". Сейчас там зарегистрировано более миллиона пользователей: они анализируют качество поиска и участвуют в улучшении других сервисов "Яндекса".
Следующим этапом развития поиска может стать применение семантического вектора, который будет помогать находить документы, близкие по смыслу к запросу, но вовсе не содержащие слов запроса. "Еще мы хотели добавить персонализацию (представьте себе еще один вектор, который будет соответствовать интересам человека). Но на все это требуется не только время и знания, но и память, и вычислительные ресурсы, и здесь без нового дата-центра не обойтись. И у "Яндекса" такой уже есть. Но это уже другая история, о которой мы обязательно расскажем в ближайшем будущем", отмечается в заявлении компании.
Первые поисковые системы появились в середине 1990-х годов, когда Интернет был совсем небольшим - счет сайтов шел на тысячи. Чтобы помочь человеку найти нужное, достаточно было составить список веб-страниц, где есть слова из поискового запроса. О сложном ранжировании - то есть упорядочивании страниц по степени соответствия запросу - речь не шла. Считалось, что чем чаще в документе встречаются слова из запроса, тем лучше он подходит. Не каждая страна может похвастаться своим национальным поисковиком. В России и США создано несколько национальных поисковиков. Какие-то более популярные и раскрученные, какие-то нет.