Семантические поисковики
Опубликовано: 23.10.2017
Для перевода сложного, комплексного вопроса в подходящий набор ключевых слов иногда приходится здорово поломать голову. Вот если бы поисковик мог давать прямые ответы! Возрадуемся: такие поисковые машины уже существуют, и называются они «семантическими» или же «поисковиками с обработкой запросов на естественном языке». Отрадно отметить, что русскоязычный поиск не собирается плестись в хвосте прогресса. Героями данного обзора являются именно российские поисковики, работающие на основе данных технологий.
Первым делом давайте в общих чертах разберемся, как работает поисковая машина, способная понимать прямые вопросы, заданные нормальным человеческим языком, и выдавать на них осмысленные ответы. На словах техническая реализация такого поиска звучит достаточно просто. Нужно взять заданную пользователем фразу, автоматически выделить из нее ключевые понятия, определить их взаимоотношения, отбросить информационный шум, то есть слова, не несущие смысловой нагрузки, а после этого «скормить» полученный образ более-менее стандартному алгоритму поиска по базе проиндексированных документов.
Подобные поисковики обладают некоторыми особенностями и в демонстрации готовых результатов. Учитывая специфическую задачу поиска, системе недостаточно просто показать список релевантных запросу ссылок. Список результатов должен состоять из текстовых фрагментов, извлеченных из проиндексированных веб-страниц и предлагающих прямые ответы на заданный пользователем вопрос. Другими словами, здесь в первую очередь реализуется так называемый фактографический поиск.