Поиск: непохожие пути к похожим результатам. Часть 5️⃣ — Онтология и графы знаний

Следующим скачком в эволюции поисковых запросов (хотя и по смыслу, а не по хронологии), стало внедрение онтологии и графов знаний.

В общих чертах графы знаний представляют собой связь между различными элементами — концепциями, объектами, событиями, а онтология определяет каждый из элементов и их свойства.

📌 Детально под онтологией понимают формализованное описание знаний в виде набора понятий (концептов) и отношений между ними в определенной области. Задача онтологии — помощь машине понять контекст.

📌 Граф знаний по своей сути является практической реализацией онтологии, наполненной конкретными фактами. Граф в общем виде — некая база данных, где информация представлена в виде узлов (сущностей) и рёбер (связи между сущностями).

Эти методы используются для уточнения смысла слов, понимания отношений между сущностями и ответов на вопросы, требующих выводов из связей. Посмотреть пример реализации можно в карточках 📎

⚡Совместно эти методы могут быть одним из способов обхода ограничений поиска по ключевым словам, поскольку в этом случае идет не только сопоставление слов в поисковом запросе, но и поиска сущностей, которые описывал запрос.

На практике обнаруживаются существенные недостатки:

🚫 быстрое устаревание данных
🚫плохая масштабируемость из-за ручного построения графов
🚫 трудный перенос в разные категории знаний, т.к. граф знаний одной области не будет совпадать с графом другой

➡️ Эти трудности привели к тому, что автоматическая разработка графов знаний удалась всего нескольким крупным компаниям, например, Google. При этом его графы знаний — Google Knowledge Graph — содержат миллиарды связей.

Любопытно, что в русском языке проблема склонений, осложняющая построение графа, нивелируется за счет лемматизации формы слов.

🗺 Анонс со ссылками на все части, предыдущая часть — здесь

#интересное #полезное #поиск #NLP #онтология #граф_знаний