🦾 Вектореные базы данных

Вектор - это массив чисел, выражающий положение точки в пространстве по нескольким измерениям.

Как векторы связаны с эмбедингами?
В машинном обучении эмбединги - это векторы, представляющие такие точки данных, как слова, предложения, изображения и т.д.

Как работает векторная база данных?
Векторная база данных хранит эмбединги для различных точек данных, таких как документы, изображения, продукты и т.д. Она сопоставляет эти эмбединги с исходными данными.

Как векторные базы данных используются в ИИ?
Векторные базы данных имеют несколько ключевых направлений использования в ИИ:

- Семантический поиск - поиск информации на основе смысла.
- Большие языковые модели - понимание слов в контексте для генерации и обобщения информации.
- Обнаружение аномалий - выявление аномальных точек данных.
- Классификация изображений - категоризация изображений на основе визуальных свойств.

Weaviate - это векторная база данных с открытым исходным кодом, которая хранит как объекты, так и векторы, позволяя сочетать векторный поиск и структурированную фильтрацию с отказоустойчивостью и масштабируемостью облачной нативной базы данных, доступной через GraphQL, REST и различные языковые клиенты.

📌 Github

@sqlhub

⚡️ Совет по работе с базами данных

Удаление сотен тысяч строк происходит медленно, влияет на производительность и не освобождает память.

Однако удалить старые данные можно очень эффективно, если разбить таблицу на временные диапазоны и удалить один из них.

@sqlhub

Именно поэтому долговечность - самое важное свойство базы данных.

Может случиться много неприятных вещей: отключение электричества, системные сбои или отказ оборудования.

❓Как базы данных гарантируют, что мы не потеряем наши данные?❓

Основная идея заключается в том, чтобы хранить данные в энергонезависимом хранилище, например на диске.

Всякий раз, когда пользователь выполняет транзакцию, база данных делает две вещи:

▪️записывает данные в отдельный журнал
▪️производит обновление.

Журнал позволяет обрабатывать транзакции во время перезагрузки.

Запись в журнал происходит быстро, потому что это двоичный файл только для добавления.

Что делать, если база данных распределена?

Этот случай более сложный, поскольку серверы базы данных должны координировать свои действия

Существует процесс, в котором один из серверов выступает в роли координатора:

▪️он передает сообщение о фиксации всем участникам
▪️ожидает всех подтверждений
▪️сообщает о фиксации или откате

@sqlhub

ℹ️HNSWℹ️

Иерархический маленький мир (Hierarchical Navigable Small-World graph, HNSW) — один из самых быстрых алгоритмов приблизительного поиска ближайших соседей. Поисковый индекс в HNSW представляет собой многоуровневую структуру, в которой каждый уровень является графом близости. Каждый узел графов соответствует одному из векторов запросов.

Алгоритм индексирования HNSW позволяет эффективно осуществлять поиск ближайших соседей в векторных базах данных.

Поиск ближайших соседей в HNSW использует метод увеличения (zooming-in). Он начинается во входной ноде самого верхнего уровня и рекурсивно выполняет жадный обход графов на каждом уровне, пока не достигнет локального минимума на самом дне.

Подробности об алгоритме и методике поиска хорошо описаны в научной работе. Важно запомнить, что каждый цикл поиска ближайших соседей состоит из обхода узлов графов с вычислением расстояний между векторами. Ниже мы рассмотрим эти этапы, чтобы использовать данный метод для создания крупномасштабного индекса.


Как это работает?

▪️HNSW организует векторы в многослойную графовую структуру.
▪️Узлы в каждом слое поддерживают связи на основе расстояний в векторном пространстве.
▪️Навигация происходит иерархически, начиная с верхнего слоя и спускаясь вниз для уточнения поиска.
▪️Более высокие слои строятся путем подвыборки узлов из нижних слоев.

Почему HNSW?

▪️Скорость: иерархическая структура означает, что алгоритм поиска может перемещаться по графу быстрее, чем при плоской структуре.
▪️Масштабируемость: Поскольку кэш-память хранит только верхний слой, а затем добавляет только соседние векторы в дальнейших слоях, это очень эффективно и масштабируемо.
▪️Адаптируемость: HNSW очень надежен и может одновременно работать с импортом и запросами.

@sqlhub

ℹ️База данных и паролиℹ️

Несмотря на удобство, самостоятельное хранение паролей создает значительные риски для безопасности.

В идеале мы должны стремиться к тому, чтобы по возможности не заниматься хранением паролей самостоятельно.

Некоторые альтернативные подходы включают в себя:

▪️Использование сторонних служб аутентификации (например, OAuth) для обработки входа в систему.
▪️Использование федеративного управления идентификацией и единого входа (SSO) для минимизации использования паролей.

НЕЛЬЗЯ:

- Хранить пароли в формате обычного текста
- Хешировать пароли без разделения

ОБЯЗАТЕЛЬНО:

- Хешировать пароли перед хранением с помощью криптографических функций.
- Следуйте отраслевым стандартам, таким как OWASP, для реализации соления и хэширования.
- Правильно проверяйте попытки входа в систему, сравнивая хэши входных паролей и хранимых хэшей по времени.

🔥 Дайджест полезных материалов из мира SQL за неделю

Почитать:
— 8 бесплатных курсов по большим языковым моделям
— Современные варианты баз данных
Почитать:
— Детализированные стратегии кэширования динамических запросов
— Как в РСХБ разработали средство генерации SQL-запроса для упрощения задач по тестированию
— Прекратите клепать базы данных
— CADLib API: От API к прямой работе с базой данных модели через SQL-запросы
— The Most Annoying Optimizer Fail in Postgres ✅ Best index solved it.
— How Modern SQL Databases Are Changing Web Development - #3 Better Developer Experience
— Configuring Delete Behaviour for One to Many Related Objects in SQLAlchemy 2.0
— Isolation Levels - part VIII: Cursor Stability
— SQL - Joins (Tutorial Prático)
— Views, Sequences e Synonyms: Um tutorial prático
— Quick 📸 on 🐘 wait events from pg_stat_activity
— DATABASE
— Triggers
— NoSQL? I'll show you NoSQL!

Посмотреть:
🌐 Ollama — модель уровня GPT. Используй GPT без ограничений и абсолютно бесплатно.
🌐 Эти фишки сделают твой Python код лучше🔥 (⏱ 18:27)
🌐Выполнение простейших запросов SQL в СУБД Ред База Данных и Firebird!

Хорошего дня!

@sqlhub