🖥 SQLFlow - отличный инструмент для визуализации SQL-запросов

Легкий и простой интрумент для визуализация связей и структур БД, поддерживающий более 20 разных БД.

▪DEMO
▪GitHub

@sqlhub

💻 Valkey — это высокопроизводительное open-source хранилище данных, поддерживающее кэширование, очереди сообщений; может выступать в качестве основной базы данных

Также Valkey может работать как автономная фоновая служба или в кластере, с возможностью репликации и высокой доступности.

Valkey поддерживает множество типов данных, включая строки, числа, хэши, списки, наборы, сортированные наборы, растровые изображения и др.
Можно оперировать со структурами данных с помощью набора команд. Valkey также поддерживает встроенную поддержку сценариев на языке Lua и поддерживает модули-плагины для создания новых команд и типов данных.

🖥 GitHub
🟡 Доки

@sqlhub

✔️ Туториал: Использование PostgreSQL в качестве векторной базы данных для RAG.

В туториале показан пошаговый сценарий к созданию векторной базы данных в PostgreSQL для хранения фрагментов текста из нескольких статей Википедии. В нем описывается процесс встраивания фрагментов текста и их сохранения в базе данных вместе с соответствующим заголовком, текстом и URL-адресом статьи.

Также приведен пример, как использовать векторное сходство для поиска релевантного контекста из базы данных с учетом запроса пользователя. Как извлеченный контекст используется для дополнения исходного запроса, прежде чем он будет передан в LLM для создания окончательного инференса.
infoworld.com

@sqlhub

💻 eralchemy — простой инструмент на Python для отрисовки взаимоотношений таблиц SQ

— pip install eralchemy

eralchemy — это генератор диаграмм для баз данных а также для различных объектов SQLAlchemy.
eralchemy работает с SQLAlchemy < 1.4, а также с версиями выше 1.4.

🖥 GitHub

@sqlhub

🖥 Интерактивная схема устройства работы векторных баз данных

@sqlhub

7️⃣самых эффективных стратегий для масштабирования БД

🔵 Материализованные представления: Предварительно рассчитывайте результаты сложных запросов и сохраняйте их для быстрого доступа.
🔵 Денормализация: Упрощайте сложные соединения для повышения скорости выполнения запросов.
🔵 Вертикальное масштабирование: Увеличивайте ресурсы сервера (процессоры, оперативную память, хранилище) для улучшения производительности.
🔵 Индексация: Анализируйте запросы вашего приложения и создавайте подходящие индексы для ускорения работы.
🔵 Кэширование: Храните часто запрашиваемые данные в быстром хранилище, чтобы снизить нагрузку на базу данных.
🔵 Репликация: Создавайте копии основной базы данных на разных серверах для увеличения объема операций чтения.
🔵 Шардинг: Разделяйте таблицы на более мелкие части и распределяйте их по серверам для улучшения работы с записью и чтением.

@sqlhub

🖥 SQL для Data Science: ключевые вопросы с собеседований по разным уровням

Подборка важных SQL вопросов для разных уровней👇

🔹 Начинающие (0-2 года):
▪️ В чем разница между WHERE и HAVING?
▪️ Какие виды JOIN существуют в SQL?

🔹 Опытные (2-5 лет):
▪️ Запрос для поиска второй по величине зарплаты.
▪️ Оконные функции в SQL, пример с ROW_NUMBER().

🔹 Эксперты (5+ лет):
▪️ Как оптимизировать медленный запрос?
▪️ Когда использовать кластеризованные и некластеризованные индексы?

🖥 Ссылка

@sqlhub

🖥 Ползеная шпаргалка по SQL с примерами запросов

На это Гите есть практически все, что касается SQL, начиная от запросов к базе данных и создания таблиц и заканчивая соединением (joining) данных.

Информация представлена наглядно и очень доступно.

GitHub

@sqlhub

🖥 Phidias

Генеративная модель для создания 3D-контента из текста, изображения и 3D-условий с помощью диффузии с добавлением ссылок

https://huggingface.co/papers/2409.11406

@sqlhub

🖥 SQL tips and tricks

Круташий набор лайфхаков и советов по улучшению SQL запросов.

В нём представлены методы повышения читаемости кода и предотвращения распространённых ошибок и рекомендации по оптимизации.

▪ Github

@sqlhub

🖥 Релиз СУБД PostgreSQL 17

После года разработки опубликована новая стабильная ветка СУБД PostgreSQL 17. Обновления для новой ветки будут выходить в течение пяти лет до ноября 2029 года. Поддержка PostgreSQL 12.x, самой старой из поддерживаемых веток, будет прекращена 14 ноября.

📌 Основные новшества:

- При выполнении операции VACUUM (сборка мусора, чистка и упаковка дискового хранилища) задействована новая структура данных, потребляющая до 20 раз меньше памяти. Переход на новую структуру позволил ускорить выполнение операций VACUUM и сократить потребление совместно используемых ресурсов.
- Продолжена оптимизация производительности ввода/вывода. Благодаря улучшению кода для обработки лога отложенной записи WAL удалось до двух раз повысить пропускную способность операций записи в системах с большим числом одновременно выполняемых запросов.
- Предложен новый интерфейс потокового ввода/вывода, позволивший повысить скорость последовательного перебора данных в таблицах и ускорить обновление статистики для планировщика запросов после выполнения операции ANALYZE.
- Повышена производительность запросов с выражением "IN", если в них используются индексы на базе структуры B-tree. Реализована возможность параллельного построения индексов BRIN (Block Range Index). В планировщике запросов оптимизированы проверки "NOT NULL" и ускорена обработка обобщённых табличных выражений (Common Table Expression, CTE) определяемых при помощи SQL-команды "WITH". Обеспечено использование векторных процессорных инструкций (SIMD) для ускорения некоторых вычислений, например, для ускорения функции bit_count задействованы инструкции AVX-512.
- Реализована поддержка новых возможностей для работы с форматом JSON, определённых в стандарте SQL/JSON. Добавлена функция JSON-TABLE для преобразования данных из формата JSON в обычные таблицы PostgreSQL, а также новые операторы jsonpath для преобразования данных JSON в родные для PostgreSQL типы данных. Предложены новые функции для создания (JSON, JSON_SCALAR и JSON_SERIALIZE) и запроса (JSON_EXISTS, JSON_QUERY и JSON_VALUE) данных в формате JSON.
- Расширены возможности SQL-команды "MERGE", позволяющей создавать условные SQL-выражения, объединяющие в одном выражении операции INSERT, UPDATE и DELETE. Добавлена поддержка выражения RETURNING, позволяющего вычислять и возвращать значения на основе добавленных, обновлённых или удалённых строк. Реализована поддержка обновления представлений.

@sqlhub