🖥 Как Uber интегрировал SQL в свой чат

Блог Uber Engineering опубликовал статью о том, как компания внедрила функцию преобразования текста в SQL в своем чат-интерфейсе.

Эта функция включает в себя использование технологий NLP (natural language processing) для понимания запросов пользователей и последующего генерирования соответствующих SQL-запросов.

Uber добавил множество дополнительных функций, таких как автоматические подсказки таблиц и параметров, из которых пользователь может выбрать нужные данные для своего запроса. Эти улучшения делают процесс взаимодействия с базой данных через чат намного удобнее и проще.

Эта статья подчеркивает инновационный подход компании к улучшению пользовательского опыта и автоматизации рутинных процессов.

https://www.uber.com/en-DE/blog/query-gpt/

@sqlhub

⚡️ Marimo — это реактивный ноутбук на Python, который теперь поддерживает SQL.

Вот его основные возможности:

▪️Запуск одной ячейки приводит к автоматическому запуску всех зависимых ячеек.

▪️Вы можете запускать свои ноутбуки как скрипты Python, параметры которых задаются через аргументы командной строки.

▪️Встроенная поддержка SQL и удобная панель для работы с данными делают Marimo мощным инструментом для анализа информации.

▪️Ноутбуки Marimo сохраняются в формате .py, что позволяет легко управлять версиями через Git.

Важно отметить, что поддержка SQL была добавлена недавно. Это позволяет вам писать запросы и получать результаты в виде датафреймов.

pip install marimo && marimo tutorial intro

🔗 Ссылка

@sqlhub

🖥 Базы данных в деталях — полный курс! (2024)

💡 Узнайте все о базах данных в этом курсе, разработанном, чтобы помочь вам понять сложности архитектуры и оптимизации баз данных. От понимания базовых компонентов, таких как управление транзакциями и механизмы хранения, до освоения расширенных методов индексации и изучения внутренней работы SQLite, этот курс снабжает вас знаниями для эффективного управления и оптимизации систем данных

🕞 Продолжительность: 3:41:19

🔗 Ссылка: *клик*

@sqlhub

⚡️ Выпуск СУБД MySQL 9.1.0

Компания Oracle выпустила новую версию MySQL 9.1.0. Теперь сборки MySQL Community Server доступны для всех основных дистрибутивов Linux, FreeBSD, macOS и Windows. Благодаря новой модели выпуска версий, MySQL 9.1 относится к веткам "Innovation".

Эти ветки предназначены для раннего доступа к новым функциям и выпускаются каждые 3 месяца.

Их поддержка прекращается после выхода следующей значительной версии. Планируется выпуск LTS-версии летом следующего года, которая рекомендуется для стабильных внедрений.

После этого будет выпущена новая версия MySQL 10.0.

Что нового в MySQL 9.1?

- Добавлена поддержка IF NOT EXISTS в CREATE VIEW, предотвращая ошибки при создании представлений с существующими именами.

- Прекращена загрузка триггеров при операциях чтения, уменьшая потребление памяти и нагрузку на CPU. Триггеры теперь загружаются только при модификациях данных.

- Расширен вывод EXPLAIN, включающий информацию о многодиапазонном чтении и полуобъединении.
- Обеспечено атомарное выполнение операций CREATE DATABASE и DROP DATABASE для защиты от сбоев.

- В JavaScript-хранимых процедурах добавлен тип VECTOR для передачи данных между процедурами.

- Поддержка аутентификации через протокол OpenID Connect.

- Исправлено 27 уязвимостей, включая критическую CVE-2024-5535, вызванную чтением данных вне выделенного буфера в OpenSSL.

@sqlhub

🖥 Эта статья описывает, как создать документацию для базы данных с помощью инструмента DBdocs, используя язык DBML. Она демонстрирует, как автоматически генерировать документацию, что упрощает процесс документирования структуры базы данных

💡 В статье объясняется, как настроить DBML, создать документацию и делиться ею с командой для улучшения понимания структуры данных.

🔗 ссылка: *клик*

@sqlhub

🖥 postgres-backup-local - это инструмент для создания резервных копий базы данных PostgreSQL в локальной файловой системе с автоматическим переключением между различными копиями.

Он позволяет делать резервные копии сразу нескольких баз данных с одного сервера, указывая их названия через запятую или пробел в переменной окружения POSTGRES_DB.

Также поддерживает выполнение вебхуков до и после выполнения задания, автоматически управляет ротацией и удалением устаревших копий. Инструмент работает под Docker и поддерживает архитектуры Linux: amd64, arm64, arm/v7, s390x, ppc64le.

🖥 GitHub: https://github.com/prodrigestivill/docker-postgres-backup-local

@sqlhub

👣 Greenmask — это инструмент с открытым исходным кодом для маскировки данных, обфускации и логического резервного копирования баз данных PostgreSQL. Он предназначен для анонимизации конфиденциальной информации в дампах баз данных, что делает его полезным для подготовки данных к использованию в непродукционных средах, таких как разработка или тестирование

🔍 Основные возможности:

🌟 Маскирование и анонимизация данных: Обеспечивает защиту конфиденциальных данных при перемещении между различными средами

🌟 Детерминированные преобразователи: Используют хеш-функции для обеспечения повторяемости результатов

🌟 Кроссплатформенность

🌟 Отсутствие состояния и независимость от схемы: Не требует изменений в структуре базы данных и работает с утилитами PostgreSQL, такими как pg_dump и pg_restore

🌟 Параллельная обработка: Ускоряет процессы дампа и восстановления за счет параллельного выполнения задач

🔐 Лицензия: Apache-2.0

▪️Github

@sqlhub

🖥 EfCore.SchemaCompare — инструмент для сравнения схем баз данных Entity Framework Core (EF Core). Он позволяет проверять различия между базой данных и миграциями, обеспечивая удобный способ отслеживания изменений в схемах данных

🌟 Этот инструмент может быть полезен для управления версиями баз данных и предотвращения ошибок, связанных с несовпадением структуры данных при разработке приложений на EF Core

▪️GitHub

@sqlhub

🖥 А что не вернет?

@sqlhub

❓ Какая разница между разными видами join?

🔹 (INNER) JOIN — возвращает строки, где значения совпадают в обеих таблицах.

🔹 LEFT (OUTER) JOIN — возвращает все строки из левой таблицы и те, что соответствуют условию из правой таблицы.

🔹 RIGHT (OUTER) JOIN — возвращает все строки из правой таблицы и те, что соответствуют условию из левой таблицы.

🔹 FULL (OUTER) JOIN — возвращает все строки, где есть совпадения в одной из таблиц.

@sqlhub

🖥 ChatGPT попросили написать SQL запросы для базы данных магазина. Ответ убил

🌟 Кажется, ии медленно уничтожает человечество...

@sqlhub

🖥 Использование PostrgreSQL для полнотекстового поиска в приложениях!

💡 Полнотекстовый поиск — это неотъемлемая часть современных приложений, особенно тех, которые работают с большими объемами текстовой информации, будь то блог-платформы, системы управления контентом или новостные агрегаторы. Какое бы приложение вы не разрабатывали, добавление возможностей полнотекстового поиска может значительно улучшить пользовательский опыт. В этой статье мы рассмотрим, какие основные возможности полнотекстового поиска предлагает PostgreSQL, какие преимущества это дает, и приведем примеры запросов

🔗 Ссылка: *клик*

@sqlhub

🖥 Шпаргалка по SQL JOINS!

🌟 Сохрани в избранное, чтобы не потерять!

@sqlhub

🖥 Полный перевод документации PostgreSQL на русский язык.

Здесь представлены эти переводы, оригинальная англоязычная документация PostgreSQL и документация к СУБД Postgres Pro в вариантах Standard и Enterprise.

📌 Скачать

@sqlhub

🖥 Как ускорить высокопараллельные вставки строк в SQL Server за считанные часы!

🌟 В этой статье автор столкнулся с серьезным замедлением при массовой загрузке данных в базу данных SQL Server. Причина кроется в том, что процесс добавления новых записей сталкивается с так называемыми "блокировками", которые замедляют всю операцию. Автор статьи предлагает несколько решений для оптимизации этого процесса и ускорения загрузки данных

🔗 Ссылка: *клик*

@sqlhub

🖥 Эта статья описывает лучшие практики работы с MongoDB в .NET. Автор объясняет, как настроить MongoDB в ASP.NET Core, регистрировать зависимости через DI-контейнер и работать с ID-шниками в MongoDB

🌟 Статья также включает примеры работы с коллекциями, демонстрирует использование Guid для идентификаторов и предлагает удобную организацию кода через класс MongoDbContext. В конце статьи даны рекомендации по сериализации данных и использовании camelCase для полей

🔗 Ссылка: *клик*

@sqlhub

🖥 Google использовал большую языковую модель для выявления уязвимости в SQLite

Исследователи из подразделений Google Project Zero и Google DeepMind опубликовали отчёт о развитии AI-системы Big Sleep, построенной на базе большой языковой модели Gemini 1.5 Pro и предназначенной для определения уязвимостей в исходном коде. Достижением проекта стало выявление с использованием Big Sleep первой пригодной для эксплуатации и ранее неизвестной уязвимости в существующем проекте. Уязвимость выявлена в результате проверки AI-системой кодовой базы СУБД SQLite и приводит к переполнению за нижнюю границу буфера в стеке (buffer underflow). Проблема обнаружена в недавно принятом коде и устранена до его попадания в финальный релиз SQLite 3.47.0.

Модель может использоваться как вспомогательный инструмент в областях, в которых требуется проведение трудозатратного ручного рецензирования, а также для организации автоматической проверки нового кода с целью выявления уязвимостей на ранних стадиях разработки (до попадания проблемного кода в финальные релизы). Предполагается, что развиваемая AI-модель позволит выявлять связанные с безопасностью проблемы в коде, которые проблематично определять путём fuzzing-тестирования.

Дополнительно можно отметить заявление генерального директора Google о том, что в настоящее время более четверти (25%) всего создаваемого в компании кода генерируется с использованием больших языковых моделей Gemini, после чего данный код рецензируется и принимается инженерами. Отмечается, что подобное применение AI позволило существенно ускорить процесс разработки продуктов.

https://googleprojectzero.blogspot.com/2024/10/from-naptime-to-big-sleep.html

@sqlhub

🔥 ds-cheatsheet — репозиторий на Github с огромным количеством всевозможных шпаргалок по Data Science!

🔐 Лицензия: MIT

🖥 Github

@sqlhub

🖥 Weaviate — это векторная база данных на Go с открытым исходным кодом, оптимизированная для поиска и машинного обучения. Она позволяет хранить данные в виде векторов, что делает её полезной для приложений, работающих с семантическим поиском, NLP, и рекомендательными системами

🌟 Weaviate поддерживает различные источники данных и легко интегрируется с ML моделями, автоматически индексируя данные для быстрого поиска и анализа

🔐 Лицензия: BSD-3-Clause

🖥 Github

@sqlhub