Data Science. SQL hub
36K subscribers
904 photos
46 videos
37 files
962 links
По всем вопросам- @workakkk

@itchannels_telegram - 🔥лучшие ит-каналы

@ai_machinelearning_big_data - Machine learning

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

РКН: https://vk.cc/cIi9vo
Download Telegram
💻Microsoft запустила общедоступную предварительную версию Copilot в базе данных SQL Azure

Microsoft выпустила ограниченную общедоступную предварительную версию Copilot в базе данных SQL Azure. ИИ-помощник интегрирует данные и формулирует применимые ответы с использованием общедоступной документации, динамических представлений управления, хранилища запросов, представлений каталога и диагностики поддерживаемости Azure.

Новое расширение Copilot будет включать два интерфейса:
преобразование естественного языка в SQL. Эта функция в редакторе запросов портала Azure для базы данных SQL Azure преобразует запросы на естественном языке в SQL, делая взаимодействие с базой данных более интуитивным;
интеграцию Azure Copilot. Она позволит клиентам самостоятельно управлять своими базами данных и решать проблемы с ними.

Доступ к функции естественного языка можно получить, перейдя в базу данных SQL Azure и нажав «Launch inline copilot» на панели инструментов редактора запросов. Оттуда можно ввести свой вопрос. После этого нужно кликнуть «Создать запрос», и появится новый оператор присваивания кода T-SQL. Его можно выполнить или отклонить и ввести новое приглашение на естественном языке, которое создаст новый оператор кода, но не заменит предыдущий.

Интеграция предоставляет пользователям базы данных SQL Azure доступ к Microsoft Copilot для Azure.

Чтобы опробовать предварительную версию, нужно перейти на эту веб-страницу и зарегистрироваться в программе. Пока неизвестно, как долго продлится её тестирование.

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10🔥53😢1
🖥 Не забывайте обновлять Postgres!

Регулярные обновления могут значительно повысить производительность и безопасность вашей базы данных.

Кроме того, с postgresql_cluster этот процесс полностью автоматизирован

Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍113🔥2
🖥 Sqlelf

Инструмент, использующий функциональность виртуальной таблиц Sqlite, позволяющий исследовать объекты Linux ELF с помощью SQL.

ELF (англ. Executable and Linking Format — это формат исполнимых и компонуемых файлов) — формат исполняемых двоичных файлов, используемый во многих современных UNIX-подобных операционных системах, таких как FreeBSD, Linux, Solaris и др.

Традиционно изучение файлов ELF ограничивалось такими инструментами, как objdump или readelf. Несмотря на то, что эти инструменты обладают широкими возможностями синтаксического анализа, формат вывода и возможность задавать исследовательские функции инструментов довольно ограничены.

Github

Аналитика данных
Please open Telegram to view this post
VIEW IN TELEGRAM
👍82🔥1
💎 Яндекс выкатит линейку нейросетей YandexGPT 3

Самая первая языковая модель из третьего поколения уже доступна на Yandex Cloud. Это YandexGPT 3 Pro, которую можно встроить в продукты бизнеса через API и дообучить в сервисе ML-разработки Yandex DataSphere для потребностей компании, а именно — загрузить файл с примерами запросов и эталонными ответами на них.

Новая нейросеть особенно хорошо проявляет себя в таких сферах, как клиентская поддержка, онлайн-продажи, цифровые коммуникации, маркетинг, реклама и управление персоналом. Также языковая модель лучше работает с документами: например, составляет договоры, счета, нормативную документацию, должностные инструкции и не только.

Цена на использование нейросети снизилась почти в два раза. Плюс её можно попробовать в демо-режиме.

@sqlhub
👍84👎3🔥3
💻Годная Статья о SQLite в проде

В последнее время SQLite вызывает всеобщий ажиотаж, но действительно ли он может конкурировать с MySQL и PostgreSQL в продакшне веб-приложений?

Оглавление
Зачем выбирать SQLite вместо MySQL или PostgreSQL
— SQLite проще
— SQLite переносим
— SQLite быстр
— SQLite надёжен
— SQLite экономически эффективен
— SQLite легко защитить

Может ли SQLite подойти как БД для проекта в продакшене
— Потребуется немного проб и ошибок, чтобы научиться использовать его правильно
— Не масштабируется по горизонтали
— Ограничение параллелизма
— Ограниченная поддержка миграции
— Ограничения типов данных

Использование SQLite в продакшене, в реальном мире


Усталость от DevOps реальна, от разрабов ожидают всё больше знаний об инфраструктуре, CI/CD, Docker, сетевых технологиях, Kubernetes, кластеризации, шардинге, и список можно продолжать. Но в реальности большинству проектов не нужна и половина всего этого. В современной веб-разработке наблюдается откат от сложности, сопровождающийся возвращением монолита и неуклонным ростом более простых фронтенд-фреймворков, таких, как Alpine.js и htmx.

SQLite вписывается в эту логику, предоставляя более простую альтернативу традиционной клиент-серверной модели MySQL и PostgreSQL, об этом и говорится в статье.

📎 Статья

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍164🔥2👏2
💻Инструменты для визуализации базы данных (и не только)

Держите подборку отличных инструментов для работы с БД. Про некоторые вы 100% слышали, но по-любому найдёте в этом посте для себя полезное

Tableau
— Обеспечивает расширенные возможности для стилизации и визуализации данных.
— Позволяет создавать разнообразные цветные диаграммы и наглядные графики.
— Поддерживает широкий спектр источников информации, включая популярные системы управления базами данных SQL Server, PostgreSQL, Oracle и MySQL.

Power BI
Power BI от Microsoft – это мощный инструмент для бизнес-аналитики, который поддерживает широкий спектр типов данных и возможностей для их визуализации. Он позволяет создавать детализированные отчеты и интерактивные презентации, превращая комплексные наборы данных в понятные и привлекательные визуальные представления.

SQL Server Management Studio (SSMS)
SSMS – это интегрированная среда для работы с инфраструктурой SQL Server, которая обеспечивает эффективное управление базами данных и разработку SQL-запросов. Она позволяет управлять базами и объектами данных с использованием графического интерфейса пользователя.

MySQL Workbench
MySQL Workbench – это комплексный механизм для работы с базами данных MySQL.
— Предлагает широкий спектр возможностей для администрирования, проектирования, разработки и тестирования баз данных.
— Обеспечивает единую интегрированную среду (IDE) для различных операций.
— Включает возможности для визуального моделирования, то есть создания и модификации структуры баз данных графическим способом.

А ещё можно вспомнить pgAdmin, Oracle SQL Developer, DBeaver, PopSQL, Apache Superset, Google Data Studio, dbdiagram.io, Diagrams.net, QuickDBD

📎 Читать подробнее

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍146👎1🔥1
💻Как управлять версиями вашего SQL

Теоретически многие понимают, что контроль версий может:
— Помочь нам сравнить запросы, чтобы найти различия
— Сравнить предыдущую версию с новой версией запроса.
— Разрешить мне отменить изменение, внесенное в мой код, которое не имело ожидаемого эффекта.
— Разрешить нашей команде сотрудничать, когда кому-то нужна помощь с запросом

Но на практике всё не так просто.
Во-первых, изучать git сложно. Даже просто понять, что такое git, может быть сложно, если вы никогда раньше не пользовались системой контроля версий.

Я думаю, что лучший способ учиться — это брать и делать.
Поэтому держите очень полезный туториал, который покажет, как настроить управление версиями SQL с помощью GitHub и DBeaver.

📎 Туториал

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍103🔥3👎1
💻Как управлять версиями вашего SQL

Теоретически многие понимают, что контроль версий может:
— Помочь нам сравнить запросы, чтобы найти различия
— Сравнить предыдущую версию с новой версией запроса.
— Разрешить мне отменить изменение, внесенное в мой код, которое не имело ожидаемого эффекта.
— Разрешить нашей команде сотрудничать, когда кому-то нужна помощь с запросом

Но на практике всё не так просто.
Во-первых, изучать git сложно. Даже просто понять, что такое git, может быть сложно, если вы никогда раньше не пользовались системой контроля версий.

Я думаю, что лучший способ учиться — это брать и делать.
Поэтому держите очень полезный туториал, который покажет, как настроить управление версиями SQL с помощью GitHub и DBeaver.

📎 Туториал

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
8😁5👍4🥰2🔥1
💻Вышла новая версия СУБД Postgres Pro Enterprise 16.2.1

Postgres Professional заявила о выпуске новой версии Postgres Pro Enterprise. Релиз включает возможности мажорных версий Postgres Pro Enterprise 16.1.1, PostgreSQL 16.2 и ряд новых разработок для повышения безопасности, улучшенной оптимизации запросов, аналитики и работы с большими объектами, рассказали информационной службе Хабра в пресс‑службе компании.

Среди ключевых обновлений Enterprise 16.2.1:

сделана интеграция с расширением Citus, обеспечивающим масштабируемость PostgreSQL за счёт шардирования данных на нескольких узлах PostgreSQL. В отличие от выпущенной в феврале 2024 года в широкое пользование СУБД Postgres Pro Shardman, ориентированной на OLTP‑нагрузку, Citus ориентирован на аналитическую OLAP‑нагрузку;

стал доступен перепланировщик запросов Replan, один из компонентов adaptive query execution (адаптивного выполнения), срабатывающий по максимальному времени выполнения;

добавлено расширение dbms_lob, позволяющее обращаться к определённым частям больших объектов (LOB) или большим объектам целиком и управлять ими (поддерживаются объекты CLOB, BFILE и временные BLOB);

появилась новая версия pg_proaudit 2.0, поддерживающая правила, обобщающие типичные группы действий пользователей и срабатывание правил по группам пользователей, а не по их индивидуальным учётным записям;

введены два новых модификатора для работы с пакетами: #private и *#export.* Модификатор #private определяет функции и процедуры как внутренние, а модификатор #export определяет, какие переменные пакета являются публичными;

добавлены ассоциативные массивы и хэш‑коллекции (аналог indexed by таблиц PL/SQL в Oracle);

📎Подробная информация о новой версии доступна на сайте компании.

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍106🔥4
▶️7 типов баз данных, понимание которых пригодится специалисту Data Science

Иерархические БД — DNS, LDAP
В иерархических БД каждая запись имеет одного «родителя». Это создаёт древовидную структуру, в которой записи классифицируются по их отношениям с цепочкой родительских записей.

Сетевые БД — IDMS
Сетевые БД расширяют функциональность иерархических: записи могут иметь более одного родителя. А значит, можно моделировать сложные отношения.

Реляционные БД — PostgreSQL, MariaDB, SQLite, MySQL
Реляционные БД – старейший тип до сих пор широко используемых БД общего назначения. Данные и связи между данными организованы с помощью таблиц. Каждый столбец в таблице имеет имя и тип. Каждая строка представляет отдельную запись или элемент данных в таблице, который содержит значения для каждого из столбцов.

Базы данных «ключ-значение» — Redis, Memcached
В БД «ключ-значение» для хранения информации вы предоставляте ключ и объект данных, который нужно сохранить. Например, JSON-объект, изображение или текст. Чтобы запросить данные, отправляете ключ и получаете blob-объект.

Документная база данных — MongoDB, RethinkDB
Документные БД совместно используют базовую семантику доступа и поиска хранилищ ключей и значений. Такие БД также используют ключ для уникальной идентификации данных. Разница между хранилищами «ключ-значение» и документными БД заключается в том, что вместо хранения blob-объектов, документоориентированные базы хранят данные в структурированных форматах – JSON, BSON или XML.

Графовая база данных — Neo4j, JanusGraph, Dgraph
Вместо сопоставления связей с таблицами и внешними ключами, графовые БД устанавливают связи, используя узлы, рёбра и свойства.

Колоночные БД — Cassandra, HBase
Колоночные БД принадлежат к семейству NoSQL БД, но внешне похож на реляционные БД. Как и реляционные, колоночные БД хранят данные, используя строки и столбцы, но с иной связью между элементами.

📎 Читать подробнее

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20🔥84