🖥 Разница между двумя временными метками - представляет собо интервал.

Чтобы получить его в единицах измерения (например, часах или секундах) в Oracle #SQL

Сначала вы извлекаете необходимый интервал времени, затем преобразовываете его в целевую единицу (час/секунду и тд).

например:

EXTRACT ( DAY FROM diff ) * 24 ) +
EXTRACT ( HOUR FROM diff ) +
EXTRACT ( MINUTE FROM diff ) / 60...

@sqlhub

🖥 5 главных компонентов SQL:

▪DDL: data definition language
▪DQL: data query language
▪DML: data manipulation language
▪DCL: data control language
▪TCL: transaction control language

👉 Источник

@sqlhub

🖥 Dataflare

Полезный и бесплатный менеджер баз данных.

Инстркмент предназначен для удобного подключения к вашим БД PostgreSQL, MySQL, MariaDB, MSSQL, SQLite, управления таблицами и выполнения запросов

Он отличается простотой и лёгкостью использования, что позволяет без труда управлять вашей базой данных и улучшить эффективность работы

Dataflare основан на Tauri, в нем используется Rust в качестве бэкенда, Dataflare обеспечивает отличную производительность и быстрое выполнение операций, будь то запросы к данным, выполнение SQL или другие операции.

https://dataflare.app/

@sqlhub

🖥 Открытая модель SQL-запросы из естественного языка

На HuggingFace вышла модель Text-to-SQL на 6.91 млрд. параметров.

Модель позволяет превращать обычный текстовый запрос к БД в SQL-выражение:

Вопрос: Выведи день, когда пришло больше всего пользователей

Ответ:
SELECT created_at::DATE AS day, COUNT(*) AS user_count
FROM users
GROUP BY day
ORDER BY user_count DESC
LIMIT 1;

Код:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("chatdb/natural-sql-7b")
model = AutoModelForCausalLM.from_pretrained(
"chatdb/natural-sql-7b",
device_map="auto",
torch_dtype=torch.float16,
)

#sql #llm

@sqlhub

🖥 Полезная шпаргалка PySpark

PySpark — это API Apache Spark, который представляет собой систему с открытым исходным кодом, применяемую для распределенной обработки больших данных.

#pyspark

▪Руководство по PySpark для начинающих

@sqlhub

🖥 Хотите остановить все часть транзакций, наапример, INSERT, UPDATE и DELETE?

Вы можете заблокировать их с помощью:

LOCK TABLE ... IN EXCLUSIVE MODE

Другие транзакции могут обращаться к таблице, пока вы не отмените блокировку.

#oracle #sql

@sqlhub

🔝 Полезные библиотеки для анализа данных.

▪fastparquet - библиотека, которая ускоряет ввод-вывод pandas примерно в 5 раз. fastparquet - это высокопроизводительная реализация формата Parquet на Python, предназначенная для бесперебойной работы с фреймами данных Pandas. Она обеспечивает быструю производительность чтения и записи, эффективное сжатие и поддержку широкого спектра типов данных.
▪SciencePlots - полезная библиотека для создания графиков matplotlib для презентаций, исследовательских работ.
▪CleverCSV - библиотека, которая устраняет различные ошибки синтаксического анализа при чтении CSV-файлов с помощью Pandas
▪PyGWalker - инструмент, который упрощает рабочий процесс анализа и визуализации данных в Jupyter Notebook, превращая фрейм данных pandas в пользовательский интерфейс в стиле Tableau для визуального исследования.
▪Feather - библиотека, которая предназначена для чтения и записи данных с устройств. Данная библиотека отлично подходит для перевода данных из одного языка в другой. Также она способна достаточно быстро считывать большие массивы данных
▪Dask - эта библиотека позволяет эффективно организовывать параллельные вычисления. Коллекции больших данных хранятся  здесь как параллельные массивы/списки и позволяют работать с ними через Numpy/Pandas
▪Ibis - обеспечивает доступ между локальным окружение в Python и удаленными хранилищами данных (например, Hadoop)
▪Lightwood - AutoML фреймворк, который принимает на вход данные, целевую переменную и генерирует для вас целый конвейер машинного обучения.
▪Taipy — инструмент, который позволяет дата-сайентистам создавать интерактивный Web UI для ML-проектов.

@sqlhub

🖥 Sql тренажеры для практики

▪sql-academy.org
▪sql-ex.ru
▪schoolsw3.com
▪SQL Fiddle
▪sqltest.online
▪Oracle LiveSQL
▪stratascratch.com
▪stepik.org (Интерактивный тренажер SQL)
▪sql-practice.com
▪pgexercises.com
▪HackerRank
▪sqlzoo.net

@sqlhub

🖥 Toolong

Полезный инструмен, который упрощает работу с логами.

Предоставляет возможность эффективного взаимодействия с большими объёмами данных логирования прямо из терминала.

pip install toolong

▪ Github

@sqlhub

🖥 GQL - Git Query Language

GQL — язык запросов с синтаксисом, который похож на SQL, с минималистичным движком для выполнения запросов к файлам .git вместо файлов базы данных.

Этот движок выполняет запрос «на лету» без необходимости создавать файлы базы данных или конвертировать файлы .git в любой другой формат.

▪Github
▪Документация

@sqlhub