🖥 Sql тренажеры для практики

▪sql-academy.org
▪sql-ex.ru
▪schoolsw3.com
▪SQL Fiddle
▪sqltest.online
▪Oracle LiveSQL
▪stratascratch.com
▪stepik.org (Интерактивный тренажер SQL)
▪sql-practice.com
▪pgexercises.com
▪HackerRank
▪sqlzoo.net

@sqlhub

🖥 Toolong

Полезный инструмен, который упрощает работу с логами.

Предоставляет возможность эффективного взаимодействия с большими объёмами данных логирования прямо из терминала.

pip install toolong

▪ Github

@sqlhub

🖥 GQL - Git Query Language

GQL — язык запросов с синтаксисом, который похож на SQL, с минималистичным движком для выполнения запросов к файлам .git вместо файлов базы данных.

Этот движок выполняет запрос «на лету» без необходимости создавать файлы базы данных или конвертировать файлы .git в любой другой формат.

▪Github
▪Документация

@sqlhub

🖥 Panel: The powerful data exploration & web app framework for Python

Блокноты Jupyter отлично подходят для изучения данных.
Но они не так хороши для визуализации данных.

Попробуйте библиотеку с открытым исходным кодом на Python, которая поможет вам создавать информативные дашборды ↓

▪ Github

pip install panel

@sqlhub

🔑 Знание регулярных выражений поднимает вас над общей серой массой, так что не бойтесь выделяться)

Regex и ~ в SQL помогут вам найти абсолютно всё, вот примеры некоторых особенно полезных регулярок:

🔵типичное имя пользователя — ^[a-z0-9_-]{3,16}$; начало строки (^), потом любая буква (a-z), число (0-9), символ подчёркивания/дефис. Нам нужно от 3 до 16 этих символов ({3,16}), потом конец строки ($)

🔵^[a-z0-9_-]{6,18}$ — типичный пароль, должно быть от 6 до 18 символов

🔵^([a-z0-9_\.-]+)@([\da-z\.-]+)\.([a-z\.]{2,6})$ — типичный email;
под это выражение подходит [email protected],
не подходит [email protected] (TLD длинный)

🔵^(https?:\/\/)?([\da-z\.-]+)\.([a-z\.]{2,6})([\/\w \.-]*)*\/?$ — типичный URL из латинских букв;
https://net.tutsplus.com/about подходит под это выражение
https://google.com/some/file!.html не подходит под это выражение

🔵^<([a-z]+)([^<]+)*(?:>(.*)<\/\1>|\s+\/>)$ — тег html

Вообще, есть очень удобный сайт regex101.com для составления regex, use it

@sqlhub

🖥 Генераторы данных с открытым исходным кодом!

🟡Mimesis - надежный генератор данных для Python, который может создавать широкий спектр поддельных данных на различных языках.

🟡Spawner - инструмент для создания данных для разнообразных баз данных и искусственного интеллекта. Содержит широкий набор полей, включая возможность пользовательской настройки вручную.

🟡Benerator - генератор текстовых данных для оценки, тестирования и обучения ИИ-моделей.

🟡DataFactory - удобный способ создавать разнообразные наборы тестовых данных для наполнения баз данных и проверки ИИ-моделей.

🟡MockNeat - простой интерфейс для программной генерации данных в форматах json, xml, csv и sql.

🟡Faker - с помощью этого инструмента можно быстро создать фейковые данные для тестов.

@sqlhub

🖥 Как можно избежать усложнения запроса лишними CASE

Тут ниже представлена попытка заNULLить значение, если оно равно чему-то.

, CASE WHEN sdate = '1900-01-01' THEN NULL ELSE sdate END sdate
, CASE WHEN mdate = '1900-01-01' THEN NULL ELSE mdate END mdate

Но ведь в PostgreSQL есть функция nullif, которая делает ровно то же самое.
NULLIF(значение1, значение2)

Функция NULLIF выдаёт значение NULL, если значение1 равно значение2; в противном случае она возвращает значение1. Это может быть полезно для реализации обратной операции к COALESCE. В частности, для примера, показанного выше:

SELECT NULLIF(value, '(none)') ...

В данном примере если value равно (none), выдаётся null, а иначе возвращается значение value.

То есть в примере выше можно переписать короче и понятнее:

, NULLIF(sdate, '1900-01-01') sdate
, NULLIF(mdate, '1900-01-01') mdate

#PostgreSQL

@sqlhub

🖥 Огромное количество полезных шпаргалок для разработчиков

Отличный сборник шпаргалок, в том числе по SQL, для повышения производительности и быстрого запоминания в процессе работы.

▪Github
▪SQL

@sqlhub

📈 PyGraphistry: Explore Relationships

PyGraphistry полезная это библиотека Python с ИИ для визуальных графов, позволяющая извлекать, преобразовывать, анализировать и визуализировать большие графы вместе со сквозными сеансами графического сервера Graphistry.

Библиотека создана специально для больших графов.

Пользовательский механизм рендеринга WebGL клиента рендерит до 8 миллионов узлов + ребер за раз, а большинство клиентских GPU поддерживают от 100 000 до 2 миллионов элементов.

Мощный механизм аналитики графического процессора на стороне сервера поддерживает графы еще большего размера.

Graphistry сглаживает графические рабочие процессы в экосистеме PyData, включая датафреймы Pandas/Spark/Dask, графического процессора Nvidia RAPIDS, графы GPU, графовые нейросети DGL/PyTorch и различные коннекторы данных.

PyGraphistry — это дружественный и оптимизированный нативный интерфейс PyData для API-интерфейсов REST Graphistry, не зависящих от языка. Можно использовать PyGraphistry с традиционными источниками данных Python, такими как CSV, SQL, Neo4j, Splunk и другими.

▪Github

@sqlhub

🖥 Если вдруг вам понадобилось базу IP2Location перевести из DECIMAL-представления IP-адресов в "родной" для PostgreSQL тип inet, то для IPv4-адресов все будет тривиально:

'0.0.0.0'::inet + ipnum::bigint

А вот для преобразования числа к формату IPv6-адреса придется проявить немного изобретательности:
— "математически" разбиваем число на 8 двухбайтовых сегментов по (2 ^ 16) ^ i
— каждое значение преобразуем в шестнадцатеричную систему счисления и добиваем лидирующими нулями
— склеиваем сегменты через двоеточие и кастуем к inet

array_to_string(ARRAY(
  SELECT
    lpad(to_hex(trunc(
      ipnum % (2::numeric(39,0) ^ ((i + 1) * 16)) / (2::numeric(39,0) ^ (i * 16))
    )::integer), 4, '0')
  FROM
    generate_series(7, 0, -1) i
), ':')::inet

В принципе, после этого мы можем "свернуть" ip_from и ip_to в подсеть, не обращая внимания на исходный формат:

inet_merge(ip_from, ip_to) subnet

А если проиндексируем эти подсети с помощью gist...

CREATE INDEX ON country_inet USING gist(subnet inet_ops);

... то сможем по индексу быстро определять принадлежность произвольного IPv4/IPv6-адреса подсетям с помощью соответствующих операторов примерно таким запросом:

SELECT
  *
FROM
  country_inet
WHERE
  subnet >> '8.8.8.8' AND
  country <> '-'
ORDER BY
  masklen(subnet) DESC
LIMIT 1;

@sqlhub

🖥 sqlite-web - это веб-браузер баз данных SQLite, написанный на Python.

▪Работает с существующими базами данных SQLite или может использоваться для создания новых баз данных.
▪Экспорт данных в формате JSON или CSV.
▪Импорт файлов JSON или CSV.

$ pip install sqlite-web

▪Github

@sqlhub