Data Science. SQL hub
35.9K subscribers
913 photos
49 videos
37 files
972 links
По всем вопросам- @workakkk

@itchannels_telegram - 🔥лучшие ит-каналы

@ai_machinelearning_big_data - Machine learning

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

РКН: https://vk.cc/cIi9vo
Download Telegram
💻Установка PostgreSQL из исходников

Держите полезную статью о том, как собрать PostgreSQL 16 версии из исходников, инициализировать кластер и запустить его на сервере Debian 12

Причины по которым вам может понадобится собирать PostgreSQL из исходников:
для дистрибутива нет готового пакета;
нужно собрать PostgreSQL с нестандартными параметрами.

План статьи
├╼ Сборка и установка
├╼ Создание кластера
├╼ Запуск и остановка кластера
├╼ Установка расширений PostgreSQL
├╼ Создание и запуск второго кластера
╰╼ Создание службы SystemD для кластеров

📎 Статья

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍4🥰4🤯2
💻Эксперименты с временными таблицами PostgreSQL

Чтобы лучше понять работу TEMP TABLE в PostgreSQL, нужно просто поглубже в них погрузиться, проверить разные гипотезы — именно с практикой и придёт понимание.
Так что держите — здесь подробное исследование TEMP TABLE, рассмотрение временных таблиц под разными углами

📎 Исследование
🖥 GitHub

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍4🔥2
💻Маленькая загадка для любителей PostgreSQL

🟡В таблице получилось дублирование cat_id, хотя это primary key. Что должно быть на месте -- do some things, чтобы это было возможно?
CREATE TABLE cats (
cat_id bigint,
name varchar(128) NOT NULL,
PRIMARY KEY (cat_id)
);

INSERT INTO cats VALUES (1, 'Tihon'), (2, 'Marfa');

SELECT * FROM cats;
cat_id | name
--------+-------
1 | Tihon
2 | Marfa
(2 rows)

-- do some things

SELECT * FROM cats;
cat_id | name
--------+--------
1 | Tihon
2 | Marfa
1 | Tihon2
(3 rows)


Для такого эффекта на месте --do some things должно быть наследование таблиц. Понятно же, почему так происходит?

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔17👍65🔥2👏1
👣 goqu — go-библиотека для построения и выполнения SQL-запросов

go get -u github.com/doug-martin/goqu/v9

Без проблем поддерживает Postgres, MySQL, SQLite3, SQLServer и кастомные диалекты

🖥 GitHub

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍143🔥2
🖥 SQL генератор

Выпущена Sqlcode 8b на базе Llama-3!

Вероятно, это лучшая на данный момент модель размером <10B для преобразования текста в SQL.

Работает лучше, чем gpt-4-turbo и claude opus для генерации SQL запросов.

Github: https://github.com/defog-ai/sql-eval
Weights: https://huggingface.co/defog/llama-3-sqlcoder-8b/
Demo (optimized for postgres): https://defog.ai/sqlcoder-demo/

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍124🔥2
💻 Настройка производительности PostgreSQL: max и group by

Анализ временных рядов в PostgreSQL может предоставить ценную информацию, помочь в принятии обоснованных решений и более глубоком понимании данных. Используя мощные возможности PostgreSQL, мы можем эффективно запрашивать все типы данных измерений для отслеживания тенденций, закономерностей и аномалий во времени.

▶️ Но есть одно требование

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍73🔥2
💻 Supabase вышел из беты

Совсем недавно вышел из беты Supabase — open-source инструмент на базе PostgreSQL, альтернатива Firebase.
Инструмент предоставляет разработчикам различные сервисы и утилиты, которые упрощают процесс создания и запуска приложений.

Примечательно то, что больше трети проектов из последнего батча YC используют именно Supabase. Кажется, это яркое подтверждение тезиса об упрощении разработки (ну или маркетологи компании хорошо постарались). Так что, если делаете стартап, и не используете Supabase, то можно задать вопросы CTO, почему он не делает как «лучшие» стартапы, которых отобрал YC.

🖥 GitHub

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍164🔥4
This media is not supported in your browser
VIEW IN TELEGRAM
💻 Kysely — типобезопасный скриптовый конструктор SQL-запросов

Kysely — это безопасный для типов и удобный для автозаполнения построитель SQL-запросов на TypeScript. Создан под вдохновением от Knex. В основном разработан для node.js, но также работает во всех других JavaScript-окружениях, таких как deno и bun.

🖥 GitHub
🟡 Доки

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍134🔥1
💻PostgREST — REST API для любой Postgres БД

PostgREST обеспечивает полностью RESTful API из любой существующей базы данных PostgreSQL.
Он предоставляет более чистый, соответствующий стандартам и быстрый API, чем тот, который вы можете написать с нуля.

🖥 GitHub
🟡 Доки

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍154🔥1
💻Psycopg 3 — адаптер PostgreSQL для Python

pip install "psycopg[binary,pool]"

Psycopg 3 — это реализация самого используемого, надежного и многофункционального адаптера PostgreSQL для Python.

🖥 GitHub
🟡 Доки

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
11👍4
🖥 SQLGlot — парсер, оптимизатор и движок SQL на Python

pip3 install "sqlglot[rs]"

SQLGlot может использоваться для форматирования SQL или перевода между 21 различными диалектами, в том числе DuckDB, Presto / Trino, Spark / Databricks, Snowflake и BigQuery. Он предназначен для чтения широкого спектра входных данных SQL и вывода синтаксически и семантически корректного SQL на целевых диалектах.

SQLGlot — это очень полный общий парсер SQL с надежным набором тестов. Он также достаточно производителен (за счёт токенизатора на Rust) и при этом написан исключительно на Python.

Вы можете легко настраивать парсер, анализировать запросы, обходить деревья выражений и программно создавать SQL.

Синтаксические ошибки подсвечиваются, несовместимость диалектов отображается, однако SQLGlot не стремится быть валидатором SQL, поэтому он может не обнаружить некоторые синтаксические ошибки.

🖥 GitHub

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍123🔥2
💻SQLCheck — поиск антипаттернов в запросе

Инструмент на C++ для выявления антипаттернов в SQL

SQLCheck имеет такие зависимости:
• g++ 4.9+
• cmake (установка)

🖥 GitHub

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍113🔥1
💻Patroni — создание high availability решений PostgreSQL

pip install patroni[dependencies]

Patroni — это шаблон для создания high availability решений PostgreSQL с использованием Python.
Для максимальной доступности Patroni поддерживает различные распределенные хранилища конфигурации, такие как ZooKeeper, etcd, Consul или Kubernetes.

Patroni особенно актуален для инженеров баз данных, DBA, DevOps и SRE, которые хотят быстро развернуть HA PostgreSQL в центрах обработки данных.

Поддерживает версии PostgreSQL от 9.3 до 16

🖥 GitHub
🟡 Доки

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍103🥰1
💻 DbGate — open-source менеджер SQL и NoSQL БД

DbGate — это кроссплатформенный менеджер баз данных. Разработан, чтобы быть простым в использовании и эффективным при работе с несколькими БД одновременно.
Также имеет множество дополнительных функций, таких как сравнение схем, визуальный конструктор запросов, визуализация графиков или пакетный экспорт и импорт.

Поддерживает MySQL, PostgreSQL, SQL Server, MongoDB, SQLite и других.
Работает под Windows, Linux, Mac и как веб-приложение.

🖥 GitHub
🟡 Запустить онлайн

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍114🔥1🥰1