Data Science. SQL hub
35.9K subscribers
913 photos
48 videos
37 files
971 links
По всем вопросам- @workakkk

@itchannels_telegram - 🔥лучшие ит-каналы

@ai_machinelearning_big_data - Machine learning

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

РКН: https://vk.cc/cIi9vo
Download Telegram
💻 Настройка логической репликации PostgreSQL

Репликация PostgreSQL представляет из себя способ реализации отказоустойчивого кластера. Инструкция написана на примере PostgreSQL 14, но она также будет работать для PostgreSQL более ранних версий (до 10).

Логическая репликация добавлена в PostgreSQL с версии 10. Она позволяет:
🟡Объединить несколько баз в одну.

🟡Использовать особые условия для передачи данных подписчику.

🟡Дать доступ к реплицированным данным другим группам пользователей.

🟡Разделить данные из нескольких баз между несколькими другими базами данных.

🟡Передать инкрементальные изменения в одной или нескольких базах в момент редактирования информации.

🟡Упростить условия для настройки репликации: могут использоваться разные мажорные версии PostgreSQL, а также платформы операционных систем.

Используемые в данном руководстве команды, применимы для операционных систем Linux. Если PostgreSQL работает под Windows, данную инструкцию можно использовать как шпаргалку для настройки конфигурационных файлов СУБД.

📎 Перейти к настройке репликации

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍5🔥2
💻Промпт — в SQL-запрос при помощи Chat2DB

🟡Chat2DB — AI-инструмент, который позволяет преобразовывать промпты на естественном языке в SQL-запросы.
Позволяет легко манипулировать данными, создавать отчёты и проводить анализ без знания SQL.

🟡Для pro-версии есть нативное приложение, pro-версия поддерживает все популярные СУБД:
MySQL, PostgreSQL, H2, SQLite, MariaDB, ClickHouse, MongoDB, Redis, Snowflake и остальные

🖥 GitHub
🟡 Доки
🟡 Протестировать можно тут

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥74👍2😢1
Forwarded from Golang
👣 sqlc — генерирование типобезопасного кода из SQL

go install github.com/sqlc-dev/sqlc/cmd/sqlc@latest

sqlc позволяет создавать полностью безопасный для типов идиоматический Go-код из SQL.
Как это работает:
— пишем SQL-запрос
— запускаем sqlc для генерации Go-кода
— теперь можем вызывать методы, созданные sqlc, из другого приложения

🖥 GitHub
🟡 Доки
🟡 Демонстрация

@Golang_google
Please open Telegram to view this post
VIEW IN TELEGRAM
👍53🔥2
⚡️ Тинькофф разбор заданий на стажировку!

Видео
Задачи

@machinelearning_interview
👍95🔥3👎2
💻pgvector — расширение PostgreSQL для работы с векторами

Open-source решение для хранения и поиска векторов в Postgres.

Сами данные для векторов можно получить, например, из ML-модели и вставить в таблицу с колонкой типа vector.
Или данные можно создать в PostgreSQL как гистограмму определенных категорий. В этом случае можно значения в массивах real[], integer[] или double precision[], numeric[] привести к типу ::vector.

🖥 GitHub
🟡 Пример использования pgvector на Хабре

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍84🔥2
💻Установка PostgreSQL из исходников

Держите полезную статью о том, как собрать PostgreSQL 16 версии из исходников, инициализировать кластер и запустить его на сервере Debian 12

Причины по которым вам может понадобится собирать PostgreSQL из исходников:
для дистрибутива нет готового пакета;
нужно собрать PostgreSQL с нестандартными параметрами.

План статьи
├╼ Сборка и установка
├╼ Создание кластера
├╼ Запуск и остановка кластера
├╼ Установка расширений PostgreSQL
├╼ Создание и запуск второго кластера
╰╼ Создание службы SystemD для кластеров

📎 Статья

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍4🥰4🤯2
💻Эксперименты с временными таблицами PostgreSQL

Чтобы лучше понять работу TEMP TABLE в PostgreSQL, нужно просто поглубже в них погрузиться, проверить разные гипотезы — именно с практикой и придёт понимание.
Так что держите — здесь подробное исследование TEMP TABLE, рассмотрение временных таблиц под разными углами

📎 Исследование
🖥 GitHub

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍4🔥2
💻Маленькая загадка для любителей PostgreSQL

🟡В таблице получилось дублирование cat_id, хотя это primary key. Что должно быть на месте -- do some things, чтобы это было возможно?
CREATE TABLE cats (
cat_id bigint,
name varchar(128) NOT NULL,
PRIMARY KEY (cat_id)
);

INSERT INTO cats VALUES (1, 'Tihon'), (2, 'Marfa');

SELECT * FROM cats;
cat_id | name
--------+-------
1 | Tihon
2 | Marfa
(2 rows)

-- do some things

SELECT * FROM cats;
cat_id | name
--------+--------
1 | Tihon
2 | Marfa
1 | Tihon2
(3 rows)


Для такого эффекта на месте --do some things должно быть наследование таблиц. Понятно же, почему так происходит?

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔17👍65🔥2👏1
👣 goqu — go-библиотека для построения и выполнения SQL-запросов

go get -u github.com/doug-martin/goqu/v9

Без проблем поддерживает Postgres, MySQL, SQLite3, SQLServer и кастомные диалекты

🖥 GitHub

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍143🔥2
🖥 SQL генератор

Выпущена Sqlcode 8b на базе Llama-3!

Вероятно, это лучшая на данный момент модель размером <10B для преобразования текста в SQL.

Работает лучше, чем gpt-4-turbo и claude opus для генерации SQL запросов.

Github: https://github.com/defog-ai/sql-eval
Weights: https://huggingface.co/defog/llama-3-sqlcoder-8b/
Demo (optimized for postgres): https://defog.ai/sqlcoder-demo/

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍124🔥2
💻 Настройка производительности PostgreSQL: max и group by

Анализ временных рядов в PostgreSQL может предоставить ценную информацию, помочь в принятии обоснованных решений и более глубоком понимании данных. Используя мощные возможности PostgreSQL, мы можем эффективно запрашивать все типы данных измерений для отслеживания тенденций, закономерностей и аномалий во времени.

▶️ Но есть одно требование

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍73🔥2
💻 Supabase вышел из беты

Совсем недавно вышел из беты Supabase — open-source инструмент на базе PostgreSQL, альтернатива Firebase.
Инструмент предоставляет разработчикам различные сервисы и утилиты, которые упрощают процесс создания и запуска приложений.

Примечательно то, что больше трети проектов из последнего батча YC используют именно Supabase. Кажется, это яркое подтверждение тезиса об упрощении разработки (ну или маркетологи компании хорошо постарались). Так что, если делаете стартап, и не используете Supabase, то можно задать вопросы CTO, почему он не делает как «лучшие» стартапы, которых отобрал YC.

🖥 GitHub

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍164🔥4
This media is not supported in your browser
VIEW IN TELEGRAM
💻 Kysely — типобезопасный скриптовый конструктор SQL-запросов

Kysely — это безопасный для типов и удобный для автозаполнения построитель SQL-запросов на TypeScript. Создан под вдохновением от Knex. В основном разработан для node.js, но также работает во всех других JavaScript-окружениях, таких как deno и bun.

🖥 GitHub
🟡 Доки

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍134🔥1