Data Science. SQL hub
35.8K subscribers
915 photos
49 videos
37 files
974 links
По всем вопросам- @workakkk

@itchannels_telegram - 🔥лучшие ит-каналы

@ai_machinelearning_big_data - Machine learning

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

РКН: https://vk.cc/cIi9vo
Download Telegram
🖥 introduction-to-sql — введение в SQL бесплатная книга, которая поможет вам освоить основы SQL и начать использовать реляционные базы данных в ваших проектах SysOps, DevOps и другой разработке.

Независимо от того, работаете ли вы инженером DevOps/SysOps, разработчиком или просто увлекаетесь Linux, SQL, скорее всего, понадобится вам на каком-то этапе карьеры.

Это руководство подходит для всех, кто работает разработчиком, системным администратором или инженером DevOps и хочет изучить основы SQL.

GitHub

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍103👎2🔥2
💻 Kvrocks — распределенная БД NoSQL, использующая RocksDB в качестве механизма хранения и совместимая с протоколом Redis

Apache Kvrocks — это распределенная key-value БД, которую можно использовать вместо Redis.
Дизайн репликации и хранения был вдохновлен rocksplicator и blackwidow.

Особенности Kvrocks:

— Совместимость с Redis: можно получить доступ к Apache Kvrocks через любой клиент Redis.

— Пространство имен: аналогично Redis SELECT, но с токеном для каждого пространства имен.

— асинхронная репликация с использованием binlog, как в MySQL.

— поддержка Redis sentinel для аварийного переключения при сбое ведущего или ведомого устройства.

Быстрый старт с Docker:
docker run -it -p 6666:6666 apache/kvrocks --bind 0.0.0.0


🖥 GitHub
🟡 Доки

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍104🥰2
💻FrostDB — встраиваемая колоночная БД, написанная на Go

Построенная поверх Apache Arrow, FrostDB предоставляет конструктор запросов и различные оптимизаторы (использующие DataFrame-подобные API).

В первую очередь, FrostDB оптимизирована для записи.
FrostDB поддерживает сбрасывание данных во внешнее объектное хранилище типа S3.

🖥 GitHub

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍74🔥1
💻Vectorlite — быстрое и настраиваемое расширение SQLite для векторного поиска

pip install vectorlite-py

Vectorlite — это расширение для SQLite, которое обеспечивает быстрый векторный поиск на основе hnswlib и работает под Windows, MacOS и Linux.

🖥 GitHub

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍85🔥3
SQL_big_cheatsheet.pdf
1.5 MB
⚡️Большая шпаргалка по SQL с примерами запросов и объяснением

@sqlhub
17👍10🔥7
🖥 Pgroll - это полезная CLI утилита с открытым исходным кодом, предназначенная для безопасных и обратимых миграций схем для PostgreSQL, которая поддерживает работу с несколькими версиями схем одновременно.

Она способна выполнять сложные операции миграции, гарантируя, что клиентские приложения продолжат функционировать во время обновления схемы базы данных.

Это достигается без блокировки базы данных и позволяет старым и новым версиям схемы работать одновременно, даже при внесении критических изменений. Это устраняет риски, связанные с миграциями схем, и значительно упрощает развертывание клиентских приложений, предоставляя возможность мгновенного отката.

Основные функции Pgroll включают:

- Миграции без простоев (без блокировки базы данных, без критических изменений).
- Поддержка одновременной работы старых и новых версий схемы.
- Автоматическое заполнение столбцов при необходимости.
- Мгновенный откат в случае возникновения проблем во время миграции.
- Работа с существующими схемами, нет необходимости начинать с нуля.
- Совместимость с Postgres 14.0 и более поздними версиями.
- Работа с любым сервисом Postgres (включая RDS и Aurora).

Pgroll написана на языке программирования Go, является кроссплатформенной и не требует внешних зависимостей.

https://github.com/xataio/pgroll

#postgres #migration #базыданных

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥43
🖥 sqlite-vec

Чрезвычайно маленькое и "достаточно быстрое" расширение для векторного поиска SQLite, которое работает в любом месте!

Проект преемник sqlite-vss.

- Храните и запрашивайте float, int8 и двоичные векторы в виртуальных таблицах vec 0.
- Написан на чистом C, без зависимостей, работает везде, где работает SQLite (Linux/ macOS /Windows, в браузере с WASM, Raspberry Pis и т.д.)
- Предварительная фильтрация векторов с rowid В подзапросах (...)

Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍125🔥3
⚡️ Grafana

Это открытая и компонуемая платформа для наблюдения и визуализации данных.

Визуализируйте метрики, журналы и трассировки из нескольких источников, таких как Prometheus, Loki, Elasticsearch, InfluxDB, Postgres и многих других.

Github

@sqlhub
👍9🔥64
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ GitHub запускает Copilot Autofix для автоматического устранения ошибок в коде.

Инструмент анализирует код и предлагает решения для исправления ошибок, используя ИИ Copilot от GitHub, аналитический движок CodeQL и GPT-4.

Бета-тестирование показало, что инструмент сокращает время на поиск и устранение уязвимостей в три раза и более.

Например, вручную исправление ошибок XSS обычно занимает три часа, а с помощью Copilot Autofix это удалось сделать за 22 минуты. Время исправления дефектов SQL-инъекций сократилось с 4 часов до 18 минут.

Все это станет доступно бесплатно с сентября 2024 года для всех проектов с открытым исходным кодом, размещенных на платформе.

https://github.blog/news-insights/product-news/secure-code-more-than-three-times-faster-with-copilot-autofix/

@sqlhub
13🔥5🥰5👍3👎1
🖥 dbt-core

Громоздкие #SQL запросы трудно читать, понимать и поддерживать.

С помощью dbt вы можете использовать функцию ref, чтобы разбить длинный SQL-запросы на более мелкие компоненты, делая их более читаемыми и удобными для обслуживания.


-- models/total_order_amount.sql
SELECT
order_id,
customer_id,
SUM(order_amount) AS total_amount
FROM
raw_orders
GROUP BY order_id, customer_id


models/average_order_amount.sql:


-- models/average_order_amount.sql
SELECT
customer_id,
AVG(total_amount) AS avg_amount
FROM {{ ref('total_order_amount') }}
GROUP BY customer_id



Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13👍76👎4
MongoDB in Action

📖 Книга

@sqlbooks
👍144🔥3
Python_plus_MySQL-Database.pdf
123.5 KB
⚡️ Полезная шпаргалка по связке Python + MySQL

- Создание БД и таблиц
- Внесение, чтение, обновление и удаление данных
🔥17👍63
💻YugabyteDB — высокопроизводительная распределенная БД, которая поддерживает все возможности PostgreSQL

YugabyteDB отлично подходит для облачных OLTP-приложений (т. е. работающих в реальном времени и критически важных для бизнеса), которым необходима абсолютная корректность данных и требуется масштабируемость или высокая устойчивость к сбоям.

Быстрое создание локального кластера YugabyteDB с Docker:
docker run -d --name yugabyte -p7000:7000 -p9000:9000 -p15433:15433 -p5433:5433 -p9042:9042 \
yugabytedb/yugabyte:2.21.1.0-b271 bin/yugabyted start \
--background=false


🖥 GitHub
🟡 Доки

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍93🔥3
👣 RoseDB — высокопроизводительная NoSQL база данных на основе Bitcask

RoseDB поддерживает такие структуры данных, как string, list, hash, set и sorted set.
Написана RoseDB на Go

🖥 GitHub
🟡 Доки

@Golang_google
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍4🔥2
🖥 Crossed - это сверхвысокопроизводительная встраиваемая и серверная СУБД.

Она разработана для высокопроизводительных сценариев, когда в основной памяти может храниться вся база данных.

Особенности
- Поддержка нескольких ОС: Linux / Windows / macOS / FreeBSD и т.д
- Поддержка ARCH с несколькими процессорами: X86 / ARM / PPC / MIPS и т.д.
- Поддержка OnDisk / In-memory / RamDisk / гибридного хранилища
- Поддержка стандартной модели СУБД
- Поддержка MySQL
- Поддержка нескольких баз данных
- Поддержка хэширования и индекса RBTREE(TBD)
- Поддержка многоколоночного индекса
- Поддержка точного совпадения,
- Поддержка WALL для хранения данных на диске (TBD)
- Поддержка многопоточного доступа и доступа к нескольким процессам
- Поддержка блокировки чтения и записи на уровне таблиц
- Поддержка MVCC для чтения и записи
- Поддержка встроенной оболочки CrossDB
- Поддержка API с несколькими статусами
- Поддержка готовых API-интерфейсов Statments
- Сверхвысокая производительность
- Zero Config: никакой сложной конфигурации, все как из коробки

make
make install


Github
Please open Telegram to view this post
VIEW IN TELEGRAM
👍83🔥2