Data Science. SQL hub
35.9K subscribers
914 photos
49 videos
37 files
973 links
По всем вопросам- @workakkk

@itchannels_telegram - 🔥лучшие ит-каналы

@ai_machinelearning_big_data - Machine learning

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

РКН: https://vk.cc/cIi9vo
Download Telegram
🖥 CH-UI — это веб-интерфейс для управления базами данных ClickHouse, который предоставляет удобные инструменты для выполнения SQL-запросов, мониторинга производительности и визуализации данных!

🌟 Он оснащен интеллектуальным редактором запросов с подсветкой синтаксиса, автодополнением и историей команд, что делает работу с ClickHouse более комфортной и эффективной.

🔐 Лицензия: MIT

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10👍1
🖥 DrawDB — это система управления базами данных, ориентированная на визуализацию и моделирование данных!

🌟 Она позволяет пользователям создавать базы данных с использованием графического интерфейса, что делает процесс проектирования и взаимодействия с данными более интуитивно понятным. DrawDB может быть полезна для разработчиков, которым нужно быстро создать или визуализировать структуру базы данных без углубленного знания SQL.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥2🥰1
This media is not supported in your browser
VIEW IN TELEGRAM
🌟 14 алгоритмов сортировки в одной минуте!

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍364🥰1
👣 qdrant: Qdrant - высокопроизводительная, масштабная векторная база данных и векторная поисковая система для следующего поколения ИИ.

Также доступна в облаке https://cloud.qdrant.io ★21546

pip install qdrant-client

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍93😁2🔥1
🖥 Hector RAG — это фреймворк для создания систем генерации текста с дополнением извлеченной информацией (Retrieval Augmented Generation, RAG), построенный на базе PostgreSQL. Он предоставляет расширенные методы поиска и объединения данных для разработки AI-приложений!

🔐 Лицензия: MIT

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍3🔥2
🔥 Prophet — это библиотека для прогнозирования временных рядов!

🌟 Она предназначена для автоматического выявления сезонности, трендов и аномалий в данных, облегчая процесс прогнозирования даже для пользователей без глубоких знаний в области статистики.

🔐 Лицензия: MIT

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍51🥰1
🔥 Prophet — это библиотека для прогнозирования временных рядов!

🌟 Она предназначена для автоматического выявления сезонности, трендов и аномалий в данных, облегчая процесс прогнозирования даже для пользователей без глубоких знаний в области статистики.

🔐 Лицензия: MIT

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥3🤬2
⚡️ RushDB — это мгновенная база данных, построенная на базе Neo4j, не требующая моделирования, конфигураций, нормализаций данных и идеально подходит для разработки приложений, DS/ML Ops и быстрого прототипирования.

🌟 Принимает любые данные формате JSON, JSONB и CSV, и самостоятельно нормализует данные, создавая связи между данными, расставляет типы данных и лэйблы на основе передаваемых данных.

☁️ Доступна в облаке и селф-хостед.
🛠 API-first и удобные SDK для разработчиков: Python и TypeScript
🚀 Отлично подходит для стартапов, AI-команд и всех, кто работает с графами

🔐 Лицензия: Apache-2.0

🟢 GitHub
🟢Website
📖Docs
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥54
🖥 Outerbase Studio — это браузерный графический интерфейс для управления SQL-базами данных, разработанный для простоты и универсальности! Изначально созданный для LibSQL и SQLite, он теперь поддерживает широкий спектр баз данных, включая PostgreSQL и MySQL.

Основные возможности:

🌟 Редактор запросов: удобный интерфейс с автодополнением и подсказками функций, позволяющий выполнять несколько запросов одновременно и эффективно просматривать результаты.

🌟 Редактор данных: позволяет вносить изменения в данные с возможностью предварительного просмотра перед сохранением; оптимизирован для работы с большими объемами данных.

🌟 Редактор схемы: обеспечивает быстрое создание, изменение и удаление столбцов таблиц без необходимости писать SQL-код.

🌟 Менеджер подключений: гибко управляет подключениями, позволяя сохранять их локально в браузере или на сервере для совместного использования на разных устройствах.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍103🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Классный сайт для тренировки навыков SQL.

На сайте размещены задачи, которые решаются через базу данных больницы.

Уровни сложности разные — от простых запросов с SELECT до по-настоящему сложных.
Берём на вооружение для практики!

https://www.sql-practice.com/

@sqlhub
👍347🔥4
🔥 ERD Lab — это бесплатный онлайн-инструмент, предназначенный для профессионального проектирования и визуализации баз данных с использованием диаграмм "сущность-связь" (ERD)! Он позволяет импортировать существующие SQL-скрипты или создавать новые базы данных без необходимости писать код, что упрощает процесс разработки и документирования структур данных.

🔗 Ссылка: *клик*

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6
🖥 Шпаргалка по последовательности выполнения SQL запроса!

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍574🔥3
Как построить конвейер ETL (Extract, Transform and Load) из SQL Server в Postgres?

💡 Узнайте, как создать конвейер ETL с PySpark для извлечения данных из SQL Server, их преобразования и загрузки в базу данных Postgres. Используйте распределенную мощь Spark для бесперебойной обработки больших наборов данных!

🕞 Продолжительность: 8:32

🔗 Ссылка: *клик*

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
4
🐼 Pandas умирает медленной и мучительной смертью.

Это самая популярная в мире библиотека обработки данных, но она медленная, и многие библиотеки значительно превзошли ее.

Проблема альтернатив Pandas в том, что никто не хочет изучать новый API.

Давайте посмотрим правде в глаза: люди не будут переносить свои проекты, га другие фреймворки, без особой причины.

Я уже давно работаю с FireDucks 🦆

Эта библиотека в разы быстрее Pandas, и вам не придется менять код старых проектов для перехода на нее.

Вы можете изменить *одну* строку кода и весь остальной код будет работать на FireDucks :


import fireducks.pandas as pd


Вы также можете запустить свой код *не* изменяя ни одной строки, используя хук:

python 
$ python -mfireducks.imhook yourfile[.]py


FireDucks — это многопоточная библиотека с ускорением компилятора и полностью совместимым с pandas API.

Она быстрее, чем Polars. Ниже приведена ссылка на некоторые бенчмарки, сравнивающие Pandas, Polars и FireDucks.

FireDucks побеждает с отрывом.

⛓️Здесь находится репозиторий FireDucks на GitHub:
https://github.com/fireducks-dev/fireducks

⛓️Если вы хотите пощупать либу, откройте этот пример:
https://github.com/fireducks-dev/fireducks/tree/main/notebooks/nyc_demo

⛓️Если вы хотите сравнить FireDucks с Polars и Pandas, вот еще один блокнот:
https://github.com/fireducks-dev/fireducks/blob/main/notebooks/FireDucks_vs_Pandas_vs_Polars.ipynb

⛓️И наконец, бенчмарки, с которыми стоит ознакомиться:

https://fireducks-dev.github.io/docs/benchmarks/

@sqlhub

#fireducks #Pandas #dataanalysis #datascience #python #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
👎21🤔13👍8👏1😁1
🖥SuperMassive — это распределенная, масштабируемая, устойчивая к сбоям и самовосстанавливающаяся база данных ключ-значение, работающая в оперативной памяти! Она предназначена для обработки больших объемов критически важных данных с низкой задержкой.

🔐 Лицензия: BSD-3-Clause

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍83🔥3
🔥 MetaGPT — это фреймворк, который преобразует простое текстовое описание задачи в полный пакет проектной документации и кода!

🌟 Он моделирует работу IT-компании, назначая различные роли, такие как менеджер продукта, менеджер проекта, инженер и другие, каждому из которых соответствует агент на основе большой языковой модели. Эти агенты взаимодействуют друг с другом, следуя стандартизированным операционным процедурам (SOP), что позволяет эффективно разрабатывать сложные программные продукты.

🔐 Лицензия: MIT

🖥 Github
Please open Telegram to view this post
VIEW IN TELEGRAM
👍82
🖥SQL Noir — это интерактивная игра с открытым исходным кодом, в которой вы выступаете в роли детектива, решающего преступления с помощью SQL-запросов!

🌟 Каждое дело представляет уникальный сценарий преступления и базу данных с уликами, где ваша задача — выявлять подозрительные закономерности, отслеживать отсутствующие записи, связывать подозреваемых и раскрывать мошеннические операции, используя SQL.

🔗 Ссылка: *клик*

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥253👍1
🔥 Smallpond — это легковесный фреймворк для обработки данных, разработанный на основе DuckDB и 3FS!

🌟 Он обеспечивает высокопроизводительную обработку данных и масштабируемость для работы с наборами данных петабайтного масштаба. Фреймворк упрощает операции, не требуя длительно работающих сервисов.

🔐 Лицензия: MIT

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41🔥1
🖥 FalkorDB — это масштабируемая графовая база данных с низкой задержкой, предназначенная для команд разработчиков, управляющих структурированными и неструктурированными взаимосвязанными данными в реальном времени или интерактивных средах!

🌟 Она использует разреженные матрицы для представления матриц смежности и линейную алгебру для выполнения запросов, что обеспечивает высокую производительность и эффективность.

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥1
🔥 Meta Learning: Deep Learning Guide — практическое руководство по освоению машинного и глубокого обучения!

🌟 Автор делится своим опытом, начиная с изучения программирования в 29 лет и достигая успехов в соревнованиях Kaggle. Основные темы включают эффективные стратегии обучения, улучшение навыков разработки, выбор инструментов, работу с сообществом, поиск наставников и построение карьеры без формального образования.

🔗 Ссылка: *клик*

#machinelearning #deeplearning
Please open Telegram to view this post
VIEW IN TELEGRAM
👍32
Defog Introspect

Defog Introspect позиционируется как сервис для глубокого исследования ваших данных. Он позволяет:

- Анализировать структурированные данные: Поддерживаются популярные СУБД (PostgreSQL, MySQL, SQLite, BigQuery, Redshift, Snowflake, Databricks) и файлы форматов CSV/Excel.
- Работать с неструктурированными данными: Интеграция PDF-документов, что позволяет получать дополнительные сведения из документации или отчетов.
- Выполнять поиск в интернете: Инструмент способен обращаться к веб-источникам для получения дополнительного контекста, что расширяет возможности анализа данных.
Источник:

Как это работает?
Инструмент использует "умного" AI-агента, который может:

- Преобразовывать текстовые запросы в SQL-запросы (инструмент text_to_sql), что упрощает работу с базами данных.
- Использовать веб-поиск (инструмент web_search) для поиска дополнительной информации и контекста.
- Анализировать PDF-файлы (инструмент pdf_with_citations) с возможностью цитирования источников.
Для реализации этих функций используются передовые модели, такие как:

o3-mini для преобразования текста в SQL.
gemini-2.0-flash для веб-поиска.
claude-3-7-sonnet для работы с PDF и общей оркестрации запросов.
Источник:

https://github.com/defog-ai/introspect

@sqlhub
👍8👎21🔥1