Data Science. SQL hub
35.8K subscribers
916 photos
49 videos
37 files
975 links
По всем вопросам- @workakkk

@itchannels_telegram - 🔥лучшие ит-каналы

@ai_machinelearning_big_data - Machine learning

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

РКН: https://vk.cc/cIi9vo
Download Telegram
🖥 Эта статья описывает, как создать документацию для базы данных с помощью инструмента DBdocs, используя язык DBML. Она демонстрирует, как автоматически генерировать документацию, что упрощает процесс документирования структуры базы данных

💡 В статье объясняется, как настроить DBML, создать документацию и делиться ею с командой для улучшения понимания структуры данных.

🔗 ссылка: *клик*

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍114🔥3
🖥 postgres-backup-local - это инструмент для создания резервных копий базы данных PostgreSQL в локальной файловой системе с автоматическим переключением между различными копиями.

Он позволяет делать резервные копии сразу нескольких баз данных с одного сервера, указывая их названия через запятую или пробел в переменной окружения POSTGRES_DB.

Также поддерживает выполнение вебхуков до и после выполнения задания, автоматически управляет ротацией и удалением устаревших копий. Инструмент работает под Docker и поддерживает архитектуры Linux: amd64, arm64, arm/v7, s390x, ppc64le.

🖥 GitHub: https://github.com/prodrigestivill/docker-postgres-backup-local

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍6🔥6
👣 Greenmask — это инструмент с открытым исходным кодом для маскировки данных, обфускации и логического резервного копирования баз данных PostgreSQL. Он предназначен для анонимизации конфиденциальной информации в дампах баз данных, что делает его полезным для подготовки данных к использованию в непродукционных средах, таких как разработка или тестирование

🔍 Основные возможности:

🌟 Маскирование и анонимизация данных: Обеспечивает защиту конфиденциальных данных при перемещении между различными средами

🌟 Детерминированные преобразователи: Используют хеш-функции для обеспечения повторяемости результатов

🌟 Кроссплатформенность

🌟 Отсутствие состояния и независимость от схемы: Не требует изменений в структуре базы данных и работает с утилитами PostgreSQL, такими как pg_dump и pg_restore

🌟 Параллельная обработка: Ускоряет процессы дампа и восстановления за счет параллельного выполнения задач

🔐 Лицензия: Apache-2.0

▪️Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
10👍8🔥5
🖥 EfCore.SchemaCompare — инструмент для сравнения схем баз данных Entity Framework Core (EF Core). Он позволяет проверять различия между базой данных и миграциями, обеспечивая удобный способ отслеживания изменений в схемах данных

🌟 Этот инструмент может быть полезен для управления версиями баз данных и предотвращения ошибок, связанных с несовпадением структуры данных при разработке приложений на EF Core

▪️GitHub

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍6🔥3👎1😁1
Please open Telegram to view this post
VIEW IN TELEGRAM
😁287👍4🔥2😱2
Какая разница между разными видами join?

🔹 (INNER) JOIN — возвращает строки, где значения совпадают в обеих таблицах.

🔹 LEFT (OUTER) JOIN — возвращает все строки из левой таблицы и те, что соответствуют условию из правой таблицы.

🔹 RIGHT (OUTER) JOIN — возвращает все строки из правой таблицы и те, что соответствуют условию из левой таблицы.

🔹 FULL (OUTER) JOIN — возвращает все строки, где есть совпадения в одной из таблиц.

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2711🔥7
This media is not supported in your browser
VIEW IN TELEGRAM
🖥 ChatGPT попросили написать SQL запросы для базы данных магазина. Ответ убил

🌟 Кажется, ии медленно уничтожает человечество...

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
😁85🥰9👍42
🖥 Использование PostrgreSQL для полнотекстового поиска в приложениях!

💡 Полнотекстовый поиск — это неотъемлемая часть современных приложений, особенно тех, которые работают с большими объемами текстовой информации, будь то блог-платформы, системы управления контентом или новостные агрегаторы. Какое бы приложение вы не разрабатывали, добавление возможностей полнотекстового поиска может значительно улучшить пользовательский опыт. В этой статье мы рассмотрим, какие основные возможности полнотекстового поиска предлагает PostgreSQL, какие преимущества это дает, и приведем примеры запросов

🔗 Ссылка: *клик*

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍146🔥4
🖥 Шпаргалка по SQL JOINS!

🌟 Сохрани в избранное, чтобы не потерять!

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥209👍8👎4
50-SQL-Interview-Questions-and-Answers.pdf
592.6 KB
🖥 50 вопросов с ответами с SQL собеседований!

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13🔥6🤯54😱3👎1😁1😢1
🖥 Полный перевод документации PostgreSQL на русский язык.

Здесь представлены эти переводы, оригинальная англоязычная документация PostgreSQL и документация к СУБД Postgres Pro в вариантах Standard и Enterprise.

📌 Скачать

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍24🔥54
🖥 Как ускорить высокопараллельные вставки строк в SQL Server за считанные часы!

🌟 В этой статье автор столкнулся с серьезным замедлением при массовой загрузке данных в базу данных SQL Server. Причина кроется в том, что процесс добавления новых записей сталкивается с так называемыми "блокировками", которые замедляют всю операцию. Автор статьи предлагает несколько решений для оптимизации этого процесса и ускорения загрузки данных

🔗 Ссылка: *клик*

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍86🤔3🔥2
🖥 Эта статья описывает лучшие практики работы с MongoDB в .NET. Автор объясняет, как настроить MongoDB в ASP.NET Core, регистрировать зависимости через DI-контейнер и работать с ID-шниками в MongoDB

🌟 Статья также включает примеры работы с коллекциями, демонстрирует использование Guid для идентификаторов и предлагает удобную организацию кода через класс MongoDbContext. В конце статьи даны рекомендации по сериализации данных и использовании camelCase для полей

🔗 Ссылка: *клик*

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍64🔥1
🖥 Google использовал большую языковую модель для выявления уязвимости в SQLite

Исследователи из подразделений Google Project Zero и Google DeepMind опубликовали отчёт о развитии AI-системы Big Sleep, построенной на базе большой языковой модели Gemini 1.5 Pro и предназначенной для определения уязвимостей в исходном коде. Достижением проекта стало выявление с использованием Big Sleep первой пригодной для эксплуатации и ранее неизвестной уязвимости в существующем проекте. Уязвимость выявлена в результате проверки AI-системой кодовой базы СУБД SQLite и приводит к переполнению за нижнюю границу буфера в стеке (buffer underflow). Проблема обнаружена в недавно принятом коде и устранена до его попадания в финальный релиз SQLite 3.47.0.

Модель может использоваться как вспомогательный инструмент в областях, в которых требуется проведение трудозатратного ручного рецензирования, а также для организации автоматической проверки нового кода с целью выявления уязвимостей на ранних стадиях разработки (до попадания проблемного кода в финальные релизы). Предполагается, что развиваемая AI-модель позволит выявлять связанные с безопасностью проблемы в коде, которые проблематично определять путём fuzzing-тестирования.

Дополнительно можно отметить заявление генерального директора Google о том, что в настоящее время более четверти (25%) всего создаваемого в компании кода генерируется с использованием больших языковых моделей Gemini, после чего данный код рецензируется и принимается инженерами. Отмечается, что подобное применение AI позволило существенно ускорить процесс разработки продуктов.

https://googleprojectzero.blogspot.com/2024/10/from-naptime-to-big-sleep.html

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍156🔥3👎1
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 ds-cheatsheet — репозиторий на Github с огромным количеством всевозможных шпаргалок по Data Science!

🔐 Лицензия: MIT

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥16👍65
🖥 Weaviate — это векторная база данных на Go с открытым исходным кодом, оптимизированная для поиска и машинного обучения. Она позволяет хранить данные в виде векторов, что делает её полезной для приложений, работающих с семантическим поиском, NLP, и рекомендательными системами

🌟 Weaviate поддерживает различные источники данных и легко интегрируется с ML моделями, автоматически индексируя данные для быстрого поиска и анализа

🔐 Лицензия: BSD-3-Clause

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍64🔥3
📖 Бесплатная книга: "Математика для компьютерных наук" от MIT!

🌟 Эта книга охватывает дискретную математику, включая теорию множеств, комбинаторику, графы и доказательства. Она создана для студентов компьютерных наук и рассматривает математические основы, важные для алгоритмов, анализа данных и логики программирования, акцентируя внимание на строгом доказательном подходе

🔥 В книге 1048 страниц, и все абсолютно бесплатно!

📖 Читать: *клик*

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍177🎉4
🖥 ChartDB — это бесплатный и открытый редактор диаграмм баз данных. Он позволяет визуализировать и проектировать структуру базы данных через один запрос!

🌟 ChartDB поддерживает работу с несколькими типами баз данных, включая PostgreSQL, MySQL и SQLite. ChartDB использует AI для экспорта данных и позволяет редактировать схемы, адаптируя их для разных диалектов SQL, что удобно для миграции между базами данных.

🔐 Лицензия: AGPL-3.0

🖥 Github
🔗 Сайт проекта: *клик*

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19🔥76
🖥 Teable — это no-code платформа, построенная на основе Postgres, которая служит аналогом Airtable.

🌟 Teable предназначена для работы с данными, облегчая создание таблиц, связей и настроек без необходимости программирования. Teable позволяет пользователям управлять базами данных через удобный интерфейс, автоматизировать обработку данных и разворачивать приложения. Поддержка Postgres делает платформу масштабируемой и подходящей для гибкого использования как для начинающих, так и для профессионалов в сфере управления данными.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍87🔥3
👣 sqlseeder — инструмент на Go для генерации SQL-запросов INSERT из данных в форматах JSON и Excel. Он поддерживает отношения «один ко многим» и «многие ко многим» между таблицами и позволяет настраивать разделители для удобной обработки данных. Пользователи могут генерировать SQL-запросы, используя JSON- или Excel-данные, и применять шаблоны Go для гибкой настройки SQL-выхода.

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍6🔥2🤔2