Data Science. SQL hub
35.9K subscribers
913 photos
49 videos
37 files
972 links
По всем вопросам- @workakkk

@itchannels_telegram - 🔥лучшие ит-каналы

@ai_machinelearning_big_data - Machine learning

@pythonl - Python

@pythonlbooks- python книги📚

@datascienceiot - ml книги📚

РКН: https://vk.cc/cIi9vo
Download Telegram
Media is too big
VIEW IN TELEGRAM
🔥 SQL за полтора часа в одном видео! Полный базовый курс по SQL. Базы данных курс для начинающих!

00:00:00 Введение
00:02:43 Платные курсы и что изучать дальше
00:04:55 Коротко об онлайн редакторе
00:07:11 Что такое база данных
00:08:10 Что такое CRUD
00:10:05 Запрос на создание первой таблицы
00:11:57 Типы данных у атрибутов(колонок) (DATA TYPES)
00:17:26 Прописываем атрибуты(колонки) первой таблицы
00:21:07 Создаем первую таблицу (CREATE TABLE)
00:21:38 Проверка на наличие таблицы при создании (IF NOT EXISTS)
00:22:18 Запрос на удаление таблицы(DROP TABLE)
00:22:33 Проверка на наличие таблицы при удалении(IF EXISTS)
00:22:57 Запрос на добавление объекта в таблицу (INSER INTO table)
00:23:35 Запрос на чтение(получение) объектов из таблицы(SELECT * FROM table)
00:24:18 Модификаторы для атрибутов(колонок) таблицы(NOT NULL, DEFAULT, UNIQUE)
00:29:26 Изменение уже существующей таблицы(ALTER TABLE, ADD, DROP, RENAME, MODIFY COLUMN)
00:36:08 Удаление объектов из таблицы(DELETE FROM table)
00:37:06 Редактирование объекта в таблице(UPDATE table)
00:39:03 Первичный ключ(PRIMARY KEY)
00:45:37 Композиция в бд
00:50:38 "Иностранный" ключ(FOREIGN KEY)
00:57:26 Индексы в бд(INDEX)
00:59:24 Готовим данные для темы алиас, юнион и слияние таблиц
01:03:30 Слияние таблиц(INNER JOIN)
01:06:02 Слияние таблиц(LEFT JOIN)
01:06:53 Слияние таблиц(RIGHT JOIN)
01:07:26 Слияние таблиц(FULL JOIN/OUTER JOIN) и Union
01:09:04 Алиас(table AS alias)
01:12:18 Select Distinct в SQL
01:13:42 AND OR NOT в SQL
01:16:18 ORDER BY и LIMIT в SQL
01:17:35 MIN и MAX в SQL
01:18:25 COUNT SUM AVG в SQL
01:19:29 LIKE в SQL
01:21:31 IN и BETWEEN в SQL
01:22:50 GROUP BY в SQL
01:25:17 EXISTS в SQL
01:27:37 ANY и SOME в SQL
01:29:00 INSERT INTO в SQL
01:30:40 Отношения в базе данных
01:32:11 Отношения один к одному
01:33:09 Отношения один ко многим
01:34:09 Отношения многие ко многим
01:37:10 Отношения один к одному и один ко многим "через"
01:39:10 SQL инъекции

📌 источник

#sql #lectures #junior

@sqlhub
👍24🔥54🥰2
🖥 tbls

Мощный инструмент для документирования баз данных. Он анализирует структуру базы данных и автоматически генерирует красивую документацию в формате Markdown, HTML, JSON и других.

🔹 Основные возможности:
- Автоматический разбор схемы базы данных.
- Поддержка множества СУБД (PostgreSQL, MySQL, SQLite, MSSQL и др.).
- Генерация наглядных диаграмм и связей между таблицами.
- Возможность кастомизации документации.
- Интеграция с CI/CD для автоматического обновления документации.

📌 Github
Please open Telegram to view this post
VIEW IN TELEGRAM
11👍1
🔥 PrunaAI — это инструмент для оптимизации и сжатия нейросетевых моделей, ориентированный на уменьшение их размера и ускорение работы без значительной потери точности.

Название связано с техникой «pruning» (обрезка нейронных сетей), которая удаляет избыточные параметры модели.

Проект предназначен для разработчиков, стремящихся развертывать эффективные AI-модели на устройствах с ограниченными ресурсами (телефоны, IoT, edge-устройства).

🔍 Основные функции (предположительно)
Автоматическая обрезка моделей — удаление менее значимых нейронов/слоев.
Квантование — сокращение битности весов (например, с 32-бит до 8-бит).
Сравнение производительности — метрики скорости и точности до/после оптимизации.
Поддержка фреймворков — интеграция с PyTorch, TensorFlow, ONNX.

🔥 Чем полезен?
Для инженеров ML:
— Уменьшает размер модели в 2–4 раза, упрощая её развертывание.
— Сохраняет >90% исходной точности после оптимизации.
Для бизнеса:
— Снижает затраты на инфраструктуру для обработки AI-запросов.
— Ускоряет инференс на edge-устройствах.

🎯 Преимущества перед аналогами
Простота: API для быстрого применения pruning без глубоких знаний в оптимизации.
Гибкость: Настройка степени сжатия под конкретные задачи.
Совместимость: Работает с популярными форматами моделей (TFLite, CoreML).

pip install pruna

📌 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍82🔥1
📖 Эта статья объясняет, как интерпретировать значения NULL в операциях OUTER JOIN в SQL!

🌟 Она рассматривает разницу между отсутствующими записями (когда строки не существуют) и NULL-значениями (когда данные существуют, но неизвестны). Автор объясняет, как правильное нормализованное моделирование данных помогает различать эти ситуации.

🔗 Ссылка: *клик*

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍53🔥2😁1
🖥 Starskey — это высокоскоростная встраиваемая база данных с парой "ключ-значение" для Go, вдохновленная LevelDB и WiscKey!

🌟 Она использует многоуровневое слияние данных, поддерживает атомарные транзакции, журналирование (WAL) для восстановления и фильтры Bloom для оптимизации чтения. Starskey предлагает простое API с операциями Put, Get, Delete и обеспечивает высокую производительность до 400k+ операций в секунду.

🔐 Лицензия: MPL-2.0

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍32🔥1
🖥 Эта статья объясняет различия между использованием операторов IN и EXISTS в SQL-запросах, включая их применение в зависимых и независимых подзапросах!

🌟 Автор демонстрирует, как они влияют на производительность запросов, и предлагает сценарии, когда переход от одного подхода к другому может улучшить производительность.

🔗 Ссылка: *клик*

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍126🔥2
👍31🔥4😁4👎21
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Self-Hosted AI Starter Kit — это готовый набор инструментов для развертывания собственных AI-решений с использованием n8n, платформы для автоматизации рабочих процессов!

🌟 Он включает преднастроенные потоки для интеграции моделей ИИ, таких как OpenAI, Ollama и другие, позволяя управлять данными и автоматизировать процессы без необходимости использования облачных сервисов. Решение идеально подходит для бизнеса и индивидуальных разработчиков.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍82
🖥 WrenAI — это open-source AI-ассистент для анализа данных и генерации SQL-запросов (Text-to-SQL)!

🌟 Он позволяет пользователям взаимодействовать с данными с помощью естественного языка и автоматически формировать SQL-запросы, строить диаграммы, отчеты и таблицы.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍83🔥2
📂 PlantUML - это утилита для создания диаграмм с помощью минималистичного синтаксиса. Поддерживает классы, последовательности, потоки данных и многое другое.

Полезна для архитектурного проектирования, документирования и визуализации процессов без графических редакторов.

Посмотреть на GitHub

🖥 GitHub

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍74🔥4
Найти: решение на базе ИИ, которое автоматизирует процесс создания JSON-схем для описания бизнес-логики и интеграций.

Если знаешь, как выполнить эту задачу, значит, этот пост для тебя. Приглашаем на хакатон МТС True Tech Hack 2025. Участникам в команде из 2–5 человек нужно выбрать один из пяти представленных треков и создать новое решение на базе DataOps Platform, Integration Platform, True Tabs, Product Factory или MWS GPT.

Если хочешь внести вклад в продукты, которые приносят пользу разработчикам по всей России, и побороться за призовой фонд в 1 500 000 рублей — регистрируйся до 16 апреля.

Подробная информация и регистрация — по ссылке.

@sqlhub
👍1🔥1
Пять GitHub проектов, которые помогут вам стать лучшим инженером DevOps

1. How they SRE

Подборка общедоступных ресурсов о том, как технологические и технически подкованные организации по всему миру практикуют Site Reliability Engineering (SRE).

https://github.com/upgundecha/howtheysre

2. Awesome Scalability

Паттерны масштабируемых, надежных и производительных крупномасштабных систем

https://github.com/binhnguyennus/awesome-scalability

3. DevOps Exercises

Linux, Jenkins, AWS, SRE, Prometheus, Docker, Python, Ansible, Git, Kubernetes, Terraform, OpenStack, SQL, NoSQL, Azure, GCP, DNS, Elastic, Network, Virtualization. Вопросы для интервью по DevOps

https://github.com/bregman-arie/devops-exercises

4. Test your sysadmin skills

Сборник тестовых вопросов и ответов по Linux Sysadmin. Проверьте свои знания и навыки в различных областях с помощью этих вопросов и ответов.

https://github.com/trimstray/test-your-sysadmin-skills

5. Awesome Site Reliability Engineering

Составленный список ресурсов по надежности сайта и производственному инжинирингу.

https://github.com/dastergon/awesome-sre

@sqlhub
6👍5🥰2👎1
Как ИИ помогает компаниям принимать умные решения и развивать разные индустрии?

15-16 апреля пройдет Весенний онлайн-лекторий, посвященный влиянию ИИ на индустрии. Разберемся в технологиях вместе с ФКН НИУ ВШЭ, Яндекс, Сбер, Авито, МТС и другими лидерами рынка.

Программа Лектория обширна:
— Вебинары про ИИ и ML в банках, бигтехе и e-com
— Мастер-классы и кейсы по Data Science, Data Analytics и Data Engineering
— Круглый стол по разработке и применению ИИ-агентов
— Прожарка резюме и карьерная лекция

Вы сможете разобраться в ключевых трендах и возможностях в IT, а также погрузиться в Data Science, Data Analytics и Data Engineering, изучение инструментов и реальных задач каждого направления.

Лекторий организуют эксперты факультета компьютерных наук НИУ ВШЭ, онлайн-магистратур ФКН и Центра непрерывного образования, а также ведущие компании индустрии. Поэтому вас ждут глубокие инсайты из мира IT.

Когда:15-16 апреля в 16:00
Где:
онлайн

🔗 Зарегистрироваться

Реклама: НИУ ВШЭ
ИНН: 7714030726
Erid: 2SDnjeZbJvp
👍51🔥1
💫 LLM AutoEval — это проект, предлагающий простой способ бенчмаркинга LLM через Colab-блокнот, избавляя разработчиков от рутинной настройки тестовых сред. Достаточно указать название модели, выбрать benchmark и GPU — система сама развернёт инфраструктуру через RunPod и запустит оценку.

🌐 Система автоматически публикует результаты в формате GitHub Gist с возможностью сравнения с популярными моделями через интеграцию с YALL — альтернативным рейтингом языковых моделей. Для работы потребуются только API-токены RunPod и GitHub.

🔗 GitHub

@sqlhub
👍42🔥1
IT Hero — интерактивная платформа для тренировки навыков SQL и подготовки к собеседованиям в игровом формате.

Решайте задачи на скорость, соревнуясь с соперником — побеждает быстрейший.

Выбирайте уровень сложности, тип задач и приглашайте друга на поединок, чтобы выяснить, кто лучше знает SQL.

🔗 Ссылка на тренажёр

@sqlhub
👍64🔥2👎1
🖥 Огромный обучающий плейлист для специалиста по аналитике данных!

🔗 Ссылка: *клик*

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥105👍3
Forwarded from Machinelearning
🔥 ​Hugging Face выпустила версию 0.30.0 библиотеки huggingface_hub - это самое крупное обновление за два года!

Представлены значительные улучшения, особенно в области хранения и обработки больших моделей и датасетов.​

✔️ Основные нововведения:

Интеграция с Xet: Внедрена поддержка Xet — передового протокола для хранения крупных объектов в Git-репозиториях, призванного заменить Git LFS.

В отличие от LFS, который выполняет дедупликацию на уровне файлов, Xet работает на уровне фрагментов данных, что особенно полезно для специалистов, работающих с массивными моделями и датасетами.

Для интеграции с Python используется пакет xet-core, написанный на Rust, который обрабатывает все низкоуровневые детали.​

Чтобы начать использовать Xet, установите дополнительную зависимость:​
pip install -U huggingface_hub[hf_xet]

После установки вы сможете загружать файлы из репозиториев, поддерживающих Xet.​

Доплнительно:
😶 Расширен InferenceClient:
😶 Добавлена поддержка новых провайдеров для инференса: Cerebras и Cohere.
😶 Внедрены асинхронные вызовы для задач инференса (например, text-to-video), что повышает стабильность и удобство работы.
😶 Улучшен CLI
😶 Команда huggingface-cli upload теперь поддерживает wildcards (шаблоны) прямо в пути к файлам (например, huggingface-cli upload my-model *.safetensors вместо опции --include).
😶 Команда huggingface-cli delete-cache получила опцию --sort для сортировки кэшированных репозиториев (например, по размеру: --sort=size).

✔️ Полный список обновлений
✔️Блог
✔️Документация по Xet

@ai_machinelearning_big_data


#huggingface #release #xet
Please open Telegram to view this post
VIEW IN TELEGRAM
👍62🔥2
Авито активно инвестирует в технологии генеративного искусственного интеллекта (GenAI). Новая стратегия компании предусматривает инвестиции в размере 12 млрд рублей до 2028 года — к тому же сроку в планах заработать на новой технологии 21 млрд. Кроме того, в 2025 году Авито планирует внедрить 20 новых сценариев использования GenAI, что обещает принести более 1 млрд рублей.

Компания уже разработала свои новые генеративные модели — A-Vibe и A-Vision, обученные на базе нейросети Qwen2.5 с 7 миллиардами параметров. Они способны анализировать текст и изображения, что поможет улучшить качества контента и автоматизировать процессы на платформе.

✔️A-Vibe поможет продавцам создавать привлекательные описания товаров, отвечать на вопросы покупателей, анализировать многочисленные отзывы.
✔️A-Vision может анализовать фотографии, распознавать текст на изображениях и помогать в модерации.

Авито также наращивает сотрудничество с ведущими вузами, создавая образовательные программы для подготовки специалистов в области искусственного интеллекта. В 2024 году компания запустила магистратуру по Data Science в МФТИ, а в 2025 стартуют программы по разработке в ИТМО, Data Science и продуктовому менеджменту в НИУ ВШЭ.

@sqlhub
👍51
This media is not supported in your browser
VIEW IN TELEGRAM
💻 ChatGPT для вашей базы данных

Загрузите любой файл — ваш чат-бот обучится на нём. После этого можно тестировать нейронку и задавать любые вопросы по документу. Работает лучше аналогов.

🔗 Ссылка

@sqlhub
Please open Telegram to view this post
VIEW IN TELEGRAM
👍114👎4🔥2
🔥 Awesome на GitHub

Это курируемые подборки ресурсов (книг, статей, инструментов, библиотек и многое другое) по конкретным темам, созданные сообществом разработчиков и энтузиастов.

Собрали подборку лучших из них. Сохраняйте, чтобы не потерять

• Информационная безопасность: awesome-security
• Базы данных: awesome-database-learning
• JavaScript: awesome-javascript
• React: awesome-react
• Vue: awesome-vue
• Angular: awesome-angular
• Node.js: awesome-nodejs
• Typescript: awesome-typescript
• Java: awesome-java
• Go: awesome-go
• Ruby: awesome-ruby
• PHP: awesome-php
• Kotlin: awesome-kotlin
• Rust: awesome-rust
• Swift: awesome-swift
• iOS-разработка: awesome-ios
• Android-разработка: awesome-android
• C: awesome-c
• C++: awesome-cpp
• C#: awesome-dotnet
• Unreal Engine: awesome-unreal
• Unity: awesome-unity3d
• Python: awesome-python
• Django: awesome-django
• Data Science: awesome-datascience
• TensorFlow: awesome-tensorflow
• Linux: Awesome-Linux-Software
• DevOps: awesome-devops
• SysAdmins: awesome-sysadmin
• Nginx: awesome-nginx
• Kubernetes: awesome-kubernetes
• Docker: awesome-docker
• Автоматизация сетевой инфраструктуры: awesome-network-automation
• QA: awesome-testing

@sqlhub
👍81🔥1