Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.6K subscribers
2.31K photos
116 videos
64 files
4.74K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
🎯 Как получить работу в DeepMind без степени по машинному обучению

DeepMind — одна из лучших AI-лабораторий в мире (а может и лучшая). Один инженер поделился историей, как он получил там позицию Research Engineer — без PhD, магистратуры или формального образования в ML.

👉 Только бакалавриат в Electrical Engineering
👉 Первое знакомство с программированием — в 19 лет
👉 Первые шаги в ML — в 2018
👉 Всё остальное — самообразование, проекты и упорная работа

В статье он раскрывает:
— Почему отказался от магистратуры
— Как выстроил собственную ML-программу обучения
— Как готовился к DeepMind и получил referral
— Делится даже резюме и практическими советами

💡 Главный инсайт: формальный диплом не обязателен, если у вас есть сильная база, проекты и дисциплина.

🔗 Читать статью + смотреть видео

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍6
🤖 ТОП-9 AI-агентов для разработки в 2025 году

Сегодня разработчики всё реже пишут код «с нуля» — вместо этого они управляют AI-агентами, которые берут на себя рутину: автодополнение, отладка, написание тестов, генерация модулей и даже целых приложений.

В статье:
— какие инструменты реально экономят часы работы,
— чем AI-агенты заменяют ручное кодирование,
— и почему без них легко оказаться «на шаг позади».

Если вы до сих пор думаете, что AI — это только про «подсказки в редакторе», пора обновить картину: экосистема агентных инструментов уже меняет сам подход к разработке.

🔗 Ссылка на статью

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
1
This media is not supported in your browser
VIEW IN TELEGRAM
➡️ Zerve AI: Cursor для дата-сайентистов

Классические IDE создавались под разработчиков ПО, а не под исследователей данных. В итоге: ноутбуки ломаются, ядра крашатся, а хаос в данных тормозит прогресс.

Zerve AI — это агентная среда разработки для дата-сайентистов:
Генерирует код и оркестрирует вычисления
Подстраивается под твой воркфлоу
Дает полный контроль: предпросмотр данных, редактирование кода, настройка compute

Что внутри:
▶️ Отслеживание данных и кода на каждом шаге
▶️ Масштабирование от одного эксперимента до тысяч параллельно
▶️ Версионирование всех артефактов и результатов
▶️ Превращение воркфлоу в API или интерфейсы
▶️ Деплой в облаке, on-prem или self-hosted

📱 Репозиторий

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍1
🔥 Out-of-Memory ошибки? Пора включать Multi-GPU!

Когда одной видеокарты уже не хватает — мульти-GPU операции превращают разрозненные GPU в единую вычислительную машину:
— Масштабное обучение без ограничений
— Резкое сокращение времени тренировки
— Возможность запускать модели, которые раньше были «слишком большими»

🔹 Что такое Multi-GPU операции
Это фундамент распределенного обучения: модель тренируется сразу на нескольких GPU.

Есть два основных подхода:
— Data Parallelism → данные делятся между GPU, обновления синхронизируются
— Model Parallelism → модель «разрезается» и распределяется между картами

Инструменты:
— PyTorch Distributed — стандарт для мульти-GPU тренинга
— nbdistributed — позволяет делать всё прямо в Jupyter

Ключевые операции (то, как GPU общаются между собой):
— Send → отправка тензора GPU → GPU
—Scatter → разбивка тензора на части и рассылка
— Broadcast → копия тензора на все устройства
— Gather → сбор тензоров в один
— Reduce → сбор + функция → результат на одной GPU
— All-Reduce → то же самое, но результат у всех

⚡️ Multi-GPU — это не только скорость. Это доступ к моделям, которые раньше были просто невозможны.

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍1
This media is not supported in your browser
VIEW IN TELEGRAM
📅 24 сентября в 19:00 МСК — бесплатный вебинар с Максимом Шаланкиным.

Тема: «ИИ-агенты: новая фаза развития искусственного интеллекта».

🔹 Почему все говорят про ИИ-агентов и куда вливаются миллиарды инвестиций.
🔹 Чем они отличаются от ChatGPT и обычных ботов.
🔹 Как работает цикл агента: восприятие → планирование → действие → обучение.
🔹 Живое демо простого агента.
🔹 Потенциал для бизнеса: автоматизация процессов и ROI до 80%.

Не придёшь — будешь потом рассказывать, что «агенты — это как чат-боты», и ловить косые взгляды от коллег 😏

👉 Регистрируйтесь через форму на лендинге
⚡️ Polars теперь с поддержкой GPU — ускорение до 70%

Библиотека Polars получила новый GPU-движок на базе NVIDIA RAPIDS cuDF.

Это значит, что тяжёлые аналитические пайплайны теперь можно прогонять в разы быстрее, используя параллельную обработку данных на GPU.

✔️ В бета-версии уже поддерживаются основные операции
✔️ Ускорение до 70% по сравнению с CPU-исполнением
✔️ Отлично подходит для задач работы с большими датасетами и аналитических воркфлоу

🔗 Подробнее в посте

🐸 Библиотека дата-сайентиста

#свежак
Please open Telegram to view this post
VIEW IN TELEGRAM
10👍1
This media is not supported in your browser
VIEW IN TELEGRAM
📊 Rye Tables vs Python/Pandas: новый взгляд на работу с табличными данными

Если вы когда-то фильтровали CSV в Pandas или писали вложенные циклы в чистом Python, то вам будет любопытно взглянуть на подход Rye.

Rye — небольшой язык, вдохновлённый Rebol и Factor. Его уникальная фишка — Tables: неизменяемая, "первоклассная" структура данных для работы с таблицами.

Как это работает:
— Таблицы обрабатываются чистыми функциями
— Поддерживаются пайплайны и композиция выражений
— Задачи по обработке данных превращаются в компактные цепочки операций

Статья показывает три подхода на одинаковых примерах:
🔎 Rye Tables
🔎 Python + Pandas
🔎 Чистый Python (без библиотек)

🎌 Полный разбор — с кодом и примерами трансформаций

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍2
👉 Kite — современная панель управления Kubernetes

Ищете лёгкий и удобный способ управлять Kubernetes-кластерами?

Kite — это современный дашборд, который сочетает в себе:
🟠 интуитивный интерфейс,
🟠 реальные метрики в реальном времени,
🟠 управление всеми ресурсами,
🟠 поддержку мультикластеров,
🟠 и приятный UX без перегруза.

🔥 Если Kubernetes — ваш рабочий инструмент, Kite точно стоит попробовать.

📱 Репозиторий

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍2🔥1
⚡️ Бесплатный вебинар — ИИ-агенты: новая фаза развития AI

24 сентября в 19:00 МСК состоится бесплатный вебинар с Максимом Шаланкиным — Data Science Team Lead в финтех-команде MWS, а познакомиться с ним ближе можно в его тг-канале.

Тема:
«ИИ-агенты: новая фаза развития искусственного интеллекта».


На вебинаре разберёмся, почему агенты — это следующий шаг после ChatGPT, чем они отличаются от обычных моделей и как уже приносят бизнесу ROI до 80%. А дальше я покажу, как эта тема ложится в наш курс по ИИ-агентам, который разработан под руководством Никиты Зелинского.

Подробности рассказываем в гс выше — включай, чтобы не пропустить.
This media is not supported in your browser
VIEW IN TELEGRAM
🧠 Memory Graph — визуализация структуры данных в Python

Для лучшего понимания кода и отладки бывает полезно «увидеть» объекты в памяти, а не только смотреть на их значения.

Пакет memory_graph делает именно это — строит граф памяти для любых структур данных.

Пример:
import memory_graph as mg

class My_Class:
def init(self, x, y):
self.x = x
self.y = y

data = [range(1, 2), (3, 4), {5, 6}, {7: 'seven', 8: 'eight'}, My_Class(9, 10)]
mg.show(data)



📌 Memory Graph поддерживает множество типов данных: списки, кортежи, множества, словари, классы и пользовательские объекты.

Результат — удобная визуализация связей между объектами, что помогает:
понять структуру данных в проекте
отлаживать сложные зависимости
обучать и объяснять Python-объекты начинающим

📱 Ссылка на репозиторий

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
6
🆕 Свежие новости для дата‑сайентистов

🖥 Инфраструктура и ускорение
Efficient Multi-GPU LLM Inference — NVIDIA представила NVLink пятого поколения, ускоряющий работу с LLM на триллион параметров.
Introduction to Gluon — новый язык для GPU-программирования. Позволяет разрабатывать высокопроизводительные ядра с точным контролем над железом.

🤖 LLM и AI-исследования
Breaking GPT-OSS — разбор устойчивости модели gpt-oss к jailbreak-атакам.
Robot GPT: где взять столько данных? — для обучения «роботизированного GPT» могут понадобиться десятки тысяч лет сбора данных.
Как запустить свою LLM — практическое руководство: Ollama, vLLM, Triton, LM Studio, llama.cpp, SGLang. Всё, что нужно для локального инференса.

📚 Обучение и вводные материалы
Градиентный спуск для новичков — простое объяснение: почему ошибки — это шаги к оптимизации.
Простейшая нейросеть на Python — пошаговое объяснение без сложных терминов.
Снятие проклятия размерности — как правильно изучать свои данные и работать с многомерными признаками.
Эмбеддинги для начинающих — что это, как применяются и зачем нужны.

🐸 Библиотека дата-сайентиста

#свежак
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍1
🔥 Не пропустите событие осени для AI-комьюнити

24 сентября, 19:00 Мск — бесплатный вебинар с Максимом Шаланкиным «ИИ-агенты: новая фаза развития искусственного интеллекта»

😤 Пока все спорят, «боты это или нет», мы покажем, как работают настоящие агенты: с планированием, инструментами и памятью. За час Максим разберёт:
— почему ИИ-агенты сейчас на пике инвестиций
— чем они отличаются от ChatGPT и обычных моделей
— цикл агента: восприятие → планирование → действие → обучение
— живое демо простого агента
— как бизнес уже получает ROI до 80%

⚡️ Хотите спросить у Максима всё, что обычно остаётся «за кадром»? Ловите шанс — только в прямом эфире.

Мест мало, регистрация закроется, как только забьём комнату
🔥 Универсальная шпаргалка по работе с данными

Всё, что нужно для анализа данных — в одном месте.

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1👏1
📘 Книга: Probabilistic Machine Learning

Книга Probabilistic Machine Learning — продолжение знаменитого Machine Learning: A Probabilistic Perspective.

Что внутри:
➡️ систематизация ключевых идей ML последних 30 лет,
➡️ от MCMC и вариационного вывода до современных генеративных моделей и диффузионных процессов,
➡️ параллели между графовыми моделями и Bayesian deep learning,
➡️ глубокий, но при этом доступный стиль изложения.

🔗 Ссылка на книгу

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
3🤩2
🧠 Шпаргалка по функциям активации нейронных сетей

Функции активации определяют, как нейрон реагирует на вход. Быстрая справка:
🟠Sigmoid: σ(x) = 1 / (1 + exp(-x)) — [0,1], часто для вероятностей.
🟠Tanh: tanh(x) — [-1,1], центрированная версия сигмоиды.
🟠ReLU: max(0, x) — простая и быстрая, популярна в скрытых слоях.
🟠Leaky ReLU: x if x>0 else αx — решает проблему «мертвых нейронов».
🟠ELU: экспоненциальная ReLU, сглаживает негативные значения.
🟠Softmax: exp(x_i)/Σexp(x_j) — для классификации, даёт распределение вероятностей.
🟠Swish / Mish: современные гладкие функции, улучшают обучение глубоких сетей.

💡 Использование правильной функции активации критично для скорости сходимости и качества модели.

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21