Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.4K subscribers
2.39K photos
119 videos
64 files
4.84K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
📘 7 шаблонов для построения Multi-Agent систем

Если вы работаете с LLM-агентами — сохраните эту шпаргалку.

👏 Эти паттерны — фундамент для создания масштабируемых и надёжных multi-agent систем.

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍1🔥1😢1
🎃 Хэллоуин в Proglib Academy: скидки, призы и... немного паники

Сегодня 31 октября, и это не просто время тыкв и призраков, это ПОСЛЕДНИЙ ДЕНЬ, когда ты можешь выиграть макбук!

→ Купи любой курс со скидкой 40% 💸
→ Начни обучение, чтобы пройти 2 недели к 15 ноября 🎓
→ Напиши куратору #розыгрыш ✍️

Всё! Теперь ты в игре.

👉 Сейчас или никогда!
Какая библиотека считается первопроходцем среди фреймворков глубокого обучения на Python?
Anonymous Quiz
40%
TensorFlow
17%
PyTorch
23%
Keras
20%
Theano
2👍1😁1
🆕 Свежие новости для дата‑сайентистов

📘 Исследования и учебные ресурсы
Harvard ML Systems Project — Гарвард открыл доступ к полному курсу по ML-системам: учебник, 50+ лабораторных.
Anthropic: интерактивный туториал по prompt engineering — 9 глав, охватывающих всё — от ролей и примеров до борьбы с галлюцинациями.

🧠 Новые модели и инструменты
OpenAI готовит генеративную музыку — новый text-to-music инструмент.
Lightning AI Cloud для PyTorch — авторы PyTorch Lightning запустили облачный пакет инструментов для ускорения распределённого обучения.
The Free Transformer — новая вариация decoder-only архитектуры, где генерация условлена латентными переменными (variational approach).

🧩 Наука и теория
Как стабилизируется обучение при росте данных — учёные объяснили, почему увеличение датасета не всегда вызывает колебания обучения.
Продвинутые техники NLP — от attention-механизмов до современных генеративных моделей.
Краткая история машинного зрения —как инженеры научили компьютеры превращать 2D-картинки в 3D.

🐸 Библиотека дата-сайентиста

#свежак
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2🔥21
🖼 Image Scraping теперь доступен в Firecrawl

Firecrawl представил новое API-эндпоинт для сбора визуального контента с веба — теперь можно парсить не только текст, но и изображения для ваших мультимодальных LLM-приложений, дообучения моделей и аналитики.

Ключевые возможности:
— Извлечение изображений прямо с сайтов
— Фильтры по разрешению, соотношению сторон и типу изображения
— Полная интеграция с LLM-пайплайнами

🔥 Проект уже набрал 66 000+ звёзд на GitHub — и это только начало.
📱 Github

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍2
🎲 Monte Carlo моделирование в Python с probabilit

probabilit — это новый Python-пакет для Монте-Карло моделирования, созданный для быстрого прототипирования расчётов неопределённости. Идеально подходит для инженерных задач, анализа рисков и учебных проектов.

Что умеет probabilit:
— Высокоуровневый язык моделирования с распределениями вероятностей
— Поддержка quasi Monte Carlo методов: Latin Hypercube, Sobol, Halton
— Возможность задания корреляций между переменными (например, между нормальным и равномерным распределением)

Что не делает:
— Не предназначен для сложных систем (мультиагенты, очереди, ОДУ)
— Не конкурирует по скорости с чистыми NumPy-реализациями

Отличный инструмент для обучения и экспериментов с неопределённостью — от инженерных расчётов до симуляций.

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42🙏2
📘 Training Playbook — практическое руководство по обучению LLM от начала до конца

Обучение больших языковых моделей — это сложно. Мы нашли новый и полезный материал — «The Smol Training Playbook: The Secrets to Building World-Class LLMs».

200+ страниц о всём цикле обучения LLM:
✔️ пре-тренировка
✔️ пост-тренировка
✔️ инфраструктура и масштабирование

Подробно о том, что сработало, что нет, и как запускать пайплайн стабильно.
🔥 Обязательно к чтению, если вы строите свои модели.

🔗 Ссылка на материал

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍2🙏1
🧠 NeurIPS 2025 — 6 000 свежих научных работ в одном месте

Исследуйте новинки искусственного интеллекта и машинного обучения: почти 6 000 статей NeurIPS 2025, сгруппированных по сотням тематических кластеров.

Отличный инструмент, чтобы следить за трендами в AI-исследованиях и находить идеи для своих проектов.

🔗 Ссылка на ресурс

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍1
⚡️ Оценка и приоритизация AI-проектов

AI-3P помогает заранее выявить риски и определить готовность компании по трём ключевым направлениям:
People, Processes, Product.

💡 Ключевая идея

Большинство AI-инициатив терпят неудачу не из-за технологий, а из-за проблем с внедрением — отсутствием владельцев, слабой интеграцией в процессы и неготовностью пользователей.

AI-3P превращает эти «слепые зоны» в количественную оценку готовности, помогая решать: строить, тестировать или доработать.

Как работает фреймворк:
1. Оцениваете проект по 3 столпам (People, Process, Product) через кастомные вопросы BYOQ (Bring Your Own Questions).
2. Каждому ответу присваивается балл:
 No/Unknown = 0
 Partial = 1
 Yes/NA = 2
3. Рассчитывается итоговый AI-3P Readiness Score (0–100)
 80–100 — Build now
 60–79 — Pilot with guardrails
 0–59 — De-risk first

🔗 Репозиторий с шаблоном

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
3🔥3👍2
📘 На Stepik вышел курс — «LangChain: с нуля до продакшн LLM-приложений»

Нужен не игрушечный бот, а воспроизводимый RAG-пайплайн с метриками и сервисом? Этот курс — про путь «ноутбук → FastAPI → прод».

🔍 Что вы получите
• RAG по PDF с цитированием источников и гибридным поиском (BM25 + вектор + rerank); контроль галлюцинаций через метрики (precision/recall@K, citation-rate)
• Инструменты и агенты для анализа данных: Pandas-задачи, структурированный JSON-вывод под отчёты/дашборды
• Продакшн-контур: FastAPI-сервис, логирование латентности/токенов, PromptOps (версии/A/B), базовый SLA-мониторинг

🎓 Сертификат по завершении — можно добавить в резюме или LinkedIn

🚀 Начните сегодня и получите скидку 25% в течение 72 часов

👉 Пройти курс на Stepik


Реклама. ИП Малышкин Алексей Андреевич, ИНН 402571325199. Erid 2VtzquyQ9cs
😁3🙏2
📘 Определение дня: Hypernetwork (гиперсеть)

Hypernetworks — это нейросети, которые генерируют веса для другой нейросети.
Вместо того чтобы напрямую учить параметры модели, гиперсеть учится отображать условия задачи в пространство весов.

💡 Это позволяет моделям быстро адаптироваться к новым задачам без полного переобучения.

Где применяются:
—Meta-learning — обучение тому, как обучаться;
—Continual learning — постоянное обновление знаний без «забывания» старых;
—Multi-task learning — эффективная работа на множестве задач одновременно.

Примеры из жизни:
— персонализированные рекомендации;
— адаптивное управление системами;
— динамические обновления моделей на устройствах с ограниченными ресурсами.

В двух словах:
Гиперсети — это сети, которые учат сети.


🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
👍31
🎁 И мозг прокачать, и макбук утащить!

Proglib.academy разыгрывает MacBook Pro 14 (M3 Pro, 36 GB, 1 TB SSD) 💻

Условия:

1️⃣ Покупаешь любой курс Proglib до 15 ноября.
2️⃣ Проходишь минимум 2 учебные недели (можно осилить за два вечера).
3️⃣ Пишешь куратору в чат своего курса: #розыгрыш.

Что за курсы?

Математика для Data Science (6 месяцев боли и просветления).
Основы Python, ML, алгоритмы, AI-агенты и даже курс для тех, кто в IT, но не кодит.

👉 Участвовать в розыгрыше
This media is not supported in your browser
VIEW IN TELEGRAM
🧠 Multi-Head Attention в LLM: визуально объяснено

Механизм multi-head attention позволяет модели одновременно смотреть на текст под разными «углами зрения».

Вместо одной единственной «внимательной» функции, модель использует несколько, что делает понимание контекста глубже и точнее.

🔍 В итоге multi-head attention — это ключевой элемент, благодаря которому LLM способны понимать, связывать и обобщать текст на уровне, близком к человеческому.

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥31🙏1
💻 ВАЖНО: макбук ещё не забрали!

Proglib.academy продолжает розыгрыш MacBook Pro 14» (M3 Pro, 36 Гб, 1 Тб SSD).

Что нужно для участия?

— Берёшь любой курс Академии до 15 ноября.
— Проходишь хотя бы 2 недели обучения (можно за два дня).
— Пишешь куратору #розыгрыш. Всё — ты в игре!

Что за курсы?

▫️Алгоритмы и структуры данных — если хочешь готовиться к собесам в Яндекс, FAANG и не сидеть на джуне вечно.

▫️Архитектуры и шаблоны проектирования — учат думать как senior, а не просто писать код.

▫️ Python, математика для DS, основы IT и другие темы — можно стартовать с нуля или усилить то, что уже знаешь.

👉 Влетай, не думай!
2🔥1
➡️ LEANN — сверхлёгкий локальный векторный поиск

LEANN умеет индексировать и искать по миллионам документов, используя на 97% меньше хранилища, чем традиционные решения — без потери точности.

💡 Это достигается с помощью графовой селективной рекомпутации и high-degree preserving pruning — эмбеддинги вычисляются по запросу, а не хранятся заранее.

Ключевые особенности:
— Приватность — всё работает локально, без облака и скрытых условий.
— Лёгкость — графовая обрезка и CSR-формат уменьшают потребление памяти и места.
— Портативность — легко переносите базу знаний между устройствами.
— Масштабируемость — устойчив к «грязным» данным и памяти агентов, где другие БД падают.
— Точность — качество поиска как у тяжёлых решений, но с минимальными ресурсами.

➡️ Ссылка на репозиторий

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍3🔥1
⚙️ Хакатон Alert: Москва. Scoop AI хакатон от SpoonOS | Neo | DeFrens

📍Регистрация здесь
🗓 Даты: 21 октября - 23 ноября
ℹ️ Подробности и условия участия в нашем Дзене
💬 Телеграмм-чат хакатона - вступить
Вводный урок для начинающих - видео

SpoonOS — фреймворк для AI-агентов от Neo.org

Хакатон от Neo и SpoonOS по имплементации AI уже начался, и можно начинать делать проекты прямо сейчас.

А 23 ноября в Москве мы проведём финал. Для участников хакатона — это:

- Возможность задать вопрос специалисту по SpoonOS
- Панельные дискуссии
- Демо презентации сделанных проектов
- Призовой фонд в $7,000 для победителей

А ещё — медийное внимание, новые контакты в отрасли и инвестиционные возможности ждут лучшие проекты.

Возможные направления разработки:

- Ончейн-процессы и автономное исполнение
- Социальные симуляции и ИИ в играх
- Инфраструктура для хостинга агентов и безопасность
- DeFi, NFT и управление ДАО
- Биотех

Реклама. Суслов Денис Андреевич, ИНН 280121362361. Erid 2VtzqufMttX
Please open Telegram to view this post
VIEW IN TELEGRAM
2😁2