🆕 Свежие новости для дата‑сайентистов

— OpenAI выпустила гайд по эффективному использованию GPT-5.1 — разбор структуры промптов, инструментов и экспериментального мышления.

— Google представила Gemini 3 — самый продвинутый мультимодальный и агентный ИИ.

— Новый Kaggle: Santa 2025 — оптимизация упаковки ёлочек.

— Google представила Nano Banana Pro — топовый image-модель нового поколения.

— alphaXiv привлекает $7M, чтобы стать GitHub для AI-исследований — платформа объединяет исследователей и инженеров: публикация новых работ, быстрый переход от статьи к продуктовой фиче.

🔹 Курс «Специалист по ИИ»
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib

🐸 Библиотека дата-сайентиста

#свежак

⚡️ Шпаргалка: Bagging vs Boosting

👉 Bagging

Идея: несколько независимых моделей → усреднение.
Цель: снизить дисперсию (variance) и уменьшить переобучение.

Как работает:
✳️ делаем много бутстрап-выборок
✳️ обучаем модели параллельно
✳️ объединяем результаты (среднее/голосование)

Примеры:
✳️ RandomForestClassifier
✳️ RandomForestRegressor
✳️ BaggingClassifier
✳️ BaggingRegressor

👉 Boosting

Идея: модели обучаются последовательно → каждая исправляет ошибки предыдущей.
Цель: снизить смещение (bias) и повысить точность.

Как работает:
✳️ задаём базового слабого ученика
✳️ увеличиваем вес «трудных» объектов
✳️ комбинируем множество слабых моделей в одну сильную

Примеры:
✳️ GradientBoosting
✳️ XGBoost
✳️ CatBoost
✳️ LightGBM
✳️ AdaBoost

🔸 Курс «Специалист по ИИ»
🔸 Получить консультацию менеджера
🔸 Сайт Академии 🔸 Сайт Proglib

🐸 Библиотека дата-сайентиста

#буст

🧠 Reasoning LLMs: открытый план того, как строятся модели вроде GPT-o1 и DeepSeek-R1

Фактор, который делает современные модели такими сильными, — это reasoning, умение рассуждать пошагово.

Но архитектуры GPT-o1, DeepSeek-R1 и других frontier-LLM остаются закрытыми или раскрыты только поверхностно.

Если кто-то захочет обучить свою reasoning-модель — ему придётся всё изобретать заново, тратя время и деньги.

🎉 Новая работа “Reasoning Language Models: A Blueprint” меняет ситуацию.

Что сделали авторы:
— Разбили сложную архитектуру reasoning-LLM на модули и понятные блоки.
— Описали framework, который объясняет внутреннюю логику таких моделей.
— Выложили рабочую реализацию, чтобы можно было экспериментировать и обучать собственные reasoning-модели.

🔗 Ссылка на статью

🔸 Курс «Специалист по ИИ»
🔸 Получить консультацию менеджера
🔸 Сайт Академии 🔸 Сайт Proglib

🐸 Библиотека дата-сайентиста

#буст

🎯 GNN: понятное вступление в Graph Neural Networks

Если вы хотите разобраться, как устроены Graph Neural Networks (GNNs), эта статья — отличный старт.

Автор простыми словами объясняет ключевые идеи без лишней магии и перегрузки формулами.

Что вы узнаете:
— Что такое графы: узлы, связи и способы представления графовых данных в машинном обучении.
— Как работают GNN: механизм message passing, при котором узлы обмениваются информацией и обновляют свои представления.
— Интуицию модели: как GNN учатся структуре графа, отношениям и контексту.

✔️ Кратко, наглядно и идеально подходит тем, кто хочет понять основы GNN с нуля.

🔗 Ссылка на статью

🔸 Курс «Специалист по ИИ»
🔸 Получить консультацию менеджера
🔸 Сайт Академии 🔸 Сайт Proglib

🐸 Библиотека дата-сайентиста

#буст

📘 Шпаргалка: виды матриц и операции

🐸 Библиотека дата-сайентиста

#буст

🖼️ Glyph: новый способ масштабировать контекстные окна в LLM

Исследователи представили Glyph — фреймворк, который расширяет контекст не за счёт увеличения количества токенов, а через визуально-текстовую компрессию.

Вместо передачи длинного текста в LLM, Glyph рендерит текст в изображения и подаёт их в vision-language модели (VLM).

Так задача длинного контекста превращается в мультимодальную — при этом:
🔛 резко снижаются вычислительные затраты и память,
🔛 семантика сохраняется,
🔛 контекст масштабируется куда дальше, чем у обычных LLM.

На бенчмарках LongBench и MRCR Glyph показывает качество, сопоставимое с текстовыми моделями, при этом достигая существенной компрессии входа и ускорения инференса даже на последовательностях в 128K токенов.

🔛 Репозиторий

🔸 Курс «Специалист по ИИ»
🔸 Получить консультацию менеджера
🔸 Сайт Академии 🔸 Сайт Proglib

🐸 Библиотека дата-сайентиста

#буст

🔍 Путешествие токена внутри трансформера: что происходит на самом деле

Как именно LLM превращает текст в предсказание следующего токена?

Краткое руководство по внутренней анатомии трансформера:

1️⃣ Подготовка входа
• Токенизация — разбивает текст на токены.
• Эмбеддинги — каждому токену назначается вектор с его смыслом.
• Позиционное кодирование — модель узнаёт, где токен стоит в последовательности.

2️⃣ Глубины трансформера
• Многоголовое внимание — каждый токен смотрит на другие и собирает контекст.
• Feed-Forward сети — поштучно уточняют представление каждого токена.

Каждый слой постепенно делает представления всё более абстрактными и умными.

3️⃣ Финальный шаг
Представление последнего токена проходит через линейный слой → получаются логиты → softmax превращает их в вероятности следующего токена.

Так модель решает, какое слово (или символ) сгенерировать дальше.

🔥 Отличная короткая, но полезная статья

🤌 Бонусы для подписчиков:
— Скидка 40% на все курсы Академии
— Розыгрыш Apple MacBook
— Бесплатный тест на знание математики

🐸 Библиотека дата-сайентиста

#буст

🆕 Свежие новости для дата‑сайентистов

— SmolVLM2 —Hugging Face выпустила SmolVLM2 — ультракомпактную видеомодель, работающую прямо на ноутбуках и телефонах без серверов.

— RAGSys — Crossing Minds представила движок, который обучает LLM на лету через пользовательский фидбэк. Можно улучшать точность модели в проде без сложного пайплайна.

— MetaGPT — AI-роли (PM, архитектор, инженер) автоматически генерируют: требования, API, документацию, аналитику и архитектуру. Новый стандарт для AI-разработки.

— Google Cloud запускает первые инстансы на Blackwell GB200 — до 4× быстрее обучения, полноценная оптимизация под LLM, большие мультимодели и высокую параллельность. A4 — для general AI workloads.

— OpenAI представила GPT-4.5 (Orion) — модель стала лучше следовать намерению пользователя, заметно уменьшила галлюцинации, улучшилась в коде.

— Почему LLM врут так убедительно — разбор механизмов галлюцинаций: распределения вероятностей, выбор токенов, отсутствие проверяемых мировых моделей.

— Карьерный гайд: как стать NLP Middle за 6 месяцев — путеводитель по стеку, навыкам, проектам, математике и ML-инструментам — очень практичный план роста.

🤌 Бонусы для подписчиков:
— Скидка 40% на все курсы Академии
— Розыгрыш Apple MacBook
— Бесплатный тест на знание математики

🐸 Библиотека дата-сайентиста

#свежак

🐸 Библиотека дата-сайентиста

#развлекалово

↪️ Индуктивное смещение (inductive bias) в CNN: что это и почему оно важно

Когда мы говорим об индуктивном смещении в сверточных нейросетях, речь идёт об архитектурных предположениях, которые модель делает заранее — ещё до обучения.

Эти встроенные «убеждения» определяют, как именно сеть ищет закономерности в изображении, и от этого сильно зависит её эффективность.

CNN предполагает, что:
1. Близкие пиксели связаны друг с другом.
2. Полезные признаки (края, текстуры) локальны и появляются в небольших областях.
3. Один и тот же паттерн может возникать в любой части изображения.

Отсюда появляются:
➡️ маленькие свёрточные фильтры,
➡️ скользящее окно по всему изображению,
➡️ разделение весов (weight sharing) — один и тот же фильтр применяется везде.

То есть CNN как бы заранее знает: «картинки имеют структуру, и одинаковые признаки встречаются в разных местах». Модели не нужно заново «открывать» эту закономерность — она встроена в архитектуру.

👍 Когда это хорошо

Когда данные действительно подчиняются этим свойствам — а в естественных изображениях это именно так.

Плюсы:
➡️ меньше параметров → проще и быстрее обучение;
➡️ лучшее обобщение на малых датасетах;
➡️ естественное формирование иерархий признаков (края → формы → объекты).

Поэтому CNN почти 10 лет были королями компьютерного зрения: ImageNet, медицинские снимки, промышленные задачи — везде, где важны локальные визуальные паттерны.

👎 Когда это плохо

Когда структура данных не соответствует этим предположениям.

CNN плохо справляется, если:
➡️ важны дальние зависимости, а не локальный контекст;
➡️ пространственная структура нестабильна;
➡️ задача требует глобального, а не локального анализа;
➡️ нужно понимать отношения между далеко расположенными частями изображения.

Именно поэтому на больших и сложных задачах (Vision Transformers, SAM, CLIP и др.) CNN стали уступать трансформерам — внимание (attention) не ограничено локальными окнами и может связывать любые области изображения.

🔸 Курс «Специалист по ИИ»
🔸 Получить консультацию менеджера
🔸 Сайт Академии 🔸 Сайт Proglib

🐸 Библиотека дата-сайентиста

#буст