🆕 Свежие новости для дата‑сайентистов

🧠 Модели и архитектуры
— Большое сравнение LLM-архитектур — от DeepSeek-V3 до Kimi K2.
— Qwen3-Coder: 480B параметров — открытая модель от Alibaba показывает SoTA-результаты.
— Qwen3-235B-A22B-Thinking-2507 — новая масштабируемая reasoning-модель от Alibaba.
— Gemini 2.5 Flash-Lite теперь доступна всем — быстрая и бюджетная модель от Google.
— GPT‑5 уже скоро — по слухам, OpenAI готовит релиз в августе.

🔬 Новые исследования
— Почему модели становятся «глупее» — исследование от Anthropic показывает, что длинные размышления не всегда полезны.
— Сублиминальное обучение — Anthropic обнаружили, что модели могут бессознательно перенимать «убеждения» от других.
— Новый уровень промт-инжиниринга — управление контекстом LLM становится отдельной дисциплиной.

🧑‍💻 Индустрия и платформы
— Kaggle запускает Benchmarks — платформа для объективной оценки AI-моделей.
— ChatGPT — 2.5 млрд запросов в день
— Microsoft переманивает инженеров DeepMind — более 20 сотрудников, включая главу Gemini, ушли к Microsoft.

👍 Опыт других
— 15 кейсов применения NLP
— Пайплайн для прогнозирования временных рядов в Яндексе
— KAN против MLP: архитектурное сравнение
— Автоматизация ML-разработки и ускорение вывода моделей в прод

Библиотека дата-сайентиста #свежак

🎉 OpenCV исполнилось 25 лет — серьёзная веха для мира компьютерного зрения

Библиотека была выпущена Intel в 2000 году как open source — и с тех пор стала стандартом де-факто.

OpenCV democratized компьютерное зрение: сделала доступной обработку изображений и видео не только крупным лабораториям и корпорациям, но и каждому студенту, разработчику и энтузиасту.

Благодаря OpenCV миллионы людей научились:
— распознавать лица и объекты;
— строить системы трекинга и распознавания движений;
— анализировать кадры в реальном времени;
— автоматизировать обработку изображений и видео в исследованиях и бизнесе.

👉 25 лет спустя — это по-прежнему первая библиотека, которую изучают в CV, и первый инструмент, к которому тянется рука при решении практической задачи.
Поздравляем библиотеку — 🎉

🔗 Блог-пост в честь юбилея: https://clc.to/zEyBLQ
А вы помните, с чего началось ваше знакомство с OpenCV?

Библиотека дата-сайентиста #свежак

👨‍💻 Топ-вакансий для дата-сайентистов за неделю

Data Engineer — от 200 000₽, удалёнка

DevOps Engineer — от 800 до 1 500$, удалёнка

Middle Data Scientist/Аналитик по исследованию данных — от 300 000 ₽, удалёнка

Senior Data Scientist (RecSys) — от 350 000 ₽, гибрид (Москва, Санкт-Петербург)

ML/DS-специалист — от 400 000 до 600 000 ₽, гибрид (Москва)

ML-инженер (Рекомендации) — от 180 000 ₽, удалёнка

➡️ Еще больше топовых вакансий — в нашем канале Data jobs

Библиотека дата-сайентиста

☁️ molab — облачная среда для marimo-ноутбуков

Теперь вы можете запускать marimo-ноутбуки в облаке — без настройки окружения, установки зависимостей и прочих танцев с бубном. Просто заходите на molab.marimo.io и сразу начинайте экспериментировать с Python и SQL.

marimo — это реактивный Python-ноутбук, который уже используют в Cloudflare, Hugging Face, Shopify, OpenAI, BlackRock, и ведущих университетах.

Что умеет molab:
✅ Marimo — это современная альтернатива Jupyter, написанная с нуля
✅ Поддержка любых Python-библиотек (numpy, torch, polars — уже предустановлены)
✅ Генерация кода с помощью AI
✅ Загрузка и хранение своих данных
✅ Публичные (но недоступные по поиску) ссылки на ноутбуки
✅ Скачивание ноутбуков и запуск локально как Python-скрипты

🔎 Все изменения зависимостей трекаются через pyproject.toml, а сами зависимости подтягиваются через lightning-fast менеджер uv.

Библиотека дата-сайентиста #буст

📊 Как понять центральную предельную теорему (CLT)

Центральная предельная теорема (CLT) — один из краеугольных камней статистики. Она утверждает, что распределение средних значений выборок стремится к нормальному (гауссовскому) распределению, даже если изначальная совокупность распределена иначе — при условии, что выборка достаточно большая.

🔳 CLT лежит в основе таких инструментов, как доверительные интервалы и проверка гипотез, и позволяет делать выводы о всей популяции на основе выборки.

🔛 Благодаря CLT мы можем:
— Оценивать параметры генеральной совокупности по выборке.
— Строить доверительные интервалы.
— Применять z-тесты и t-тесты даже к шумным данным.
— Упрощать анализ сложных, нестандартных распределений.

🔛 Но у теоремы есть ограничения:
— Объем выборки: должен быть достаточно большим.
— Независимость: данные в выборке должны быть независимы.
— Одинаковое распределение: классическая CLT предполагает, что выборки взяты из одинаково распределенной совокупности (хотя обобщенные версии снимают это ограничение).

🔛 Тем не менее, CLT остаётся крайне полезной:
— Универсальность: применима к широкому спектру распределений.
— Прогнозируемость: повышает точность оценок при большом объеме данных.
— Простота: позволяет использовать свойства нормального распределения даже для сложных задач.

🔳 CLT применяется повсеместно — в A/B тестировании, в аналитике, при оценке рисков, построении моделей машинного обучения и многом другом.

Библиотека дата-сайентиста #буст

😐 Холивар: удалённая работа для дата-сайентистов — проклятие или спасение

Удалёнка стала нормой с Covid, и многие перешли на полный remote. Вроде бы плюсы очевидны: нет потерь времени на дорогу, гибкий график, можно работать из любой точки мира.

Но… у многих заметно вырос уровень социальной тревожности, особенно когда дело доходит до презентаций результатов и командного взаимодействия. Меньше живого общения, меньше «неформальных» разговоров — и кажется, что давление во время редких встреч только усиливается. Сомнения и импостер-синдром подкрадываются чаще.

➡️ Основные проблемы:
🤖 Soft skills — критически важны в работе с командой и заказчиками
🤖 Без живого контакта сложно развивать навыки коммуникации
🤖 Технические успехи не всегда спасают, если не умеешь «продавать» результаты

➡️ Что с этим делать:
🤖 Пытаться больше общаться неформально онлайн
🤖 Использовать тренинги по коммуникациям
🤖 Выходить из зоны комфорта и делать презентации чаще
🤖 Возможно, частично вернуться в офис ради живого взаимодействия

И давайте сразу к главному спору:
❤️ — без живого общения и офиса soft skills у дата-сайентистов деградируют, и это угроза карьере
👍— современные коммуникационные инструменты позволяют развивать навыки и без офиса

Как вы думаете? Что важнее — привычка работать вживую или умение адаптироваться к новым форматам?

Библиотека дата-сайентиста #междусобойчик

📦 ZipNN — lossless-компрессия для AI-моделей

ZipNN — это библиотека для сжатия моделей машинного обучения без потерь, оптимизированная для современных AI-пайплайнов. Работает быстро, просто и эффективно.

🔎 Основные фичи:
— Поддержка vLLM, safetensors и HuggingFace
— Модель всегда хранится в сжатом виде на диске
— Распаковка до 80 GB/s, сжатие — до 13 GB/s (по тестам)
— Поддержка FP8, многопоточность на CPU
— Сжатие не влияет на точность модели

🔎Использование

vLLM:

from zipnn import zipnn_safetensors
zipnn_safetensors()

from vllm import LLM
llm = LLM("zipnn/gpt2-ZipNN")

HuggingFace:

from transformers import AutoModelForCausalLM, AutoTokenizer
from zipnn import zipnn_safetensors

zipnn_safetensors()
model = "zipnn/gpt2-ZipNN"
tokenizer = AutoTokenizer.from_pretrained(model)
model = AutoModelForCausalLM.from_pretrained(model, variant="znn")

Установка:

pip install zipnn

🔎 В чём профит:
— Меньше I/O при загрузке моделей
— Быстрая CPU-декомпрессия, меньше нагрузки на GPU
— Поддержка докеризированных пайплайнов (vLLM, sglang и др.)

🔎 Подробнее: https://clc.to/PDJ6gw
🔎 Ссылка на репозиторий: https://clc.to/KfAoNQ

Библиотека дата-сайентиста #буст

🐼 Когда pandas не тянет: ускорение с cuDF

Если вы работаете с pandas, то знаете это ощущение: код летал на маленьких выборках, а теперь на реальных данных всё еле тянется. Скрипт, который раньше занимал секунды, теперь считает минутами.

Что дальше?
Обычно — не самое приятное:
🔹 режете данные (теряя точность)
🔹 разбиваете на чанки
🔹 или задумываетесь о миграции на Spark

Но есть способ проще. Иногда достаточно просто включить GPU — и всё летит.

📈 В этом кейсе — 3 типичных pandas-воркфлоу, которые получили ускорение с cuDF от NVIDIA, почти не меняя код.

➡️ Подробности и примеры — в статье: https://clc.to/iHZ_NA

Библиотека дата-сайентиста #буст

🆕 Свежие новости для дата‑сайентистов

🧠 ИИ и исследование моделей
— Anthropic автоматизирует аудит Claude — создано три специализированных ИИ-агента.
— Scaling Laws для MoE-моделей — введена метрика Efficiency Leverage, описывающая вычислительную эффективность MoE.
— Новый архитектурный конкурент Transformers — динамическая архитектура с адаптивной рекурсией на уровне токенов.
— GPT получает Study Mode — ChatGPT теперь может обучать студентов пошагово.

⚙️ Новые инструменты и AI-интеграции
— NotebookLM теперь с видео — теперь можно создавать видео-саммари по вашим заметкам, дополняя аудио.
— Google Earth AI — новый набор моделей и датасетов для прогнозов погоды, наводнений, пожаров и планирования городов.
— Copilot Mode в Microsoft Edge — новая AI-фича помогает структурировать работу с вебом.

👍 Опыт других
— Перешла из Data Science в AI Engineering — практический переход и подводные камни.
— Глубокий технический обзор RAG (Retrieval-Augmented Generation).
— 7 кругов ада при выборе ML-стека — практический гид.
— Синтетические данные: подборка инструментов.
— Уменьшение переобучения через работу с данными.
— Как запустить нейросеть локально: 4 простых способа.

Библиотека дата-сайентиста #свежак