🐸 Библиотека дата-сайентиста

#развлекалово

📉 Зачем применять PCA перед K-means кластеризацией

Если хочется сделать кластеризацию точнее, быстрее и понятнее — связка PCA + K-means работает удивительно эффективно.

Что даёт PCA перед кластеризацией:
1️⃣ Упрощение данных — PCA собирает ключевую информацию из множества признаков в несколько главных компонент.
2️⃣ Снижение размерности — убирает лишние и шумовые признаки, оставляя только то, что реально объясняет вариативность данных.
3️⃣ Лучшая интерпретация — новые компоненты не коррелируют между собой, поэтому структура данных становится понятнее.
4️⃣ Оптимизация кластеров — K-means получает «очищенные» данные и формирует более чёткие и осмысленные кластеры.
5️⃣ Рост производительности — меньше измерений → быстрее обучение, особенно на больших датасетах.

Что вы получаете:
✅ Более точные и чистые кластеры.
✅ Быструю работу алгоритма.
✅ Простую визуализацию данных в 2–3 компонентах.
✅ Фокус на действительно важных признаках.

Связка PCA + K-means — отличный инструмент, чтобы преобразовать хаос признаков в чёткие структуры и ускорить анализ.

🐸 Библиотека дата-сайентиста

#буст

🙌 Google Colab теперь в VS Code: лучшее из двух миров

Google официально выпустил расширение Colab для VS Code, позволяя использовать облачные мощности Colab — включая GPU и TPU — прямо в любимом редакторе кода:
🈁 Для пользователей VS Code: привычный workflow + подключение к мощным Colab-рутинам, включая Pro-tier GPU и TPU.
🈁 Для пользователей Colab: IDE-функции VS Code (расширяемость, интеграция с Git) при сохранении облачных вычислений и удобного коллаборационного опыта.

Как начать работу:
1. Установите Colab расширение из VS Code Marketplace.
2. Откройте .ipynb ноутбук и подключитесь к Colab runtime через Google аккаунт.
3. Запускайте ячейки с мощностью облака — всё прямо в VS Code!

Google планирует интегрировать ещё больше возможностей Colab в VS Code, делая разработку AI/ML быстрее и удобнее.

🔗 Попробовать сейчас: https://clc.to/rr53rw

🐸 Библиотека дата-сайентиста

#буст

🆕 Свежие новости для дата‑сайентистов

🙌 Апдейты
— Google Colab теперь в VS Code: лучшее из двух миров — Google официально выпустил расширение Colab для VS Code.

🚀 AI & LLMs: новые модели и прорывы
— GPT-5.1 — OpenAI представила две обновлённые модели.
— Nano Banana 2 — утекли первые сэмплы следующей версии модели.

🧠 Research
— Google запускает File Search в Gemini API — файл-хранилище, чанкинг, индексация и вставка контекста — всё теперь автоматизировано.
— Nested Learning — Google представила brain-inspired подход, где модель — это не одна задача оптимизации, а множество вложенных.

🐸 Библиотека дата-сайентиста

#свежак

🧪 Методы тестирования ML-моделей перед релизом

Когда выкатываешь новую модель, важно не «сломать прод», поэтому используют разные стратегии тестирования.

Вот 4 самых популярных подхода:

1️⃣ A/B-тестирование

Сервер отправляет, например, 90% запросов старой модели и 10% — новой.

🔛 Так можно безопасно сравнить качество на реальных пользователях.

2️⃣ Канареечное тестирование

Новая модель включается только для небольшой группы пользователей.

🔛 Если всё ок — постепенно расширяем охват. Минимальный риск.

3️⃣ Interleaved Testing

Пользователь видит «смешанные» результаты: часть рекомендаций — от старой модели, часть — от новой.

🔛 Хорошо подходит для ранжирования и рекомендаций, где важны позиции.

4️⃣ Shadow Testing

Пользователь получает ответ только от старой модели, но новая модель работает параллельно, делает предсказания и скрытно собирает статистику.

🔛 Самый безопасный способ протестировать поведение модели под реальной нагрузкой.

🐸 Библиотека дата-сайентиста

#буст

➡️ Autodistill: полный pipeline без ручной аннотации

Autodistill позволяет обучать кастомные продакшен-модели без ручной разметки вообще.

От необработанных изображений — сразу к готовой модели:
✅ Автоматическая разметка датасетов с помощью foundation-моделей (GroundedSAM, DINO и другие)
✅ Дистилляция знаний из больших моделей → в быстрые, компактные (например, YOLOv8) для edge-устройств
✅ Никакого участия человека — полный цикл от сырых данных до inference-готовой модели

Autodistill закрывает самый трудозатратный этап CV-проекта — разметку — и превращает его в автоматизированный pipeline.

📱 Репозиторий

🐸 Библиотека дата-сайентиста

#буст

↪️ Google представила Gemini 3 — самый интеллектуальный ИИ в своей истории

Google делает ещё один шаг на пути к AGI и запускает Gemini 3 — новую модель, которая обещает вывести работу с ИИ на совершенно другой уровень:
1️⃣ Лучшее мультимодальное понимание
1️⃣ State-of-the-art рассуждение и логика
1️⃣ Сильные агентные возможности
1️⃣ «Vibe-coding» — более глубокая интерактивность и визуализация

Gemini 3 Pro уже доступен в превью и начинает появляться во многих продуктах Google — от корпоративных инструментов до приложений для пользователей.

ℹ️ Подробнее

🐸 Библиотека дата-сайентиста

#буст

😵‍💫 Усиль свои позиции на собесе в Data Science знаниями математики!

Чем важна математика расскажет Мария Тихонова - кандидат компьютерных наук, руководитель исследовательского направления SberAI, доцент факультета компьютерных наук и преподаватель НИУ ВШЭ на курсе «Математика для Data Science» от Proglib Academy.

👀 Мария - человек, который реально работает с LLM и делает так, чтобы модели понимали человеческую речь, а не делали вид.

📌 Добавь в свое портфолио проект, выделись среди конкурентов

Курс предусматривает выполнение практического проекта с фидбеком от экспертов. За проект можно взять темы:
• обучите градиентный спуск для предсказания цен на квартиры
• создадите классификатор тональности или тематики текста
• построите простую рекомендательную систему на матричных разложениях

Бонусы:
- скидка 40% до 30 ноября
- если оплатить до конца ноября, получите курс «Базовая математика» в подарок

➡️ Пройти бесплатный тест на знание математики

👇👇👇
Записаться на курс

🎄 Santa 2025: новый рождественский челлендж по оптимизации

Сколько ёлочек можно упаковать в коробку?
Kaggle запустил праздничный конкурс, где нужно решить классическую задачу упаковки… но с рождественским настроением.

Задача:
Помочь Санте упаковать от 1 до 200 маленьких ёлочек в самую маленькую квадратную коробку, уложив их максимально эффективно (2D-packing).

Это идеальный повод потренировать:
🔹 оптимизацию
🔹 алгоритмы размещения
🔹 эвристики
🔹 геометрию

Цель:
Найти оптимальную упаковку и попасть в число первых, кто поможет Санте.

ℹ️ Конкурс уже открыт
ℹ️ Продлится ещё пару месяцев

➡️ Ссылка на конкурс

🐸 Библиотека дата-сайентиста

#буст

🤖 Что такое object-centric в машинном обучении

В машинном обучении есть подход, который заставляет модель смотреть на данные «по-человечески» — object-centric.

Это когда модель не видит картинку как груду пикселей.
Она видит отдельные объекты — стол, кружку, кота — и работает именно с ними.

Зачем это нужно?

➡️ Лучшее обобщение.
Если модель понимает, что такое «объект», она легче переносит знания на новые сцены.

➡️ Объяснимость.
Модель фактически говорит: «объект №1 — куб», «объект №2 — шар».

➡️ Манипуляции объектами.
Важно в робототехнике, моделях мира, генерации сцен: можно двигать объекты, комбинировать их, прогнозировать взаимодействия.

Где используется:
• безучительское обучение (Slot Attention, MONet)
• модели мира (Dreamer, Genesis)
• генерация изображений
• робототехника и video understanding

Проще всего:
• обычная нейросеть → «вижу пиксели»
• object-centric сеть → «вижу вещи»

🐸 Библиотека дата-сайентиста

#буст