Почему датасет MNIST стал таким популярным в обучении нейронных сетей?
Anonymous Quiz
16%
Он был первым открытым датасетом, содержащим цветные изображения
36%
Он идеально подходит для тестирования сверточных сетей благодаря разнообразным шрифтам и шуму
34%
Он был создан как стандартизированная версия набора NIST, чтобы было проще сравнивать модели
14%
За его использование давали призы на ранних соревнованиях по ML
🔥4👍1
🙌 Апдейты
— Google Colab теперь в VS Code: лучшее из двух миров — Google официально выпустил расширение Colab для VS Code.
🚀 AI & LLMs: новые модели и прорывы
— GPT-5.1 — OpenAI представила две обновлённые модели.
— Nano Banana 2 — утекли первые сэмплы следующей версии модели.
🧠 Research
— Google запускает File Search в Gemini API — файл-хранилище, чанкинг, индексация и вставка контекста — всё теперь автоматизировано.
— Nested Learning — Google представила brain-inspired подход, где модель — это не одна задача оптимизации, а множество вложенных.
#свежак
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
Forwarded from Библиотека собеса по Data Science | вопросы с собеседований
Если при кросс-валидации модель показывает очень разные результаты на разных фолдах, а на тесте — низкую ошибку, что это может значить?
Anonymous Quiz
12%
Недостаток данных
49%
Сильная зависимость модели от случайных разбиений данных
31%
Модель сильно переобучена на один из фолдов
8%
Модель недообучена
❤3😢2
🚀 В IT ценится не перфекционизм, а движение вперёд, и если вы давно откладывали обучение — самое время начать.
❤️ Proglib Academy продлевает розыгрыш MacBook Pro 14 до 30 ноября!
Что нужно:
⚡️ выбрать курс;
⚡️ пройти минимум две недели обучения (можно за два вечера);
⚡️ написать куратору #розыгрыш;
⚡️ забрать макбук.
🎓 Курсы, которые участвуют
👉 Участвовать
❤️ Proglib Academy продлевает розыгрыш MacBook Pro 14 до 30 ноября!
Что нужно:
⚡️ выбрать курс;
⚡️ пройти минимум две недели обучения (можно за два вечера);
⚡️ написать куратору #розыгрыш;
⚡️ забрать макбук.
🎓 Курсы, которые участвуют
👉 Участвовать
This media is not supported in your browser
VIEW IN TELEGRAM
🧪 Методы тестирования ML-моделей перед релизом
Когда выкатываешь новую модель, важно не «сломать прод», поэтому используют разные стратегии тестирования.
Вот 4 самых популярных подхода:
1️⃣ A/B-тестирование
Сервер отправляет, например, 90% запросов старой модели и 10% — новой.
🔛 Так можно безопасно сравнить качество на реальных пользователях.
2️⃣ Канареечное тестирование
Новая модель включается только для небольшой группы пользователей.
🔛 Если всё ок — постепенно расширяем охват. Минимальный риск.
3️⃣ Interleaved Testing
Пользователь видит «смешанные» результаты: часть рекомендаций — от старой модели, часть — от новой.
🔛 Хорошо подходит для ранжирования и рекомендаций, где важны позиции.
4️⃣ Shadow Testing
Пользователь получает ответ только от старой модели, но новая модель работает параллельно, делает предсказания и скрытно собирает статистику.
🔛 Самый безопасный способ протестировать поведение модели под реальной нагрузкой.
🐸 Библиотека дата-сайентиста
#буст
Когда выкатываешь новую модель, важно не «сломать прод», поэтому используют разные стратегии тестирования.
Вот 4 самых популярных подхода:
Сервер отправляет, например, 90% запросов старой модели и 10% — новой.
Новая модель включается только для небольшой группы пользователей.
Пользователь видит «смешанные» результаты: часть рекомендаций — от старой модели, часть — от новой.
Пользователь получает ответ только от старой модели, но новая модель работает параллельно, делает предсказания и скрытно собирает статистику.
#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍3🔥1
🎓 Экспресс-курс «Математика для Data Science» стартует 4 декабря
Этот курс для вас, если вы:
🧑💻 Программист
Когда нужно понять, что происходит «под капотом» ML-алгоритмов.
📊 Начинающий DS / аналитик / студент
Чтобы закрыть теорию, подтянуть фундамент и собрать портфолио.
📈 Смежный специалист
Чтобы уверенно работать с моделями, статистикой и гипотезами.
🎁 Сейчас лучший момент стартовать:
— скидка 40% на курс до конца ноября
— можно пройти бесплатный тест на знание основ математики
👉 Записаться на курс
Этот курс для вас, если вы:
🧑💻 Программист
Когда нужно понять, что происходит «под капотом» ML-алгоритмов.
📊 Начинающий DS / аналитик / студент
Чтобы закрыть теорию, подтянуть фундамент и собрать портфолио.
📈 Смежный специалист
Чтобы уверенно работать с моделями, статистикой и гипотезами.
🎁 Сейчас лучший момент стартовать:
— скидка 40% на курс до конца ноября
— можно пройти бесплатный тест на знание основ математики
👉 Записаться на курс
🙏1
This media is not supported in your browser
VIEW IN TELEGRAM
Autodistill позволяет обучать кастомные продакшен-модели без ручной разметки вообще.
От необработанных изображений — сразу к готовой модели:
Autodistill закрывает самый трудозатратный этап CV-проекта — разметку — и превращает его в автоматизированный pipeline.
#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2❤1
Google делает ещё один шаг на пути к AGI и запускает Gemini 3 — новую модель, которая обещает вывести работу с ИИ на совершенно другой уровень:
Gemini 3 Pro уже доступен в превью и начинает появляться во многих продуктах Google — от корпоративных инструментов до приложений для пользователей.
#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5❤2🎉2🥱1
This media is not supported in your browser
VIEW IN TELEGRAM
🥰1
Чем важна математика расскажет Мария Тихонова - кандидат компьютерных наук, руководитель исследовательского направления SberAI, доцент факультета компьютерных наук и преподаватель НИУ ВШЭ на курсе «Математика для Data Science» от Proglib Academy.
Курс предусматривает выполнение практического проекта с фидбеком от экспертов. За проект можно взять темы:
• обучите градиентный спуск для предсказания цен на квартиры
• создадите классификатор тональности или тематики текста
• построите простую рекомендательную систему на матричных разложениях
Бонусы:
- скидка 40% до 30 ноября
- если оплатить до конца ноября, получите курс «Базовая математика» в подарок
➡️ Пройти бесплатный тест на знание математики
Записаться на курс
Please open Telegram to view this post
VIEW IN TELEGRAM
🎄 Santa 2025: новый рождественский челлендж по оптимизации
Сколько ёлочек можно упаковать в коробку?
Kaggle запустил праздничный конкурс, где нужно решить классическую задачу упаковки… но с рождественским настроением.
Задача:
Помочь Санте упаковать от 1 до 200 маленьких ёлочек в самую маленькую квадратную коробку, уложив их максимально эффективно (2D-packing).
Это идеальный повод потренировать:
🔹 оптимизацию
🔹 алгоритмы размещения
🔹 эвристики
🔹 геометрию
Цель:
Найти оптимальную упаковку и попасть в число первых, кто поможет Санте.
ℹ️ Конкурс уже открыт
ℹ️ Продлится ещё пару месяцев
➡️ Ссылка на конкурс
🐸 Библиотека дата-сайентиста
#буст
Сколько ёлочек можно упаковать в коробку?
Kaggle запустил праздничный конкурс, где нужно решить классическую задачу упаковки… но с рождественским настроением.
Задача:
Помочь Санте упаковать от 1 до 200 маленьких ёлочек в самую маленькую квадратную коробку, уложив их максимально эффективно (2D-packing).
Это идеальный повод потренировать:
Цель:
Найти оптимальную упаковку и попасть в число первых, кто поможет Санте.
#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2🔥1🎉1
This media is not supported in your browser
VIEW IN TELEGRAM
Ноябрь — месяц One Day Offer в GigaChat и Kandinsky 📆
В ноябре команды двух топовых IT-продуктов Сбера планируют обрести новых классных коллег — DL Engineers и Researchers, чтобы вместе работать над GigaChat и Kandinsky: развивать, обучать и дообучать модели.
Смотрите расписание One Day Offer и не упустите шанс присоединиться к крупнейшему AI-комьюнити. Целых восемь мероприятий, чтобы изменить свою карьеру и жизнь — выбирайте то, что подходит под навыки и цели, и регистрируйтесь!
В ноябре команды двух топовых IT-продуктов Сбера планируют обрести новых классных коллег — DL Engineers и Researchers, чтобы вместе работать над GigaChat и Kandinsky: развивать, обучать и дообучать модели.
Смотрите расписание One Day Offer и не упустите шанс присоединиться к крупнейшему AI-комьюнити. Целых восемь мероприятий, чтобы изменить свою карьеру и жизнь — выбирайте то, что подходит под навыки и цели, и регистрируйтесь!
❤1
🤖 Что такое object-centric в машинном обучении
В машинном обучении есть подход, который заставляет модель смотреть на данные «по-человечески» — object-centric.
Это когда модель не видит картинку как груду пикселей.
Она видит отдельные объекты — стол, кружку, кота — и работает именно с ними.
Зачем это нужно?
➡️ Лучшее обобщение.
Если модель понимает, что такое «объект», она легче переносит знания на новые сцены.
➡️ Объяснимость.
Модель фактически говорит: «объект №1 — куб», «объект №2 — шар».
➡️ Манипуляции объектами.
Важно в робототехнике, моделях мира, генерации сцен: можно двигать объекты, комбинировать их, прогнозировать взаимодействия.
Где используется:
• безучительское обучение (Slot Attention, MONet)
• модели мира (Dreamer, Genesis)
• генерация изображений
• робототехника и video understanding
Проще всего:
• обычная нейросеть → «вижу пиксели»
• object-centric сеть → «вижу вещи»
🐸 Библиотека дата-сайентиста
#буст
В машинном обучении есть подход, который заставляет модель смотреть на данные «по-человечески» — object-centric.
Это когда модель не видит картинку как груду пикселей.
Она видит отдельные объекты — стол, кружку, кота — и работает именно с ними.
Зачем это нужно?
Если модель понимает, что такое «объект», она легче переносит знания на новые сцены.
Модель фактически говорит: «объект №1 — куб», «объект №2 — шар».
Важно в робототехнике, моделях мира, генерации сцен: можно двигать объекты, комбинировать их, прогнозировать взаимодействия.
Где используется:
• безучительское обучение (Slot Attention, MONet)
• модели мира (Dreamer, Genesis)
• генерация изображений
• робототехника и video understanding
Проще всего:
• обычная нейросеть → «вижу пиксели»
• object-centric сеть → «вижу вещи»
#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥2❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Kandinsky 5.0 — новая линейка визуальных моделей в open source
⚡️ Сбер опубликовал в открытом доступе всю линейку Kandinsky 5.0: Video Pro, Video Lite, Image Lite и токенизаторы K-VAE 1.0. Полный open source: код, веса, лицензия MIT.
🔘 Video Pro (Text-to-Video / Image-to-Video)
Флагман, генерирующий HD-видео до 10 секунд с гибким управлением движением камеры. Обучалась на 520 млн изображений и 250 млн видео и затем, на финальном этапе, доучивалась на датасете сверх-качественных видеороликов, тщательно отобранных профессиональными художниками и дизайнерами.
Нативно понимает русские и английские промпты, генерирует надписи на латинице и кириллице. Лучшая открытая модель в мире, превосходит Wan 2.2-A14B в Text-to-Video [SBS 59:41] и Image-to-Video [SBS 53:47], а также достигает паритета с Veo 3 по визуальному качеству и динамике [SBS 54:46].
🔘 Video Lite (Text-to-Video / Image-to-Video)
Компактные модели генерации видео, оптимизированные для запуска на GPU от 12 ГБ VRAM. Обучалась на 520 млн изображений и 120 млн видео, хорошая консистентность и качество динамики. Лучшая среди небольших и быстрых моделей, значительно превосходит в 7 раз большую по количеству параметров Wan 2.1-14B как в Text-to-Video [SBS 67:33], так и Image-to-Video [SBS 64:36].
🔘 Image Lite (Text-to-Image / Image Editing)
HD-генерация и редактирование изображений. Претрейн Text-to-Image модели был сделан на 520 млн изображений, включая датасет русского культурного кода ~1 млн изображений. Image Editing был дополнительно дообучен на 150 млн пар. Для достижения финального качества был проведено SFT дообучение на 150 тыс изображений, а также на 20 тыс. пар – для Editing.
Нативно понимает русские и английские промпты, генерирует надписи на латинице и кириллице. Значительно превосходит FLUX.1 [dev] по Text-to-Image [SBS 63:37] и находится в паритете по качеству с FLUX.1 Kontext [dev] по Image Editing [SBS 54:46].
🔘 K-VAE 1.0 (2D / 3D)
Вариационные автоэнкодеры для диффузионных моделей, сжимающие входные данные в формате 8x8 (изображения) и 4x8x8 (видео). Сравнение на открытых датасетах показывает, что модели более качественно восстанавливают исходный сигнал (+0.5dB PSNR), чем лучшие open-source альтернативы (Flux, Wan, Hunyaun), обладающие той же степенью сжатия.
Все модели линейки доступны на GitHub, Gitverse и HuggingFace.
Читайте подробнее в техническом репорте.
Флагман, генерирующий HD-видео до 10 секунд с гибким управлением движением камеры. Обучалась на 520 млн изображений и 250 млн видео и затем, на финальном этапе, доучивалась на датасете сверх-качественных видеороликов, тщательно отобранных профессиональными художниками и дизайнерами.
Нативно понимает русские и английские промпты, генерирует надписи на латинице и кириллице. Лучшая открытая модель в мире, превосходит Wan 2.2-A14B в Text-to-Video [SBS 59:41] и Image-to-Video [SBS 53:47], а также достигает паритета с Veo 3 по визуальному качеству и динамике [SBS 54:46].
Компактные модели генерации видео, оптимизированные для запуска на GPU от 12 ГБ VRAM. Обучалась на 520 млн изображений и 120 млн видео, хорошая консистентность и качество динамики. Лучшая среди небольших и быстрых моделей, значительно превосходит в 7 раз большую по количеству параметров Wan 2.1-14B как в Text-to-Video [SBS 67:33], так и Image-to-Video [SBS 64:36].
HD-генерация и редактирование изображений. Претрейн Text-to-Image модели был сделан на 520 млн изображений, включая датасет русского культурного кода ~1 млн изображений. Image Editing был дополнительно дообучен на 150 млн пар. Для достижения финального качества был проведено SFT дообучение на 150 тыс изображений, а также на 20 тыс. пар – для Editing.
Нативно понимает русские и английские промпты, генерирует надписи на латинице и кириллице. Значительно превосходит FLUX.1 [dev] по Text-to-Image [SBS 63:37] и находится в паритете по качеству с FLUX.1 Kontext [dev] по Image Editing [SBS 54:46].
Вариационные автоэнкодеры для диффузионных моделей, сжимающие входные данные в формате 8x8 (изображения) и 4x8x8 (видео). Сравнение на открытых датасетах показывает, что модели более качественно восстанавливают исходный сигнал (+0.5dB PSNR), чем лучшие open-source альтернативы (Flux, Wan, Hunyaun), обладающие той же степенью сжатия.
Все модели линейки доступны на GitHub, Gitverse и HuggingFace.
Читайте подробнее в техническом репорте.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Единственная open-source Python-библиотека, которая упрощает работу с данными для мультимодальных AI-приложений.
С Pixeltable вы можете хранить, трансформировать, индексировать, извлекать и оркестрировать данные с помощью единого интерфейса таблицы, без необходимости в сложной архитектуре с базами, файлами и векторными БД.
Особенности:
• Поддержка мультимодальных данных: изображения, видео, документы
• Инкрементальное хранение и трансформация данных
• Простая декларативная работа вместо множества систем
Установка:
pip install pixeltable
🔹 Курс «Специалист по ИИ»
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib
#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2
This media is not supported in your browser
VIEW IN TELEGRAM
❓ NLP для Data Scientists: получайте навыки, которые помогают решать реальные задачи с текстами.
🔥 Мы подготовили для вас 3 бесплатных вебинара курса «NLP / Natural Language Processing», где вы узнаете всё необходимое для работы с текстами и моделями.
🔸 Вебинар №1: Анатомия нейросетей: от трансформеров к современным архитектурам
👨🏫 Спикер: Андрей Носов - AI Architect, Raft
⏰ 24 ноября, 20:00 МСК
На этом занятии вы узнаете:
• Из чего состоят современные нейросети — внимание, эмбеддинги, нормализация и другие ключевые механизмы.
• Почему трансформеры стали стандартом в NLP и какие идеи приходят им на смену.
• Как применять эти принципы в задачах генерации, классификации и анализа текста.
🔸 Вебинар №2: Секреты дообучения трансформеров на примере BERT
👩🏫 Спикер: Мария Тихонова - Лидер Research кластера
⏰ 10 декабря, 18:00 МСК
Этот вебинар посвящен дообучению трансформерных моделей под задачи автоматической обработки текстов (NLP).
Вы узнаете:
- Как дообучать трансформеры на примере популярной модели BERT — как в теории, так и на практике.
- Как упростить процесс написания кода дообучения с помощью открытых LLM.
Не знаете, как применять BERT? DeepSeek расскажет, а Мария Тихонова покажет!
🔸 Вебинар №3: Легкий старт в парсинг сайтов на Python
👩🏫 Спикер: Мария Тихонова - Лидер Research кластера
⏰ 15 декабря, 18:00 МСК
После этого вебинара вы:
- Узнаете, какие инструменты используют для парсинга современных сайтов.
- Научитесь парсить сайты самостоятельно и ускорять разработку и отладку с помощью открытых LLM.
🎁 Бонус: Пройдите короткое тестирование и получите в подарок урок "Языковые модели: от статистических до ChatGPT"
👉 Записывайтесь на вебинары: OTUS.RU
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
🔥 Мы подготовили для вас 3 бесплатных вебинара курса «NLP / Natural Language Processing», где вы узнаете всё необходимое для работы с текстами и моделями.
🔸 Вебинар №1: Анатомия нейросетей: от трансформеров к современным архитектурам
👨🏫 Спикер: Андрей Носов - AI Architect, Raft
⏰ 24 ноября, 20:00 МСК
На этом занятии вы узнаете:
• Из чего состоят современные нейросети — внимание, эмбеддинги, нормализация и другие ключевые механизмы.
• Почему трансформеры стали стандартом в NLP и какие идеи приходят им на смену.
• Как применять эти принципы в задачах генерации, классификации и анализа текста.
🔸 Вебинар №2: Секреты дообучения трансформеров на примере BERT
👩🏫 Спикер: Мария Тихонова - Лидер Research кластера
⏰ 10 декабря, 18:00 МСК
Этот вебинар посвящен дообучению трансформерных моделей под задачи автоматической обработки текстов (NLP).
Вы узнаете:
- Как дообучать трансформеры на примере популярной модели BERT — как в теории, так и на практике.
- Как упростить процесс написания кода дообучения с помощью открытых LLM.
Не знаете, как применять BERT? DeepSeek расскажет, а Мария Тихонова покажет!
🔸 Вебинар №3: Легкий старт в парсинг сайтов на Python
👩🏫 Спикер: Мария Тихонова - Лидер Research кластера
⏰ 15 декабря, 18:00 МСК
После этого вебинара вы:
- Узнаете, какие инструменты используют для парсинга современных сайтов.
- Научитесь парсить сайты самостоятельно и ускорять разработку и отладку с помощью открытых LLM.
🎁 Бонус: Пройдите короткое тестирование и получите в подарок урок "Языковые модели: от статистических до ChatGPT"
👉 Записывайтесь на вебинары: OTUS.RU
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
❤1🔥1
Федеративное обучение — это способ обучать модели на устройствах пользователей, не забирая их данные на сервер.
Как это работает:
Плюсы:
• Приватность данных — данные остаются на устройстве
• Эффективность — сервер обрабатывает только обновления
• Масштабируемость — обучение на миллионах устройств
Применение: автозаполнение текста, рекомендации, медицинские модели без передачи личных данных.
🔹 Курс «Специалист по ИИ»
🔹 Получить консультацию менеджера
🔹 Сайт Академии 🔹 Сайт Proglib
#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍2
ГигаЧат представил обновлённое семейство GigaAM-v3
Giga Acoustic Model — это класс open-source моделей для обработки речи и эмоций. В третьей версии опубликовали базовый аудиоэнкодер GigaAM-v3, улучшенные CTC и RNNT-модели, а также E2E-распознавание с поддержкой пунктуации и нормализации.
Масштаб предобучения значительно вырос: с 50 до 700 тысяч часов аудио на русском языке. Появились новые домены в обучении ASR — от колл-центров до разговорной речи.
Для всего корпуса обучающих данных восстановили пунктуацию и нормализацию через GigaChat Max Audio. Линейка CTC/RNNT и E2E позволяет выбирать между скоростью или максимальным качеством под любые сценарии.
Что по метрикам:
— Открытые датасеты (Golos, OpenSTT, Common Voice, LibriSpeech): паритет с GigaAM-v2.
— Новые домены (WER, v2-RNNT → v3-RNNT):
• речь с особенностями 27% → 19%
• колл-центр 13% → 10%
• спонтанная речь 10.3% → 7%
— Пунктуация: v3-e2e-RNNT vs reference + Whisper Forced Decoding — F1-score по запятой 84% vs 62%, остальные знаки ~паритет
— Side-by-Side (Gemini 2.5 Pro as a judge): v3-e2e-RNNT vs Whisper-large-v3 — 70:30 (колл-центр), 64:36 (Common Voice)
Больше про язык, речь и искусственный интеллект в @gigadev_channel. Подписывайтесь на канал, чтобы не пропустить всё самое интересное!
Giga Acoustic Model — это класс open-source моделей для обработки речи и эмоций. В третьей версии опубликовали базовый аудиоэнкодер GigaAM-v3, улучшенные CTC и RNNT-модели, а также E2E-распознавание с поддержкой пунктуации и нормализации.
Масштаб предобучения значительно вырос: с 50 до 700 тысяч часов аудио на русском языке. Появились новые домены в обучении ASR — от колл-центров до разговорной речи.
Для всего корпуса обучающих данных восстановили пунктуацию и нормализацию через GigaChat Max Audio. Линейка CTC/RNNT и E2E позволяет выбирать между скоростью или максимальным качеством под любые сценарии.
Что по метрикам:
— Открытые датасеты (Golos, OpenSTT, Common Voice, LibriSpeech): паритет с GigaAM-v2.
— Новые домены (WER, v2-RNNT → v3-RNNT):
• речь с особенностями 27% → 19%
• колл-центр 13% → 10%
• спонтанная речь 10.3% → 7%
— Пунктуация: v3-e2e-RNNT vs reference + Whisper Forced Decoding — F1-score по запятой 84% vs 62%, остальные знаки ~паритет
— Side-by-Side (Gemini 2.5 Pro as a judge): v3-e2e-RNNT vs Whisper-large-v3 — 70:30 (колл-центр), 64:36 (Common Voice)
Больше про язык, речь и искусственный интеллект в @gigadev_channel. Подписывайтесь на канал, чтобы не пропустить всё самое интересное!
❤1👍1🥰1