#дайджест_wbs — интересные новости за последние несколько недель ⬇️
🚩 Вышла Mistral Small 3: 24B параметров, открытая лицензия Apache 2.0
Несмотря на компактный размер, она конкурирует с моделями втрое больше (Llama 3.3 70B, Qwen 32B), достигая скорости 150 токенов/с и точности 81% на MMLU.
Модель оптимизирована для низкой задержки, может работать на RTX 4090 или MacBook с 32GB RAM и доступна как в предобученной, так и в инструктированной версиях.
🚩 Состоялся релиз Qwen2.5-1M
Обе модели (7B, 14B) хороши для продакшн задач на английском, но иногда все же генерируются китайские символы.
На практике хорошо справляются с поиском по всему контексту, но за это приходится платить видеопамятью: 120GB для полного контекста даже для 7B модели.
Разработчики предлагают воспользоваться их форком vLLM, в котором они добавили sparse attention и другие трюки для более качественной работы с Qwen-моделями.
🚩 Google выпустила новые версии Gemini 2.0
Основная версия Flash теперь доступна всем: хорошо работает с текстом и изображениями, а скоро научится генерировать картинки и озвучивать текст.
Для сложных задач создана экспериментальная версия Pro: лучше всего справляется с программированием и может использовать Google Поиск.
Для тех, кому важна экономия, появилась версия Flash-Lite: работает лучше старой модели, но стоит столько же.
Все версии уже можно использовать через сервисы Google.
🚩 Janus-Pro — новая модель, которая умеет создавать изображения
Переработан процесс обучения: теперь модель дольше учится на простых задачах и лучше усваивает сложные. Добавлено огромное количество данных: 90 млн реальных изображений и 72 млн синтетических.
Модель лучше стала понимать изображения и создавать более качественные картинки, обгоняя даже DALL-E 3 по некоторым показателям. Единственный минус — работает с небольшими изображениями 384×384 пикселя.
Вся разработка открыта — код доступен на GitHub, что ценно для исследователей и разработчиков.
➿ ➿ ➿
Комментарии подготовили ML- и DS-специалисты Wildberries💘
🌟 @wb_space
📹 @wb_tech
Несмотря на компактный размер, она конкурирует с моделями втрое больше (Llama 3.3 70B, Qwen 32B), достигая скорости 150 токенов/с и точности 81% на MMLU.
Модель оптимизирована для низкой задержки, может работать на RTX 4090 или MacBook с 32GB RAM и доступна как в предобученной, так и в инструктированной версиях.
Обе модели (7B, 14B) хороши для продакшн задач на английском, но иногда все же генерируются китайские символы.
На практике хорошо справляются с поиском по всему контексту, но за это приходится платить видеопамятью: 120GB для полного контекста даже для 7B модели.
Разработчики предлагают воспользоваться их форком vLLM, в котором они добавили sparse attention и другие трюки для более качественной работы с Qwen-моделями.
Основная версия Flash теперь доступна всем: хорошо работает с текстом и изображениями, а скоро научится генерировать картинки и озвучивать текст.
Для сложных задач создана экспериментальная версия Pro: лучше всего справляется с программированием и может использовать Google Поиск.
Для тех, кому важна экономия, появилась версия Flash-Lite: работает лучше старой модели, но стоит столько же.
Все версии уже можно использовать через сервисы Google.
Переработан процесс обучения: теперь модель дольше учится на простых задачах и лучше усваивает сложные. Добавлено огромное количество данных: 90 млн реальных изображений и 72 млн синтетических.
Модель лучше стала понимать изображения и создавать более качественные картинки, обгоняя даже DALL-E 3 по некоторым показателям. Единственный минус — работает с небольшими изображениями 384×384 пикселя.
Вся разработка открыта — код доступен на GitHub, что ценно для исследователей и разработчиков.
Комментарии подготовили ML- и DS-специалисты Wildberries
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6❤2👍2
В каких командах и проектах Wildberries есть задачи для аналитиков
Поиск, рекомендации, логистика, карточка товара, отзывы... В каких еще командах Wildberries есть задачи для аналитиков?
Подробности уже в хабр-статье Михаила Климушкина, лида аналитики Рекомендаций и Data Science в Wildberries.
Кстати,разбор must-навыков аналитиков и пара советов по развитию скиллов прилагаются ✅
➿ ➿ ➿
🌟 @wb_space
📹 @wb_tech
Поиск, рекомендации, логистика, карточка товара, отзывы... В каких еще командах Wildberries есть задачи для аналитиков?
Подробности уже в хабр-статье Михаила Климушкина, лида аналитики Рекомендаций и Data Science в Wildberries.
Кстати,
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10👍4❤2
#заглянем_под_капот
Какие ML-решения помогают вашей ленте рекомендаций быть разнообразной и полезной?
Хайлайты эксперимента использования жадных алгоритмов для повышения diversity персональных рекомендаций на главной Wildberries читайте на карточках.
А больше деталей вы найдете в обзорной статье Никиты Ваганова, Data Scientist’а в команде HML📌
Еще о рекомендациях Wildberries:
🌟 @wildrecsys
🌟 @wb_space
📹 @wb_tech
Какие ML-решения помогают вашей ленте рекомендаций быть разнообразной и полезной?
Например, применение MMR в мерджере — блендере офлайн и реактивных источников — в момент формирования выдачи.
Хайлайты эксперимента использования жадных алгоритмов для повышения diversity персональных рекомендаций на главной Wildberries читайте на карточках.
А больше деталей вы найдете в обзорной статье Никиты Ваганова, Data Scientist’а в команде HML
Еще о рекомендациях Wildberries:
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍3🔥3
Собрали для вас #дайджест_wbs, в котором рассказали об интересных обновлениях и релизах 🔄
➡️ Google выпустили SigLIP2
Это линейка многоязычных CLIP-энкодеров. Что изменилось в новой версии?
— Помимо sigmoid-лосса добавлены задачи для улучшения семантики и локализации признаков.
— Внедрена самодистилляция (global-Local loss и masked prediction).
— Созданы версии с динамическим разрешением (naflex).
— Появилась модель на 1.87 млрд параметров.
Все модели превосходят предыдущие версии в zero-shot классификации, поиске и представлении изображений.
➡️ Grok-3 — новинка от xAI
Этот флагманский ИИ — сильный конкурент для GPT-4o и Gemini. Модель, обученная на кластере из 200 тыс GPU, в 10 раз мощнее предыдущей версии благодаря расширенному датасету.
Grok 3 лидирует в бенчмарках AIME и GPQA, обходя конкурентов в математике и науке. Есть также Grok 3 mini для быстрых ответов и Reasoning-модели с самопроверкой.
Еще в приложении Grok появился DeepSearch — ИИ-поисковик по вебу и X. А скоро нас ждет голосовой API и open-source Grok 2.
➡️ Релиз модели QwQ-32B
Модель от QWEN демонстрирует эффективность масштабирования обучения с подкреплением (RL). Несмотря на относительно небольшой размер (32 млрд параметров), разработчики заявляют производительность, сравнимую с DeepSeek-R1.
Обучение модели делится на два этапа RL: специализированное обучение на математических и кодинг задачах с использованием верификаторов решений вместо традиционных reward-моделей, затем дополнительный этап для развития общих способностей с помощью reward-моделей и rule-based верификаторов.
Модель обучена с возможностью использования инструментов (tool use), открыта для использования по лицензии Apache 2.0. На практике очень чувствительна к параметрам сэмплинга.
➡️ Вышла новая версия YOLO
YOLOv12 — это обновление детектора объектов, созданная с использованием "attention" механизмов вместо традиционных CNN.
Она быстрее и точнее предыдущих моделей: например, YOLOv12-N достигает 40.6% mAP с задержкой всего 1.64 мс на GPU T4. Благодаря модулю Area Attention и сетям R-ELAN, она эффективно работает в реальном времени, сохраняя высокую точность.
➿ ➿ ➿
Комментарии подготовили ML- и DS-специалисты Wildberries💘
🌟 @wb_space
📹 @wb_tech
Это линейка многоязычных CLIP-энкодеров. Что изменилось в новой версии?
— Помимо sigmoid-лосса добавлены задачи для улучшения семантики и локализации признаков.
— Внедрена самодистилляция (global-Local loss и masked prediction).
— Созданы версии с динамическим разрешением (naflex).
— Появилась модель на 1.87 млрд параметров.
Все модели превосходят предыдущие версии в zero-shot классификации, поиске и представлении изображений.
Этот флагманский ИИ — сильный конкурент для GPT-4o и Gemini. Модель, обученная на кластере из 200 тыс GPU, в 10 раз мощнее предыдущей версии благодаря расширенному датасету.
Grok 3 лидирует в бенчмарках AIME и GPQA, обходя конкурентов в математике и науке. Есть также Grok 3 mini для быстрых ответов и Reasoning-модели с самопроверкой.
Еще в приложении Grok появился DeepSearch — ИИ-поисковик по вебу и X. А скоро нас ждет голосовой API и open-source Grok 2.
Модель от QWEN демонстрирует эффективность масштабирования обучения с подкреплением (RL). Несмотря на относительно небольшой размер (32 млрд параметров), разработчики заявляют производительность, сравнимую с DeepSeek-R1.
Обучение модели делится на два этапа RL: специализированное обучение на математических и кодинг задачах с использованием верификаторов решений вместо традиционных reward-моделей, затем дополнительный этап для развития общих способностей с помощью reward-моделей и rule-based верификаторов.
Модель обучена с возможностью использования инструментов (tool use), открыта для использования по лицензии Apache 2.0. На практике очень чувствительна к параметрам сэмплинга.
YOLOv12 — это обновление детектора объектов, созданная с использованием "attention" механизмов вместо традиционных CNN.
Она быстрее и точнее предыдущих моделей: например, YOLOv12-N достигает 40.6% mAP с задержкой всего 1.64 мс на GPU T4. Благодаря модулю Area Attention и сетям R-ELAN, она эффективно работает в реальном времени, сохраняя высокую точность.
Комментарии подготовили ML- и DS-специалисты Wildberries
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥6❤2
#мнение_эксперта
В конце февраля DeepSeek устроили неделю опенсорса и 5 дней публиковали репозитории с кодом их проектов⚙️
◼ FlashMLA — механизм декодирования для больших языковых моделей.
◼ DeepEP — коммуникационная библиотека, специально разработанная для MoE и EP.
◼ DeepGEMM — библиотека для эффективных вычислений General Matrix Multiplications.
◼ DualPipe — инновационный алгоритм двунаправленного конвейерного параллелизма.
◼ Fire-Flyer File System (3FS) — высокопроизводительная распределенная файловая система.
Остальные подробности про каждый проект читайте на карточках!
———
Спасибо за разбор Павлу Дмитриеву, Machine Learning Engineer в CoreCV✅
🌟 @wb_space
📹 @wb_tech
В конце февраля DeepSeek устроили неделю опенсорса и 5 дней публиковали репозитории с кодом их проектов
◼ FlashMLA — механизм декодирования для больших языковых моделей.
◼ DeepEP — коммуникационная библиотека, специально разработанная для MoE и EP.
◼ DeepGEMM — библиотека для эффективных вычислений General Matrix Multiplications.
◼ DualPipe — инновационный алгоритм двунаправленного конвейерного параллелизма.
◼ Fire-Flyer File System (3FS) — высокопроизводительная распределенная файловая система.
Остальные подробности про каждый проект читайте на карточках!
———
Спасибо за разбор Павлу Дмитриеву, Machine Learning Engineer в CoreCV
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7❤4👍2
За гранью A/B: Синтетический контроль
📈 Как оценить эффект от нововведения (фича/тариф/акция), если нет возможности провести классический A/B-тест? На помощь приходит Синтетический контроль!
Насколько такая оценка сопоставима с проведением полноценного A/B-теста? Как именно спроектировать дизайн эксперимента, чтобы можно было применить Синтетический контроль для оценки эффекта и как в этом случае интерпретировать результаты?
Подробности и реальные примеры экспериментов уже в Хабр-статье Анастасии Соколовой, Lead'a A/B Платформы в Wildberries👀
➿ ➿ ➿
#мнение_эксперта
🌟 @wb_space
📹 @wb_tech
Насколько такая оценка сопоставима с проведением полноценного A/B-теста? Как именно спроектировать дизайн эксперимента, чтобы можно было применить Синтетический контроль для оценки эффекта и как в этом случае интерпретировать результаты?
Подробности и реальные примеры экспериментов уже в Хабр-статье Анастасии Соколовой, Lead'a A/B Платформы в Wildberries
#мнение_эксперта
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥6❤2🔥2