📚 Команда AI VK всю неделю делилась самыми любопытными статьями с ICML 2025 — а мы делимся ими с вами.
Что успели обсудить:
🔸 Быстрые трансформеры без softmax
🔸 Как понять, что датасет для GNN вообще имеет смысл
🔸 Определение GPU и софта по выходу модели
🔸 Почему LLM странно отвечают на простые запросы
🔸 Как локальность объясняет креативность диффузионок
🔸 И как немного токсичности помогает модели быть умнее
Что успели обсудить:
🔸 Быстрые трансформеры без softmax
🔸 Как понять, что датасет для GNN вообще имеет смысл
🔸 Определение GPU и софта по выходу модели
🔸 Почему LLM странно отвечают на простые запросы
🔸 Как локальность объясняет креативность диффузионок
🔸 И как немного токсичности помогает модели быть умнее
Telegram
AI VK Hub
Всем привет!
Всю прошлую неделю мы старались для вас и делились короткими обзорами статей с ICML 2025:
🔸Высокопроизводительные трансформеры на базе MatMuls.
🔸Проблемы оценки качества наборов данных для графового машинного обучения.
🔸Метод HSPI — определение…
Всю прошлую неделю мы старались для вас и делились короткими обзорами статей с ICML 2025:
🔸Высокопроизводительные трансформеры на базе MatMuls.
🔸Проблемы оценки качества наборов данных для графового машинного обучения.
🔸Метод HSPI — определение…
❤4👍2🥰1
📊 Plotly for R — пакет для создания интерактивной визуализации в R с использованием JavaScript-библиотеки plotly.js. Позволяет превращать статические ggplot2-графики в динамические веб-визуализации с помощью одной функции
Инструмент имеет поддержку анимаций, кастомизации подсказок и интеграции с Shiny. Пакет особенно полезен для создания интерактивных дашбордов и отчетов в RMarkdown.
🤖 GitHub
@bigdatai
ggplotly(). Инструмент имеет поддержку анимаций, кастомизации подсказок и интеграции с Shiny. Пакет особенно полезен для создания интерактивных дашбордов и отчетов в RMarkdown.
🤖 GitHub
@bigdatai
👍2🔥2
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Replit, позиционирующая себя как инструмент для вайбкодинга, оказалась в центре скандала. Джейсон Лемкин, основатель SaaStr, подробно описал свой опыт, который начался с восторга от скорости прототипирования и перерос в серьезные проблемы.
Несмотря на явные и многократные инструкции не вносить изменения без разрешения, ИИ-агент удалил его производственную базу данных. Ситуацию усугубила противоречивая реакция техподдержки, которая сначала заявила о невозможности восстановления данных, а затем все же смогла их вернуть.
Лемкин пришел к выводу, что Replit пока не готов для серьезной работы. Инструмент не только проигнорировал прямые запреты, но и не смог обеспечить "заморозку кода".
theregister.com
Агент, представленный Composite AI, автоматизирует рутинные действия в интернете: клики, ввод текста и навигацию по сайтам. Ключевое отличие от большинства аналогов в том, что он работает локально в браузере пользователя, а не в облаке. Это дает ему прямой доступ к входу в учетные записи пользователя без необходимости сложной настройки или передачи данных на сторонние серверы.
По заявлению разработчиков, инструмент работает на любом веб-сайте и выполняет действия в реальном времени. Пока агент доступен только на macOS. Бесплатная пробная версия действует 30 дней и включает 1000 запросов к топовым моделям. Платный тариф стоит 20 долларов в месяц за те же 1000 запросов, которые предоставляются ежемесячно.
composite.com
Соцсеть X скоро получит собственный инструмент для создания видеороликов из текстовых описаний. По словам Илона Маска, новая фича под названием «Imagine» будет основана на интеграции технологий стартапа Hotshot, который его компания, xAI, приобрела в марте, с чат-ботом Grok.
Х планирует дать пользователям возможность быстро создавать креативные вирусные видео. Это позволит ей конкурировать с Veo от Google. Еще до поглощения Hotshot был известен в сообществе ИИ-энтузиастов своими разработками в области text-to-video.
finance.yahoo.com
На саммите RISC-V в Китае NVIDIA анонсировала открытие платформы CUDA для поддержки процессоров с открытой архитектурой RISC-V. Впервые в истории проприетарная технология выходит за пределы экосистем x86 и Arm, что может значительно ускорить внедрение RISC-V в высокопроизводительных системах.
Согласно анонсу, CPU на базе RISC-V теперь смогут выступать в роли центрального управляющего компонента в ИИ-системах, использующих технологии NVIDIA. Компания уже продемонстрировала референсную архитектуру, где процессор RISC-V отвечает за операционную систему и логику, графические ускорители NVIDIA - за интенсивные вычисления, а DPU - за сетевые задачи.
RISC-V в сети X
ИИ-компании Scale AI, Turing и Toloka отказываются от услуг низкооплачиваемых разметчиков данных в пользу узкопрофильных специалистов. Этот тренд обусловлен появлением моделей нового поколения, способных к ризонингу. Для их обучения простого аннотирования данных уже недостаточно.
Новая стратегия требует от экспертов не просто маркировать данные, а демонстрировать свой мыслительный процесс, например, в формате цепочки рассуждений. Инженеры и ученые решают комплексные задачи, а модель учится на их примерах.
ft.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍2🔥2
🚀 MegaTTS 3 теперь действительно умеет клонировать голос
Ранее ByteDance выпустила MegaTTS 3 — мощную модель синтеза речи, но не добавила ключевой компонент: WavVAE-энкодер, необходимый для голосового клонирования.
Теперь ситуация изменилась.
🎉 Разработчик ACoderPassBy выложил совместимый WavVAE-энкодер на ModelScope — и голосовое клонирование с MegaTTS 3 наконец-то работает. Качество звучания — на уровне.
Что это даёт:
— 🎙 Кастомные синтезированные голоса
— 🧠 Эксперименты с озвучкой на open-source стекe
— 🚀 Альтернатива StyleTTS и другим TTS-платформам
https://huggingface.co/spaces/mrfakename/MegaTTS3-Voice-Cloning
Ранее ByteDance выпустила MegaTTS 3 — мощную модель синтеза речи, но не добавила ключевой компонент: WavVAE-энкодер, необходимый для голосового клонирования.
Теперь ситуация изменилась.
🎉 Разработчик ACoderPassBy выложил совместимый WavVAE-энкодер на ModelScope — и голосовое клонирование с MegaTTS 3 наконец-то работает. Качество звучания — на уровне.
Что это даёт:
— 🎙 Кастомные синтезированные голоса
— 🧠 Эксперименты с озвучкой на open-source стекe
— 🚀 Альтернатива StyleTTS и другим TTS-платформам
https://huggingface.co/spaces/mrfakename/MegaTTS3-Voice-Cloning
🔥4❤3👍2
🤖 Financial Times: Microsoft усиливает AI-команду — и делает это агрессивно
За последние 6 месяцев Microsoft наняла 24 бывших исследователя Google DeepMind, включая бывшего главу инженерной команды Gemini. Это не просто найм — это перехват элиты.
💡 Почему это важно?
Напомним: если совет OpenAI официально объявит о достижении AGI (ИИ, превосходящий человека в большинстве экономически значимых задач), Microsoft теряет доступ к новым моделям OpenAI.
📌 Это прописано в их контракте.
📌 После AGI Microsoft должна будет идти дальше своими силами.
📌 А значит — ей нужны собственные учёные, чтобы строить frontier‑модели.
🎯 И вот вопрос на миллион:
Знает ли Microsoft что-то, чего не знаем мы?
Почему именно сейчас она масштабирует свою AI-команду так быстро и так дорого?
Возможно, гонка за настоящим AGI куда ближе, чем мы думаем.
За последние 6 месяцев Microsoft наняла 24 бывших исследователя Google DeepMind, включая бывшего главу инженерной команды Gemini. Это не просто найм — это перехват элиты.
💡 Почему это важно?
Напомним: если совет OpenAI официально объявит о достижении AGI (ИИ, превосходящий человека в большинстве экономически значимых задач), Microsoft теряет доступ к новым моделям OpenAI.
📌 Это прописано в их контракте.
📌 После AGI Microsoft должна будет идти дальше своими силами.
📌 А значит — ей нужны собственные учёные, чтобы строить frontier‑модели.
🎯 И вот вопрос на миллион:
Знает ли Microsoft что-то, чего не знаем мы?
Почему именно сейчас она масштабирует свою AI-команду так быстро и так дорого?
Возможно, гонка за настоящим AGI куда ближе, чем мы думаем.
❤4👍2🔥2
В открытый доступ выложили и обновили RuModernBERT — модель от VK для обработки естественного русского языка. Доступны две версии: 150M и 35M. Обучали на 2 триллионах токенов данных — брали всё: от классической литературы до соцсетей и документации.
Она понимает длинные тексты целиком, без разбиения на фрагменты и работает локально, без внешних API, что снижает нагрузку на инфраструктуру. Инженеры могут использовать ее для задач в области обработки текста, в том числе для извлечения информации, анализа тональности, поиска и ранжирования в приложениях и сервисах. А пользователи, таким образом смогут быстрее находить информацию, документы, видео или товары.
По скорости работы обходит аналоги — особенно на больших текстах (в 2-3 раза быстрее) и при запуске на устройствах (плюс 10-20% к скорости). В тестах по русскому языку показала топовые результаты.
Доступна на Hugging Face — там же лежат обновлённые USER/USER2 для группировки и поиска похожей информации.
Она понимает длинные тексты целиком, без разбиения на фрагменты и работает локально, без внешних API, что снижает нагрузку на инфраструктуру. Инженеры могут использовать ее для задач в области обработки текста, в том числе для извлечения информации, анализа тональности, поиска и ранжирования в приложениях и сервисах. А пользователи, таким образом смогут быстрее находить информацию, документы, видео или товары.
По скорости работы обходит аналоги — особенно на больших текстах (в 2-3 раза быстрее) и при запуске на устройствах (плюс 10-20% к скорости). В тестах по русскому языку показала топовые результаты.
Доступна на Hugging Face — там же лежат обновлённые USER/USER2 для группировки и поиска похожей информации.
❤4👍3🗿2🔥1
⚡️ BeeAI Framework — инструмент для создания мультиагентных систем на Python и TypeScript, который позволяет легко комбинировать ИИ-агентов с разными ролями и инструментами. Проект поддерживает интеграцию с популярными LLM и инструментами LangChain, предлагая готовые решения для обработки запросов — от поиска информации до генерации отчётов.
Проект отличается гибкостью: можно собирать сложные цепочки агентов с контролем токенов и логированием процессов. Фреймворк уже используют в production-средах, а его разработка ведётся под эгидой Linux Foundation.
🤖 GitHub
@bigdatai
Проект отличается гибкостью: можно собирать сложные цепочки агентов с контролем токенов и логированием процессов. Фреймворк уже используют в production-средах, а его разработка ведётся под эгидой Linux Foundation.
🤖 GitHub
@bigdatai
❤2👍2🔥2
Yandex Cloud добавил в AI Studio языковую модель Qwen3‑235B — масштабное решение для задач генерации, анализа и автоматизации.
Инструмент предназначен для бизнеса и может применяться в поддержке клиентов, персонализированных интерфейсах, e‑commerce, обработке данных.
Доступ осуществляется через API или визуальный интерфейс.
Модель работает с 119 языками и предлагает высокую производительность при низкой стоимости входа.
Реклама. ООО Яндекс.Облако. ИНН 7704458262
Инструмент предназначен для бизнеса и может применяться в поддержке клиентов, персонализированных интерфейсах, e‑commerce, обработке данных.
Доступ осуществляется через API или визуальный интерфейс.
Модель работает с 119 языками и предлагает высокую производительность при низкой стоимости входа.
Реклама. ООО Яндекс.Облако. ИНН 7704458262
👍2❤1
⚙️ llmware — фреймворк для создания RAG-пайплайнов и AI-агентов с упором на небольшие специализированные модели. Проект предлагает готовые решения для обработки документов, извлечения данных и построения чат-ботов, которые можно запускать даже на CPU.
Вместо гигантских LLM llmware использует каталог из 50+ компактных моделей, оптимизированных под конкретные задачи — от анализа контрактов до финансовых исследований. Поддерживает 10 векторных БД, включая Milvus и ChromaDB, и работает с PDF, Word и даже голосовыми записями через WhisperCPP.
🤖 GitHub
@bigdatai
Вместо гигантских LLM llmware использует каталог из 50+ компактных моделей, оптимизированных под конкретные задачи — от анализа контрактов до финансовых исследований. Поддерживает 10 векторных БД, включая Milvus и ChromaDB, и работает с PDF, Word и даже голосовыми записями через WhisperCPP.
🤖 GitHub
@bigdatai
❤2👍1
Media is too big
VIEW IN TELEGRAM
Популярный ютубер (совместно с Welch Labs) простыми словами и красивой анимацией объяснил, как работают генераторы изображений и видео.
▪ 40 минут — от основ до тонкостей
▪ Для новичков + русские субтитры
P.S. Отличный вариант для первого знакомства с технологией и анимация на канале вышла реально на новый уровень!
Смотрим: тут
#ИИ #ДиффузионныеМодели #МашинноеОбучение
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2👍2
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 Microsoft снова доказывает силу синтетических данных для задач компьютерного зрения!
Современные модели компьютерного зрения с фокусом на человека (Human-centric CV) требуют миллиардов параметров, гигантских датасетов и дорогостоящего инференса. Но можно ли добиться такой же точности, не тратя миллионы?
Исследователи показали: модели можно обучать только на синтетических данных высокого качества — и при этом достигать тех же результатов.
Microsoft представили DAViD — open-source фреймворк, позволяющий создавать цифровых людей с точной геометрией лиц и текстурами.
Проект демонстрирует, как можно использовать синтетические датасеты для:
🟠 Предсказания глубины изображения (Depth Prediction)
🟠 Оценки поверхностей (Normal Estimation)
🟠 Сегментации фона и людей на фото/видео (Background & Human Segmentation)
Почему это круто:
🟢 Синтетические данные = пиксельная точность разметки
🟢 Почти бесконечное разнообразие сцен, ракурсов, освещения и поз
🟢 Прекрасно масштабируются для обучения моделей с нуля или дообучения
Самое приятное, что Microsoft выложили всё в опенсорс:
✔️ 300 000 сэмплов
✔️ Предобученные модели
✔️ Исходный код фремйворка
🟢 Проект: https://microsoft.github.io/DAViD/
🟢 Статья: https://arxiv.org/abs/2507.15365
🟢 Github: https://github.com/microsoft/DAViD
@ai_machinelearning_big_data
Если ты работаешь с human-centric CV — это мощный старт. Даже без реальных данных.
#cv #microsoft #opensource
Современные модели компьютерного зрения с фокусом на человека (Human-centric CV) требуют миллиардов параметров, гигантских датасетов и дорогостоящего инференса. Но можно ли добиться такой же точности, не тратя миллионы?
Исследователи показали: модели можно обучать только на синтетических данных высокого качества — и при этом достигать тех же результатов.
Microsoft представили DAViD — open-source фреймворк, позволяющий создавать цифровых людей с точной геометрией лиц и текстурами.
Проект демонстрирует, как можно использовать синтетические датасеты для:
Почему это круто:
Самое приятное, что Microsoft выложили всё в опенсорс:
✔️ 300 000 сэмплов
✔️ Предобученные модели
✔️ Исходный код фремйворка
@ai_machinelearning_big_data
Если ты работаешь с human-centric CV — это мощный старт. Даже без реальных данных.
#cv #microsoft #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤3🔥2🥰1
🎵 Elastic MusicGen Large — генерация музыки нового уровня
Новая модель от TheStageAI на базе MusicGen способна создавать музыкальные треки с гибким контролем стиля, темпа и инструментов прямо на лету. Это не просто генерация — это интерактивное музыкальное творчество с высокой детализацией звука.
Что умеет Elastic MusicGen Large:
- 🎼 Генерирует треки по текстовому описанию (prompt-based music generation)
- ⏱ Позволяет менять темп и стиль без перегенерации
- 🎹 Поддерживает наложение инструментов и тонкую настройку аранжировки
- ⚡ Работает прямо в браузере через Hugging Face Spaces
Подходит для:
- Саунд-дизайнеров и композиторов
- Создания фоновой музыки для видео и игр
- Быстрой генерации идей и музыкальных скетчей
Попробовать можно здесь: huggingface.co/spaces/TheStageAI/Elastic-musicgen-large
Новая модель от TheStageAI на базе MusicGen способна создавать музыкальные треки с гибким контролем стиля, темпа и инструментов прямо на лету. Это не просто генерация — это интерактивное музыкальное творчество с высокой детализацией звука.
Что умеет Elastic MusicGen Large:
- 🎼 Генерирует треки по текстовому описанию (prompt-based music generation)
- ⏱ Позволяет менять темп и стиль без перегенерации
- 🎹 Поддерживает наложение инструментов и тонкую настройку аранжировки
- ⚡ Работает прямо в браузере через Hugging Face Spaces
Подходит для:
- Саунд-дизайнеров и композиторов
- Создания фоновой музыки для видео и игр
- Быстрой генерации идей и музыкальных скетчей
Попробовать можно здесь: huggingface.co/spaces/TheStageAI/Elastic-musicgen-large
🔥5❤2🥰1
📌 Habitat-Lab — фреймворк от Facebook Research для разработки ИИ-агентов, способных взаимодействовать с виртуальными и реальными окружениями. Проект позволяет обучать агентов выполнять различные задачи: от навигации в помещениях до взаимодействия с людьми и перестановки объектов.
Фреймворк поддерживает обучение через имитацию и reinforcement learning, а также интеграцию с ROS для робототехники. Инструмент обладает модульностью: можно настраивать сенсоры агентов, создавать новые задачи и тестировать их в реалистичных 3D-сценах.
🤖 GitHub
@bigdatai
Фреймворк поддерживает обучение через имитацию и reinforcement learning, а также интеграцию с ROS для робототехники. Инструмент обладает модульностью: можно настраивать сенсоры агентов, создавать новые задачи и тестировать их в реалистичных 3D-сценах.
🤖 GitHub
@bigdatai
❤4👍3🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Станьте разработчиком нейро-сотрудников на Python и зарабатывайте от 150.000р в месяц 🔥🔥🔥
Мы научим вас создавать топовых нейро-сотрудников на базе GPT-4 Omni, и вы сможете:
1️⃣ Устроиться разработчиком в крупную компанию и зарабатывать от 150 тысяч ₽ в месяц
2️⃣ Разрабатывать такие проекты на заказ и зарабатывать от 500 тысяч ₽ за проект
3️⃣ Создать нейро-сотрудника в вашей компании и вырасти на +30-100% в зарплате
Что будет на интенсиве?
🧬 Теория: как создаются нейро-сотрудники с GPT-4o на Python
🧬 Практика: мы создадим нейро-консультанта, нейро-HR, нейро-маркетолога и др.
Ведущий интенсива - Senior AI разработчик нейросетей и основатель Университета искусственного интеллекта
🔥 Регистрируйтесь на бесплатный интенсив! Встречаемся в ближайший четверг!
Мы научим вас создавать топовых нейро-сотрудников на базе GPT-4 Omni, и вы сможете:
1️⃣ Устроиться разработчиком в крупную компанию и зарабатывать от 150 тысяч ₽ в месяц
2️⃣ Разрабатывать такие проекты на заказ и зарабатывать от 500 тысяч ₽ за проект
3️⃣ Создать нейро-сотрудника в вашей компании и вырасти на +30-100% в зарплате
Что будет на интенсиве?
🧬 Теория: как создаются нейро-сотрудники с GPT-4o на Python
🧬 Практика: мы создадим нейро-консультанта, нейро-HR, нейро-маркетолога и др.
Ведущий интенсива - Senior AI разработчик нейросетей и основатель Университета искусственного интеллекта
🔥 Регистрируйтесь на бесплатный интенсив! Встречаемся в ближайший четверг!
♾️ Infinity — высокоскоростной API для эмбеддингов и RAG. Проект превращает любые модели с Hugging Face в REST-сервис с минимальной задержкой. Поддерживает ONNX/TensorRT и работает на CPU/GPU через PyTorch и CTranslate2.
Инструмент имеет динамический батчинг и FlashAttention для максимизации производительности. Позволяет развернуть локальный аналог OpenAI Embeddings с открытыми моделями в несколько команд.
🤖 GitHub
@bigdatai
Инструмент имеет динамический батчинг и FlashAttention для максимизации производительности. Позволяет развернуть локальный аналог OpenAI Embeddings с открытыми моделями в несколько команд.
🤖 GitHub
@bigdatai
❤2👍2🔥1🥰1
🧠 SmallThinker — новая серия LLM, нативно обученная для локального запуска
SmallThinker — это семейство языковых моделей, созданное с нуля для запуска на обычных устройствах:
📉 низкая память, 🐌 медленное хранилище, ❌ без GPU — и всё это без потери качества.
🔧 Технологии под капотом:
• Двухуровневая разреженность: MoE + sparse ReGLU (>60% нейронов неактивны)
• Pre-attention router: предсказание нужных экспертов заранее → читаем с SSD параллельно
• NoPE-RoPE гибрид: 1:3 глобальное:локальное внимание → KV-кэш в 4 раза меньше
• Кэширование и оффлоадинг экспертов → экономим CPU и дисковый ввод
• Sparse LM head: предсказываем подмножество словаря, не нужен полный софтмакс
• Чекпойнт-мёрджинг: баланс между универсальностью и инструкционной точностью
⚙️ Производительность (CPU-only, Q4_0):
• 🪶 4B-A0.6B (1 ГБ ОЗУ): 82.3% HumanEval, 66.1% MMLU, 108 ток/с
• 🚀 21B-A3B (8 ГБ ОЗУ): 89.6% HumanEval, 84.4% MMLU — на уровне Qwen3‑30B, но с 85× меньшим потреблением памяти
🏃♂️ Работает на CPU, ARM, Raspberry Pi — 20–108 токенов/сек.
📦 Полностью open-source. Готово к локальному использованию без компромиссов.
#LLM #SmallThinker #AI #LocalLLM #OpenSource
HF: https://huggingface.co/PowerInfer
PAPER: https://arxiv.org/abs/2507.20984
SmallThinker — это семейство языковых моделей, созданное с нуля для запуска на обычных устройствах:
📉 низкая память, 🐌 медленное хранилище, ❌ без GPU — и всё это без потери качества.
🔧 Технологии под капотом:
• Двухуровневая разреженность: MoE + sparse ReGLU (>60% нейронов неактивны)
• Pre-attention router: предсказание нужных экспертов заранее → читаем с SSD параллельно
• NoPE-RoPE гибрид: 1:3 глобальное:локальное внимание → KV-кэш в 4 раза меньше
• Кэширование и оффлоадинг экспертов → экономим CPU и дисковый ввод
• Sparse LM head: предсказываем подмножество словаря, не нужен полный софтмакс
• Чекпойнт-мёрджинг: баланс между универсальностью и инструкционной точностью
⚙️ Производительность (CPU-only, Q4_0):
• 🪶 4B-A0.6B (1 ГБ ОЗУ): 82.3% HumanEval, 66.1% MMLU, 108 ток/с
• 🚀 21B-A3B (8 ГБ ОЗУ): 89.6% HumanEval, 84.4% MMLU — на уровне Qwen3‑30B, но с 85× меньшим потреблением памяти
🏃♂️ Работает на CPU, ARM, Raspberry Pi — 20–108 токенов/сек.
📦 Полностью open-source. Готово к локальному использованию без компромиссов.
#LLM #SmallThinker #AI #LocalLLM #OpenSource
HF: https://huggingface.co/PowerInfer
PAPER: https://arxiv.org/abs/2507.20984
❤4👍3
🔥 KAT-V1 — новый LLM, который умеет не переусложнять
Разработан @KwaiAICoder, специально чтобы балансировать между рассуждением и прямыми ответами.
✨ 40B параметров
✨ Step-SRPO — умное переключение режимов мышления через RL
✨ MTP + дистилляция — более дешёвое и эффективное обучение
📦 Модель уже доступна на HuggingFace:
https://huggingface.co/Kwaipilot/KAT-V1-40B
Иногда лучший ответ — это короткий ответ. Эта модель это понимает.
Разработан @KwaiAICoder, специально чтобы балансировать между рассуждением и прямыми ответами.
✨ 40B параметров
✨ Step-SRPO — умное переключение режимов мышления через RL
✨ MTP + дистилляция — более дешёвое и эффективное обучение
📦 Модель уже доступна на HuggingFace:
https://huggingface.co/Kwaipilot/KAT-V1-40B
Иногда лучший ответ — это короткий ответ. Эта модель это понимает.
👍3🔥3
Forwarded from Machine learning Interview
🚀 MLE‑STAR от Google Research — новый state‑of‑the‑art агент для ML-инжиниринга
Google представил MLE‑STAR — агент на основе LLM, который автоматизирует ML-задачи разных типов (табличные данные, изображения, текст и др.) и достигает высот в сравнении с предыдущими подходами.
Что нового:
• Использует веб‑поиск для поиска современных моделей и примеров кода, чтобы создать начальное решение
• Делает абляционный анализ (ablation study), чтобы определить наиболее влиятельный компонент в ML-пайплайне, и итеративно дорабатывает его
• Развивает энсемблирование: генерирует несколько решений и собирает их в одно улучшенное, опираясь на стратегию агента
• Включает модули контроля: дебаггер, проверку утечек данных и контроль использования всех источников данных, чтобы избежать плохих практик
🧪 Результаты:
MLE‑STAR выигрывает медали в 63–64 % из бенчмарка MLE‑Bench‑Lite (Kaggle), обгоняя лучшие существующие методы (~25–26 %)
🛠 В чем плюсы:
- Снижает порог входа в ML для инженеров и организаций
- Обеспечивает адаптивность: агент извлекает свежие знания из сети, поэтому решения автоматически улучшаются с развитием ML
- Открытый исходный код — можно протестировать или встроить в собственные пайплайны
💡 Как работает:
1. Поиск нужных моделей через веб
2. Генерация и слияние лучших кандидатов
3. Абляционный анализ → выбор блока → уточнение этого блока
4. Итеративное улучшение и объединение ансамблей
5. Контрольные модули: дебаг, утечки, использование данных
🔜 Подробнее
@machinelearning_interview
#Google #GoogleResearch #ml #mle #llm
Google представил MLE‑STAR — агент на основе LLM, который автоматизирует ML-задачи разных типов (табличные данные, изображения, текст и др.) и достигает высот в сравнении с предыдущими подходами.
Что нового:
• Использует веб‑поиск для поиска современных моделей и примеров кода, чтобы создать начальное решение
• Делает абляционный анализ (ablation study), чтобы определить наиболее влиятельный компонент в ML-пайплайне, и итеративно дорабатывает его
• Развивает энсемблирование: генерирует несколько решений и собирает их в одно улучшенное, опираясь на стратегию агента
• Включает модули контроля: дебаггер, проверку утечек данных и контроль использования всех источников данных, чтобы избежать плохих практик
🧪 Результаты:
MLE‑STAR выигрывает медали в 63–64 % из бенчмарка MLE‑Bench‑Lite (Kaggle), обгоняя лучшие существующие методы (~25–26 %)
🛠 В чем плюсы:
- Снижает порог входа в ML для инженеров и организаций
- Обеспечивает адаптивность: агент извлекает свежие знания из сети, поэтому решения автоматически улучшаются с развитием ML
- Открытый исходный код — можно протестировать или встроить в собственные пайплайны
💡 Как работает:
1. Поиск нужных моделей через веб
2. Генерация и слияние лучших кандидатов
3. Абляционный анализ → выбор блока → уточнение этого блока
4. Итеративное улучшение и объединение ансамблей
5. Контрольные модули: дебаг, утечки, использование данных
@machinelearning_interview
#Google #GoogleResearch #ml #mle #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍2🥰2