🍏 Apple всерьёз задумалась о покупке Mistral — Bloomberg / Марк Гурман
По информации Bloomberg, Apple серьёзно рассматривает покупку французского стартапа Mistral AI, чтобы наконец войти в ИИ-гонку.
Это очень поздний шаг — но он показывает, насколько сильно Apple отстала от OpenAI, Google и даже xAI.
Пока другие выкатывают публичные LLM, мультимодальные ассистенты и интеграции в поиске, Apple остаётся в роли наблюдателя.
📌 Почему это важно:
- Mistral — один из главных open-source игроков на рынке ИИ (выпускают мощные LLM и Mixture of Experts-модели)
- У Apple пока нет ни собственной модели, ни сильной стратегии в области ИИ
- Приобретение Mistral может стать экстренной попыткой догнать конкурентов
Если сделка состоится — это будет крупнейший AI-манёвр Apple за всё время.
#Apple #Mistral #AI #LLM #ГонкаИИ
@data_analysis_ml
По информации Bloomberg, Apple серьёзно рассматривает покупку французского стартапа Mistral AI, чтобы наконец войти в ИИ-гонку.
Это очень поздний шаг — но он показывает, насколько сильно Apple отстала от OpenAI, Google и даже xAI.
Пока другие выкатывают публичные LLM, мультимодальные ассистенты и интеграции в поиске, Apple остаётся в роли наблюдателя.
📌 Почему это важно:
- Mistral — один из главных open-source игроков на рынке ИИ (выпускают мощные LLM и Mixture of Experts-модели)
- У Apple пока нет ни собственной модели, ни сильной стратегии в области ИИ
- Приобретение Mistral может стать экстренной попыткой догнать конкурентов
Если сделка состоится — это будет крупнейший AI-манёвр Apple за всё время.
#Apple #Mistral #AI #LLM #ГонкаИИ
@data_analysis_ml
👍14❤6🔥4🤔4
🎓 Новые лекции от UCLA: *Reinforcement Learning of Large Language Models* (весна 2025)
Свежий курс, полностью посвящённый обучению LLM с помощью RL. Отличный ресурс для тех, кто хочет разобраться не только в RLHF, но и в новых направлениях, которые появляются на стыке обучения с подкреплением и больших языковых моделей.
📚 Что в курсе:
– Базовые принципы RL применительно к LLM
– RLHF (reinforcement learning from human feedback)
– RL с верифицируемыми наградами (RLVR)
– RL на этапе inference: оптимизация в момент выполнения
– Архитектуры, policy shaping, reward modeling и др.
Это не просто обзор — это системная попытка осмыслить будущее RL для LLM, где важно не только fine-tuning, но и работа с обратной связью в режиме реального времени, доверие к награде и оптимизация вычислений.
🧠 Полезно всем, кто:
– интересуется агентами и автономными системами
– работает над LLM‑продуктами
– хочет выйти за пределы SFT и попробовать более «горькие» методы обучения
#LLM #RLHF #RLVR #AIeducation #ReinforcementLearning #UCLA
🔜 Youtube: https://youtube.com/playlist?list=PLir0BWtR5vRp5dqaouyMU-oTSzaU5LK9r
🔜 Курс: https://ernestryu.com/courses/RL-LLM.html
Свежий курс, полностью посвящённый обучению LLM с помощью RL. Отличный ресурс для тех, кто хочет разобраться не только в RLHF, но и в новых направлениях, которые появляются на стыке обучения с подкреплением и больших языковых моделей.
📚 Что в курсе:
– Базовые принципы RL применительно к LLM
– RLHF (reinforcement learning from human feedback)
– RL с верифицируемыми наградами (RLVR)
– RL на этапе inference: оптимизация в момент выполнения
– Архитектуры, policy shaping, reward modeling и др.
Это не просто обзор — это системная попытка осмыслить будущее RL для LLM, где важно не только fine-tuning, но и работа с обратной связью в режиме реального времени, доверие к награде и оптимизация вычислений.
🧠 Полезно всем, кто:
– интересуется агентами и автономными системами
– работает над LLM‑продуктами
– хочет выйти за пределы SFT и попробовать более «горькие» методы обучения
#LLM #RLHF #RLVR #AIeducation #ReinforcementLearning #UCLA
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7❤5👍3
🔥 Бывший сотрудник OpenAI поделился откровенными впечатлениями о годе работы внутри одной из самых обсуждаемых компаний мира.
Он присоединился к команде в мае 2024, ушёл три недели назад — и решил написать личные размышления, пока всё ещё свежо в памяти.
Он подчёркивает: никаких скандалов или внутренних конфликтов — просто желание снова что-то строить с нуля. Несмотря на это, он признаёт: сложно уйти с работы, где ты видишь рождение AGI своими глазами и участвуешь в запуске Codex.
Культура OpenAI — это хаос, скорость и независимость.
Компания за год выросла с 1000 до более чем 3000 сотрудников. Почти все руководители делают совершенно другую работу, чем пару лет назад. И всё внутри строится снизу вверх: roadmap’ов не было, а идеи рождались и запускались без бюрократии.
Всё общение происходит в Slack — никаких email, почти никакого планирования. Команды могут быть хаотичны и перегружены, но часто это работает: если идея крутая, люди просто начинают делать, и вокруг появляется команда.
Руководители не мешают, а помогают — особенно в исследовательских командах. Исследователь воспринимается как мини-руководитель: выбрал интересную задачу — вперёд. Главное — не «казаться», а «делать». Политика и презентации — не в цене. Лучшие идеи побеждают.
OpenAI умеет разворачиваться на ходу. Как только появляется новая информация, стратегия может кардинально поменяться — и в этом сила. Вдохновлённый атмосферой Segment, автор признаёт: OpenAI удалось сохранить эту гибкость даже при таком масштабе.
Закрытость — часть культуры.
Из-за огромного внимания общества и прессы компания крайне аккуратно делится информацией. Многое не анонсируется даже внутри. Но при этом она остаётся самой открытой из «больших AI-лабораторий»: модели попадают в API, доступны не только корпорациям, но и отдельным пользователям.
Внимание к реальным рискам (злоупотребления, манипуляции, self-harm) — важный фокус внутри. Хоть фундаментальные угрозы (в духе "intelligence explosion") тоже обсуждаются, упор в работе на конкретные и прикладные сценарии.
Технологически OpenAI — монорепозиторий на Python, немного Rust и Go. Всё крутится на Azure, но доверяют только 2–3 сервисам. Инфраструктура напоминает ранний Facebook: всё движется быстро, дублируется, много внутренней разработки и отсутствие строгих архитектурных комитетов.
Он отдельно отметил уникальность команды Codex, с которой провёл последние 3 месяца. За 7 недель (!) они с нуля запустили продукт: с контейнерным рантаймом, fine-tuning моделей, git-интеграцией и полноценным асинхронным агентом. В ночь перед запуском они сидели до 4 утра, а утром уже нажимали на кнопку.
Codex показал: будущее программирования будет похоже на общение с ассистентом, а не набор кода строка за строкой. С момента запуска Codex сгенерировал более 630 000 pull request’ов — это десятки тысяч на каждого инженера в команде.
Несмотря на скандалы в пресе — тысячи людей, искренне верящих, что строят нечто важное. OpenAI остаётся одной из самых амбициозных организаций в мире: не только чат, не только API, но и hardware, агенты, изображения — и это ещё не всё.
📌 Читать
@data_analysis_ml
#openai #ai #ml #llm #chatgpt
Он присоединился к команде в мае 2024, ушёл три недели назад — и решил написать личные размышления, пока всё ещё свежо в памяти.
Он подчёркивает: никаких скандалов или внутренних конфликтов — просто желание снова что-то строить с нуля. Несмотря на это, он признаёт: сложно уйти с работы, где ты видишь рождение AGI своими глазами и участвуешь в запуске Codex.
Культура OpenAI — это хаос, скорость и независимость.
Компания за год выросла с 1000 до более чем 3000 сотрудников. Почти все руководители делают совершенно другую работу, чем пару лет назад. И всё внутри строится снизу вверх: roadmap’ов не было, а идеи рождались и запускались без бюрократии.
Всё общение происходит в Slack — никаких email, почти никакого планирования. Команды могут быть хаотичны и перегружены, но часто это работает: если идея крутая, люди просто начинают делать, и вокруг появляется команда.
Руководители не мешают, а помогают — особенно в исследовательских командах. Исследователь воспринимается как мини-руководитель: выбрал интересную задачу — вперёд. Главное — не «казаться», а «делать». Политика и презентации — не в цене. Лучшие идеи побеждают.
OpenAI умеет разворачиваться на ходу. Как только появляется новая информация, стратегия может кардинально поменяться — и в этом сила. Вдохновлённый атмосферой Segment, автор признаёт: OpenAI удалось сохранить эту гибкость даже при таком масштабе.
Закрытость — часть культуры.
Из-за огромного внимания общества и прессы компания крайне аккуратно делится информацией. Многое не анонсируется даже внутри. Но при этом она остаётся самой открытой из «больших AI-лабораторий»: модели попадают в API, доступны не только корпорациям, но и отдельным пользователям.
Внимание к реальным рискам (злоупотребления, манипуляции, self-harm) — важный фокус внутри. Хоть фундаментальные угрозы (в духе "intelligence explosion") тоже обсуждаются, упор в работе на конкретные и прикладные сценарии.
Технологически OpenAI — монорепозиторий на Python, немного Rust и Go. Всё крутится на Azure, но доверяют только 2–3 сервисам. Инфраструктура напоминает ранний Facebook: всё движется быстро, дублируется, много внутренней разработки и отсутствие строгих архитектурных комитетов.
Он отдельно отметил уникальность команды Codex, с которой провёл последние 3 месяца. За 7 недель (!) они с нуля запустили продукт: с контейнерным рантаймом, fine-tuning моделей, git-интеграцией и полноценным асинхронным агентом. В ночь перед запуском они сидели до 4 утра, а утром уже нажимали на кнопку.
Codex показал: будущее программирования будет похоже на общение с ассистентом, а не набор кода строка за строкой. С момента запуска Codex сгенерировал более 630 000 pull request’ов — это десятки тысяч на каждого инженера в команде.
Несмотря на скандалы в пресе — тысячи людей, искренне верящих, что строят нечто важное. OpenAI остаётся одной из самых амбициозных организаций в мире: не только чат, не только API, но и hardware, агенты, изображения — и это ещё не всё.
📌 Читать
@data_analysis_ml
#openai #ai #ml #llm #chatgpt
❤17👍10🔥6🥴1
🚀 Qwen3-Coder — новая мощная open-source модель от Alibaba для кодинга
Модель с архитектурой MoE:
- 480B параметров в общей сложности
- 35B активных параметров
- Контекст 256k, но легко масштабируется до 1M токенов
📈 Производительность:
- На уровне Claude 4 Sonnet
- Лучше или на уровне GPT-4.1 на многих задачах
- Обходит Kimi K2, DeepSeek V3 на ряде бенчмарков
🧩 Модель уже доступна:
- На HuggingFace — можно скачать и запускать
- В OpenRouter — $1/M токенов вход, $5/M выход
(в 3 раза дешевле Claude Sonnet: $3 и $15)
Попробовать бесплатно можно:
🟡 Через чат: ttps://chat.qwen.ai/)
🟡 GitHub link: https://github.com/QwenLM/qwen-code
🟡 Blog:https://qwenlm.github.io/blog/qwen3-coder/
🟡 Model: https://hf.co/Qwen/Qwen3-Coder-480B-A35B-Instruct
Qwen3-Coder — это просто одна из лучших моделей для программирования, которые мы когда-либо видели.
#qwen #ml #ai #llm #Alibaba
@data_analysis_ml
Модель с архитектурой MoE:
- 480B параметров в общей сложности
- 35B активных параметров
- Контекст 256k, но легко масштабируется до 1M токенов
📈 Производительность:
- На уровне Claude 4 Sonnet
- Лучше или на уровне GPT-4.1 на многих задачах
- Обходит Kimi K2, DeepSeek V3 на ряде бенчмарков
🧩 Модель уже доступна:
- На HuggingFace — можно скачать и запускать
- В OpenRouter — $1/M токенов вход, $5/M выход
(в 3 раза дешевле Claude Sonnet: $3 и $15)
Попробовать бесплатно можно:
Qwen3-Coder — это просто одна из лучших моделей для программирования, которые мы когда-либо видели.
#qwen #ml #ai #llm #Alibaba
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥17👍10❤7
🧠 Что такое "векторы персональности" в ИИ — и зачем они нужны?
Языковые модели иногда ведут себя странно: могут льстить, врать или даже угрожать. Почему? Потому что их "характер" формируется внутри нейросети — и до сих пор был чёрным ящиком.
Anthropic предложила решение: persona vectors — векторы персональности. Это нейронные шаблоны, которые отвечают за конкретные черты модели:
например, *льстивость*, *галлюцинации*, *злобность*.
Что можно с ними делать:
✅ Отслеживать, когда модель "съезжает" в плохое поведение — прямо во время диалога.
✅ Фильтровать данные, которые формируют вредные черты ещё до начала обучения.
✅ Предотвращать появление токсичности — как прививка: немного “злобности” в безопасной форме делает модель устойчивой.
✅ Менять характер модели прямо во время работы: включить “юмор” или отключить “галлюцинации”.
🔬 Векторы находят автоматически: даёшь описание (например, “льстивый = говорит приятное, но неискренне”), и система сама находит нейронный паттерн.
А потом можно его вставить, убрать — и увидеть, как модель *буквально меняет личность*.
Это мощный шаг к тому, чтобы управлять характером ИИ, а не просто наблюдать за его капризами.
📄 Подробности — в свежей работе от Anthropic: https://www.anthropic.com/research/persona-vectors
@data_analysis_ml
#Anthropic #ml #ai #llm
Языковые модели иногда ведут себя странно: могут льстить, врать или даже угрожать. Почему? Потому что их "характер" формируется внутри нейросети — и до сих пор был чёрным ящиком.
Anthropic предложила решение: persona vectors — векторы персональности. Это нейронные шаблоны, которые отвечают за конкретные черты модели:
например, *льстивость*, *галлюцинации*, *злобность*.
Что можно с ними делать:
✅ Отслеживать, когда модель "съезжает" в плохое поведение — прямо во время диалога.
✅ Фильтровать данные, которые формируют вредные черты ещё до начала обучения.
✅ Предотвращать появление токсичности — как прививка: немного “злобности” в безопасной форме делает модель устойчивой.
✅ Менять характер модели прямо во время работы: включить “юмор” или отключить “галлюцинации”.
🔬 Векторы находят автоматически: даёшь описание (например, “льстивый = говорит приятное, но неискренне”), и система сама находит нейронный паттерн.
А потом можно его вставить, убрать — и увидеть, как модель *буквально меняет личность*.
Это мощный шаг к тому, чтобы управлять характером ИИ, а не просто наблюдать за его капризами.
📄 Подробности — в свежей работе от Anthropic: https://www.anthropic.com/research/persona-vectors
@data_analysis_ml
#Anthropic #ml #ai #llm
🔥21❤7👍5
Forwarded from Machinelearning
Ландшафт архитектур LLM превратился в настоящий зоопарк. Почти каждую неделю появляются новые методы, обещающие меньший расход памяти и более быстрый инференс. Разобраться в этом становится все сложнее.
Большая группа исследователей выпустила подробный обзор Speed Always Wins, чтобы систематизировать все ключевые инновации в области эффективных архитектур для LLM.
Это не просто очередная статья, а попытка упорядочить и структурировать актуальные подходы, которые решают главную проблему классического трансформера - его квадратичную вычислительную сложность.
Обзор описывает 7 основных направлений.
Здесь авторы разбирают все подходы, которые так или иначе сводят сложность самовнимания к линейной. В эту категорию попадают 3 большие ветви: линейное внимание; линейные RNN, вроде и, конечно, модели на основе пространства состояний (SSM).
Разреженное моделирование последовательностей основано на простом принципе: не каждый токен должен общаться с каждым. Здесь выделяются статические подходы (как в Longformer), где паттерны внимания заданы заранее, и динамические, где они определяются на лету в зависимости от контента.
Методика, которая уже стала мейнстримом. В МоЕ разреженность применяется не в механизме внимания, а в FFN-слоях, где для каждого токена активируется лишь небольшая часть экспертов, что позволяет наращивать число параметров без пропорционального роста вычислений.
В нем речь идет не об изменении асимптотической сложности, а об ее аппаратной оптимизации. Флагман - FlashAttention.
Есть детальный разбор, как за счет оптимизации обращений к памяти GPU удается кардинально ускорить вычисления, не прибегая к аппроксимациям. Сюда же относятся и групповые механизмы внимания: GQA и MQA.
Это, пожалуй, самый горячий тренд. Его идея в том, чтобы стратегически комбинировать быстрые слои с линейной сложностью и медленные, но мощные слои с полным вниманием.
В обзоре выделяют два типа гибридизации: межслойную, как в Jamba, где разные типы слоев чередуются, и внутрислойную, где в одном слое разные головы могут использовать разные механизмы внимания.
Это неавторегрессионные модели, которые генерируют текст, постепенно восстанавливая его из шума. Их главная фишка в параллельном декодировании, что дает ощутимое ускорение инференса.
В конце обзора есть анализ применения всех этих архитектур в разных модальностях - CV и аудио.
Так что, если хотите быстро разобраться в базовых методах, которые будут двигать дизайн LLM в ближайшее время,
@ai_machinelearning_big_data
#AI #ML #LLM #Architectures
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤14👍6🔥6
🧩 ArcMemo — память для LLM, которая учит модель сохранять и переиспользовать концепты при решении задач.
📈 Результат: +7.5% относительно базовой модели на бенчмарке ARC-AGI.
❓ Проблема:
Обычно длинные цепочки рассуждений исчезают после каждого запроса, и модель «забывает» полезные паттерны.
💡 Решение — ArcMemo:
- Сохраняет абстрактные модули в виде концептов на естественном языке или в виде параметрических мини-функций.
- Концепты бывают двух типов:
- Открытые: описание ситуации + подсказка.
- Программные: псевдокод и функции с параметрами.
- После решения задача конспектируется в набор таких концептов.
- При новой задаче модель подбирает релевантные концепты и комбинирует их для решения.
- С обратной связью на тестах память обновляется и расширяется.
📌 Вывод: память в виде модульных концептов повышает переносимость и делает решения более стабильными.
🔗 Paper: arxiv.org/abs/2509.04439
#AI #LLM #ARCAGI #Reasoning #Memory
📈 Результат: +7.5% относительно базовой модели на бенчмарке ARC-AGI.
❓ Проблема:
Обычно длинные цепочки рассуждений исчезают после каждого запроса, и модель «забывает» полезные паттерны.
💡 Решение — ArcMemo:
- Сохраняет абстрактные модули в виде концептов на естественном языке или в виде параметрических мини-функций.
- Концепты бывают двух типов:
- Открытые: описание ситуации + подсказка.
- Программные: псевдокод и функции с параметрами.
- После решения задача конспектируется в набор таких концептов.
- При новой задаче модель подбирает релевантные концепты и комбинирует их для решения.
- С обратной связью на тестах память обновляется и расширяется.
📌 Вывод: память в виде модульных концептов повышает переносимость и делает решения более стабильными.
🔗 Paper: arxiv.org/abs/2509.04439
#AI #LLM #ARCAGI #Reasoning #Memory
❤13🔥4👍2
📖 Новая работа ByteDance + Harvard: *Mycroft: Tracing Dependencies in Collective Communication Towards Reliable LLM Training*
Mycroft - система, которая помогает понять, почему обучение LLM на кластере GPU тормозит или падает.
🚧 Проблема
При распределённом обучении сотни GPU постоянно обмениваются данными через библиотеку NCCL. Она работает как «чёрный ящик»: при сбое видно только таймауты или падение скорости, но непонятно, где именно сбой.
🛠 Решение — Mycroft
- «Подглядывает» внутрь процесса обмена данными
- Каждые 100 мс пишет лёгкие статусы: сколько данных подготовлено, отправлено и завершено
- Если прогресс застопорился → сразу сигнал
- Отслеживает зависимости между GPU и определяет: проблема в конкретной карте, сетевой карте или шине
⚡ Результаты
- В тестах на 32 GPU и в проде у ByteDance
- Находит сбой за ~**15 секунд**
- Указывает точный компонент за <**20 секунд**
- Нагрузка на обучение почти нулевая
🔗 https://arxiv.org/abs/2509.03018
#AI #LLM #GPU #DistributedTraining #ByteDance #Harvard
Mycroft - система, которая помогает понять, почему обучение LLM на кластере GPU тормозит или падает.
🚧 Проблема
При распределённом обучении сотни GPU постоянно обмениваются данными через библиотеку NCCL. Она работает как «чёрный ящик»: при сбое видно только таймауты или падение скорости, но непонятно, где именно сбой.
🛠 Решение — Mycroft
- «Подглядывает» внутрь процесса обмена данными
- Каждые 100 мс пишет лёгкие статусы: сколько данных подготовлено, отправлено и завершено
- Если прогресс застопорился → сразу сигнал
- Отслеживает зависимости между GPU и определяет: проблема в конкретной карте, сетевой карте или шине
⚡ Результаты
- В тестах на 32 GPU и в проде у ByteDance
- Находит сбой за ~**15 секунд**
- Указывает точный компонент за <**20 секунд**
- Нагрузка на обучение почти нулевая
🔗 https://arxiv.org/abs/2509.03018
#AI #LLM #GPU #DistributedTraining #ByteDance #Harvard
❤6🔥6👍4
💰Perplexity привлекла $200M при оценке в $20B.
Это произошло всего через два месяца после предыдущего раунда в $100M при оценке $18B. Общий объём инвестиций приближается к $1.5B.
📊 Выручка (ARR) уже почти $200M (месяц назад была $150M).
💡 Оценка в $20B при $200M ARR даёт мультипликатор ~100x - это возможно только при очень быстром росте и низком уровне оттока пользователей.
Perplexity выделяется тем, что отвечает на запросы с источниками и краткими сводками, заменяя «охоту за ссылками» на результат, сгенерированный моделью.
Но такой дизайн требует больших вычислительных мощностей: каждый запрос запускает веб-поиск, инференс LLM и генерацию ответа в реальном времени.
Источник: https://techcrunch.com/2025/09/10/perplexity-reportedly-raised-200m-at-20b-valuation/
#AI #Perplexity #Funding #Startups #LLM #Investments
Это произошло всего через два месяца после предыдущего раунда в $100M при оценке $18B. Общий объём инвестиций приближается к $1.5B.
📊 Выручка (ARR) уже почти $200M (месяц назад была $150M).
💡 Оценка в $20B при $200M ARR даёт мультипликатор ~100x - это возможно только при очень быстром росте и низком уровне оттока пользователей.
Perplexity выделяется тем, что отвечает на запросы с источниками и краткими сводками, заменяя «охоту за ссылками» на результат, сгенерированный моделью.
Но такой дизайн требует больших вычислительных мощностей: каждый запрос запускает веб-поиск, инференс LLM и генерацию ответа в реальном времени.
Источник: https://techcrunch.com/2025/09/10/perplexity-reportedly-raised-200m-at-20b-valuation/
#AI #Perplexity #Funding #Startups #LLM #Investments
👍10🔥8❤6
🚀 Новое исследование Hunyuan: Reinforcement Learning on Pre-training Data (RLPT)
Этот метод решает главную проблему масштабирования LLM - ограниченность размеченного текста.
🌟 RLPT даёт моделям возможность учиться рассуждениям напрямую на данных предобучения, без дорогой ручной разметки.
Как это работает:
1️⃣ Модель во время обучения сама исследует данные и учится более общим стратегиям рассуждений.
2️⃣ Никакой дополнительной разметки — награды извлекаются прямо из предобучающих данных.
3️⃣ Награды за предсказание следующего сегмента позволяют масштабировать RL на этапе предобучения.
Результаты:
✅ На Qwen3-4B-Base прирост: +3.0 (MMLU), +5.1 (MMLU-Pro), +8.1 (GPQA-Diamond), +6.0 (KOR-Bench), +6.6 (AIME24), +5.3 (AIME25).
✅ Чем больше вычислений, тем сильнее рост.
✅ Технология создаёт базу для дальнейших улучшений в RLVR.
📄 Подробнее: https://arxiv.org/pdf/2509.19249
#AI #RLPT #LLM #MachineLearning #NLP
@data_analysis_ml
Этот метод решает главную проблему масштабирования LLM - ограниченность размеченного текста.
🌟 RLPT даёт моделям возможность учиться рассуждениям напрямую на данных предобучения, без дорогой ручной разметки.
Как это работает:
1️⃣ Модель во время обучения сама исследует данные и учится более общим стратегиям рассуждений.
2️⃣ Никакой дополнительной разметки — награды извлекаются прямо из предобучающих данных.
3️⃣ Награды за предсказание следующего сегмента позволяют масштабировать RL на этапе предобучения.
Результаты:
✅ На Qwen3-4B-Base прирост: +3.0 (MMLU), +5.1 (MMLU-Pro), +8.1 (GPQA-Diamond), +6.0 (KOR-Bench), +6.6 (AIME24), +5.3 (AIME25).
✅ Чем больше вычислений, тем сильнее рост.
✅ Технология создаёт базу для дальнейших улучшений в RLVR.
📄 Подробнее: https://arxiv.org/pdf/2509.19249
#AI #RLPT #LLM #MachineLearning #NLP
@data_analysis_ml
❤13👍5🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
- Выглядит как обычная таблица, но вместо формул — тысячи моделей
- Поддержка OpenAI-совместимых и локальных LLM
- Можно добавлять столбцы с промптами, редактировать данные вручную или через лайки
- Запуск онлайн или локально (Docker / pnpm)
- Полностью опенсорс (Apache-2.0), легко встроить в пайплайны
- Подходит для классификации, трансформации данных, синтетики и «vibe-тестов» моделей
⚡️ Попробовать
#AI #NoCode #datasets #HuggingFace #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13🔥4👍2👏2
🔥 Новая SOTA среди моделей на 1.5B параметров
QuestA 🤖 показывает двузначный прирост Pass@1 и даже обгоняет ранние 32B-модели:
- AIME24: 72.50% (+10.73%)
- AIME25: 62.29% (+12.79%)
- HMMT25: 41.67% (+10.11%)
🚀 Секрет в обучении: QuestA использует RL с scaffolded-problems — это снимает конфликт между лёгкими и сложными задачами и даёт более масштабируемое рассуждение.
🔓 Всё в открытом доступе:
- Модель: https://huggingface.co/foreverlasting1202/QuestA-Nemotron-1.5B
- Тренировочный пайплайн: https://github.com/foreverlasting1202/QuestA
- Статья: https://arxiv.org/abs/2507.13266
- Блог: https://mercurial-kidney-02d.notion.site/QuestA-Expanding-Reasoning-Capacity-in-LLMs-via-Question-Augmentation-216b21d08abb81a1bcecfe79e7d1e88a?pvs=73
#LLM #Reasoning #AI #SOTA
@data_analysis_ml
QuestA 🤖 показывает двузначный прирост Pass@1 и даже обгоняет ранние 32B-модели:
- AIME24: 72.50% (+10.73%)
- AIME25: 62.29% (+12.79%)
- HMMT25: 41.67% (+10.11%)
🚀 Секрет в обучении: QuestA использует RL с scaffolded-problems — это снимает конфликт между лёгкими и сложными задачами и даёт более масштабируемое рассуждение.
🔓 Всё в открытом доступе:
- Модель: https://huggingface.co/foreverlasting1202/QuestA-Nemotron-1.5B
- Тренировочный пайплайн: https://github.com/foreverlasting1202/QuestA
- Статья: https://arxiv.org/abs/2507.13266
- Блог: https://mercurial-kidney-02d.notion.site/QuestA-Expanding-Reasoning-Capacity-in-LLMs-via-Question-Augmentation-216b21d08abb81a1bcecfe79e7d1e88a?pvs=73
#LLM #Reasoning #AI #SOTA
@data_analysis_ml
❤5👍3🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
💡 Модель Ming-UniAudio — это универсальный фреймворк, сочетающий понимание речи, генерацию и редактирование.
- Модель Ming-UniAudio — это универсальный фреймворк, сочетающий *понимание речи*, *генерацию* и *редактирование*.
- В её основе лежит единый непрерывный токенизатор речи, интегрирующий семантические и акустические признаки.
- Поддерживается инструкционное редактирование: можно менять звук, содержание или тональность без указания временных фрагментов.
- В бенчмарках показывает конкурентные результаты и для распознавания, и для генерации речи.
- Лицензия: Apache-2.0.
💻 GitHub: https://github.com/inclusionAI/Ming-UniAudio
🤗 Tokenizer: https://huggingface.co/inclusionAI/MingTok-Audio
🤗 Model:
base: https://huggingface.co/inclusionAI/Ming-UniAudio-16B-A3B
edit: https://huggingface.co/inclusionAI/Ming-UniAudio-16B-A3B-Edit
🤗 Benchmark: https://huggingface.co/datasets/inclusionAI/Ming-Freeform-Audio-Edit-Benchmark
🌍 blog: https://xqacmer.github.io/Ming-Unitok-Audio.github.io/
#AI #Speech #SpeechLLM #LLM #GenerativeAI #Audio #ASR #TTS #SpeechEditing
- Модель Ming-UniAudio — это универсальный фреймворк, сочетающий *понимание речи*, *генерацию* и *редактирование*.
- В её основе лежит единый непрерывный токенизатор речи, интегрирующий семантические и акустические признаки.
- Поддерживается инструкционное редактирование: можно менять звук, содержание или тональность без указания временных фрагментов.
- В бенчмарках показывает конкурентные результаты и для распознавания, и для генерации речи.
- Лицензия: Apache-2.0.
💻 GitHub: https://github.com/inclusionAI/Ming-UniAudio
🤗 Tokenizer: https://huggingface.co/inclusionAI/MingTok-Audio
🤗 Model:
base: https://huggingface.co/inclusionAI/Ming-UniAudio-16B-A3B
edit: https://huggingface.co/inclusionAI/Ming-UniAudio-16B-A3B-Edit
🤗 Benchmark: https://huggingface.co/datasets/inclusionAI/Ming-Freeform-Audio-Edit-Benchmark
🌍 blog: https://xqacmer.github.io/Ming-Unitok-Audio.github.io/
#AI #Speech #SpeechLLM #LLM #GenerativeAI #Audio #ASR #TTS #SpeechEditing
🔥1