⚡️ Thinking Machines Lab Миры Мурати выпустила Inkling-Small - открытую MoE-модель на 276 млрд параметров, которая активирует лишь 12 млрд на токен.
И эта «младшая» версия обошла Inkling с 41 млрд активных параметров:
— Terminal-Bench 2.1: 64,7% против 63,8%;
— HLE: 31,6% против 29,7%;
— SWE-Bench Verified: 80,2% против 77,6%.
Результат получили после on-policy-дистилляции от старшей модели и ещё двух недель RL на агентном программировании.
Inkling-Small поддерживает изображения и аудио, контекст до 1 млн токенов и регулируемую глубину рассуждений. Веса опубликованы полностью.
Похоже, у разработчиков мультимодальных агентов появился крайне эффективный открытый фундамент.
https://thinkingmachines.ai/news/inkling-small/
И эта «младшая» версия обошла Inkling с 41 млрд активных параметров:
— Terminal-Bench 2.1: 64,7% против 63,8%;
— HLE: 31,6% против 29,7%;
— SWE-Bench Verified: 80,2% против 77,6%.
Результат получили после on-policy-дистилляции от старшей модели и ещё двух недель RL на агентном программировании.
Inkling-Small поддерживает изображения и аудио, контекст до 1 млн токенов и регулируемую глубину рассуждений. Веса опубликованы полностью.
Похоже, у разработчиков мультимодальных агентов появился крайне эффективный открытый фундамент.
https://thinkingmachines.ai/news/inkling-small/
🔥15👍8❤7
🤯 OpenAI заявила о десяти прорывах в задачах, которые математики не могли решить десятилетиями
Результаты получила внутренняя версия Astra - следующей крупной модели компании.
Среди достижений:
— построен первый явный пример не-софической группы (особого типа абстрактной алгебраической структуры, которую раньше удавалось описывать только косвенно);
— опровергнута гипотеза жёсткости Конна (долгосрочное предположение в функциональном анализе о том, насколько строго определяются такие математические объекты);
— доказана квантовая теорема о параллельном повторении для общих двухигровых систем (показывает, как быстро падают шансы на успех при многократном повторении квантовых игр);
— доказана гипотеза Эрхарта об объёме (результат из геометрии, связанный с подсчётом точек в многомерных фигурах и их объёмами);
— впервые с 1978 года улучшена общая верхняя оценка плотности упаковки сфер (то есть насколько плотно можно «уложить» шары в пространстве).
По заявлению OpenAI, Astra самостоятельно нашла основные математические аргументы, а затем формализовала каждое доказательство в Lean. Вместе с машинно проверяемыми сертификатами опубликована рукопись на 249 страниц.
Успешные запуски обошлись бы примерно в $2000 по тарифам Sol API.
одели начинают предлагать новые доказательства для открытых задач - хотя теперь результаты должен внимательно проверить весь математический мир.
Astra ещё не выпущена, и OpenAI не называет её GPT-6.
openai.com/index/ten-advances-in-mathematics/
Результаты получила внутренняя версия Astra - следующей крупной модели компании.
Среди достижений:
— построен первый явный пример не-софической группы (особого типа абстрактной алгебраической структуры, которую раньше удавалось описывать только косвенно);
— опровергнута гипотеза жёсткости Конна (долгосрочное предположение в функциональном анализе о том, насколько строго определяются такие математические объекты);
— доказана квантовая теорема о параллельном повторении для общих двухигровых систем (показывает, как быстро падают шансы на успех при многократном повторении квантовых игр);
— доказана гипотеза Эрхарта об объёме (результат из геометрии, связанный с подсчётом точек в многомерных фигурах и их объёмами);
— впервые с 1978 года улучшена общая верхняя оценка плотности упаковки сфер (то есть насколько плотно можно «уложить» шары в пространстве).
По заявлению OpenAI, Astra самостоятельно нашла основные математические аргументы, а затем формализовала каждое доказательство в Lean. Вместе с машинно проверяемыми сертификатами опубликована рукопись на 249 страниц.
Успешные запуски обошлись бы примерно в $2000 по тарифам Sol API.
одели начинают предлагать новые доказательства для открытых задач - хотя теперь результаты должен внимательно проверить весь математический мир.
Astra ещё не выпущена, и OpenAI не называет её GPT-6.
openai.com/index/ten-advances-in-mathematics/
1🔥48❤16👍10😁4🤔1👌1
Media is too big
VIEW IN TELEGRAM
⚡️ Opus 5 за два часа превратила абзац из «Властелина колец» в интерактивный 3D-мир
Андрей Карпати дал модели первый абзац книги, бюджет в 1 млн токенов - около $10 - и попросил создать сцену на Three.js.
Результат: 5500 строк кода, процедурная генерация объектов, расстановка моделей по координатам и анимация событий.
Местами всё выглядит криво. Но раньше никто не стал бы тратить дни на настолько узкую сцену. Теперь достаточно описать мир - и через пару часов получить рабочий прототип.
Пока слабое место моделей - проверка результата. Они не умеют полноценно смотреть видео и играть в собственные игры, поэтому анализируют скриншоты и пропускают ошибки.
https://x.com/Machinelearrn/status/2083859736387035332
@data_analysis_ml
Андрей Карпати дал модели первый абзац книги, бюджет в 1 млн токенов - около $10 - и попросил создать сцену на Three.js.
Результат: 5500 строк кода, процедурная генерация объектов, расстановка моделей по координатам и анимация событий.
Местами всё выглядит криво. Но раньше никто не стал бы тратить дни на настолько узкую сцену. Теперь достаточно описать мир - и через пару часов получить рабочий прототип.
Пока слабое место моделей - проверка результата. Они не умеют полноценно смотреть видео и играть в собственные игры, поэтому анализируют скриншоты и пропускают ошибки.
https://x.com/Machinelearrn/status/2083859736387035332
@data_analysis_ml
🤣21👍18🔥6❤5😁2🤔1
⚡️ Если вы уже работаете с ИИ-агентами, вы примерно среди 0,14% людей на планете
По июльским оценкам ourworldindata, около 71% трудоспособного населения мира ещё не использовали генеративный ИИ. Массовым кажется только то, что мы видим внутри технологического пузыря.
Платные подписки занимают ещё меньшую долю. Даже Codex, один из крупнейших агентных продуктов, насчитывает чуть больше 5 млн активных пользователей в неделю.
Пока разработчики делегируют агентам рефакторинг, тесты и многочасовые задачи, большая часть человечества ещё ни разу не открывала ChatGPT или его аналоги.
Разрыв огромен.
Цифры о платящих пользователях и 12 млн пользователей агентов остаются приблизительными: единой мировой статистики по всем сервисам нет.
По июльским оценкам ourworldindata, около 71% трудоспособного населения мира ещё не использовали генеративный ИИ. Массовым кажется только то, что мы видим внутри технологического пузыря.
Платные подписки занимают ещё меньшую долю. Даже Codex, один из крупнейших агентных продуктов, насчитывает чуть больше 5 млн активных пользователей в неделю.
Пока разработчики делегируют агентам рефакторинг, тесты и многочасовые задачи, большая часть человечества ещё ни разу не открывала ChatGPT или его аналоги.
Разрыв огромен.
Цифры о платящих пользователях и 12 млн пользователей агентов остаются приблизительными: единой мировой статистики по всем сервисам нет.
🔥24❤12👍7😁1🤣1
Forwarded from Machinelearning
⚡️ Qwen представила Qwen3.8-Max - модель на 2,4 трлн параметров для автономной разработки и рабочих агентов
По заявлению команды, модель способна вести длинные проекты почти без вмешательства человека: планировать работу, писать код, запускать инструменты, анализировать результат и исправлять ошибки по обратной связи.
Пример - oh-my-cli. Агент начал с пустой папки и развивал проект больше десяти дней, оставив полный журнал изменений в открытом GitHub-репозитории.
Qwen также заявляет о сотнях последовательных итераций при оптимизации чипов, долгосрочном планировании бизнес-стратегий и нативной работе с изображениями. Визуальные данные используются внутри цикла «планирование - выполнение - проверка», а не только как входной контекст.
Цена API:
- ввод - $2 за 1 млн токенов;
- вывод - $6;
- закешированный ввод - $0,25.
На следующей неделе компания обещает открыть веса Qwen3.8-Max и более компактной Qwen3.8-27B.
Если заявленные возможности подтвердятся на независимых тестах, Qwen получит редкую комбинацию: огромную агентную модель, мультимодальность и открытые веса.
Блог:
https://qwen.ai/blog?id=qwen3.8
Qwen Studio:
https://chat.qwen.ai/?models=qwen3.8-max
API:
https://qwencloud.com/models/qwen3.8-max
Автономный проект:
https://github.com/qwen-code-dev-bot/oh-my-cli
@ai_machinelearning_big_data
#qwen
По заявлению команды, модель способна вести длинные проекты почти без вмешательства человека: планировать работу, писать код, запускать инструменты, анализировать результат и исправлять ошибки по обратной связи.
Пример - oh-my-cli. Агент начал с пустой папки и развивал проект больше десяти дней, оставив полный журнал изменений в открытом GitHub-репозитории.
Qwen также заявляет о сотнях последовательных итераций при оптимизации чипов, долгосрочном планировании бизнес-стратегий и нативной работе с изображениями. Визуальные данные используются внутри цикла «планирование - выполнение - проверка», а не только как входной контекст.
Цена API:
- ввод - $2 за 1 млн токенов;
- вывод - $6;
- закешированный ввод - $0,25.
На следующей неделе компания обещает открыть веса Qwen3.8-Max и более компактной Qwen3.8-27B.
Если заявленные возможности подтвердятся на независимых тестах, Qwen получит редкую комбинацию: огромную агентную модель, мультимодальность и открытые веса.
Блог:
https://qwen.ai/blog?id=qwen3.8
Qwen Studio:
https://chat.qwen.ai/?models=qwen3.8-max
API:
https://qwencloud.com/models/qwen3.8-max
Автономный проект:
https://github.com/qwen-code-dev-bot/oh-my-cli
@ai_machinelearning_big_data
#qwen
❤15👍11🔥9
⚡️ DeepSeek V4 Flash теперь можно запустить локально на одном Mac
На Hugging Face появилась специальная GGUF-сборка DeepSeek-V4-Flash-0731 для компьютеров Apple Silicon со 128 ГБ объединённой памяти.
Официальная модель содержит 304 млрд параметров и поддерживает контекст до 1 млн токенов. После смешанной 2- и 4-битной квантизации файл занимает 97,6 ГБ.
Чувствительные слои, attention и общие эксперты сохранены в повышенной точности, а основная часть MoE-экспертов сжата агрессивнее.
Для запуска используется специализированный движок ds4 / DwarfStar:
Это нестандартный GGUF. Он не загрузится в Ollama, LM Studio или llama.cpp из-за особой структуры тензоров и схемы квантизации.
Модель уровня крупного серверного кластера удалось целиком уместить в память одного мощного Mac. Медленно и требовательно к железу, зато полностью локально .
Модель:
https://huggingface.co/ox-ox/DeepSeek-V4-Flash-0731-gguf-ds4
На Hugging Face появилась специальная GGUF-сборка DeepSeek-V4-Flash-0731 для компьютеров Apple Silicon со 128 ГБ объединённой памяти.
Официальная модель содержит 304 млрд параметров и поддерживает контекст до 1 млн токенов. После смешанной 2- и 4-битной квантизации файл занимает 97,6 ГБ.
Чувствительные слои, attention и общие эксперты сохранены в повышенной точности, а основная часть MoE-экспертов сжата агрессивнее.
Для запуска используется специализированный движок ds4 / DwarfStar:
git clone https://github.com/antirez/ds4
cd ds4
make
./ds4 -m gguf/DeepSeek-V4-Flash-0731-....gguf \
-p "Напиши распределённый кеш на Go"
Это нестандартный GGUF. Он не загрузится в Ollama, LM Studio или llama.cpp из-за особой структуры тензоров и схемы квантизации.
Модель уровня крупного серверного кластера удалось целиком уместить в память одного мощного Mac. Медленно и требовательно к железу, зато полностью локально .
Модель:
https://huggingface.co/ox-ox/DeepSeek-V4-Flash-0731-gguf-ds4
👍11🔥5❤3
⚡️ Y Combinator открыл исходники QM - мультиплеерного харнесса для управления компанией через ИИ-агентов
QM создавался внутри YC после экспериментов с десятками персональных агентов. В какой-то момент команда развернула более 50 Hermes-инстансов и столкнулась с очевидной проблемой: управлять таким флотом вручную слишком сложно.
В QM каждый сотрудник, канал и проект получает собственное изолированное пространство с памятью, файлами, разрешениями, секретами, cron-задачами и постоянной песочницей. Люди могут работать с агентами лично или совместно через Slack и веб-интерфейс.
Агенты умеют искать информацию в документах, почте, базах данных и внутренних заметках, создавать веб-приложения, работать с репозиториями, запускать тесты, открывать PR и следить за CI.
QM опубликован под лицензией MIT.
GitHub: https://github.com/yc-software/qm
QM создавался внутри YC после экспериментов с десятками персональных агентов. В какой-то момент команда развернула более 50 Hermes-инстансов и столкнулась с очевидной проблемой: управлять таким флотом вручную слишком сложно.
В QM каждый сотрудник, канал и проект получает собственное изолированное пространство с памятью, файлами, разрешениями, секретами, cron-задачами и постоянной песочницей. Люди могут работать с агентами лично или совместно через Slack и веб-интерфейс.
Агенты умеют искать информацию в документах, почте, базах данных и внутренних заметках, создавать веб-приложения, работать с репозиториями, запускать тесты, открывать PR и следить за CI.
QM опубликован под лицензией MIT.
GitHub: https://github.com/yc-software/qm
👍20❤10🔥6👏1
Как выглядят задачи машинного обучения в бигтехе?
Открыта регистрация на E-CUP 2026 Students — ежегодное соревнование от Ozon Tech. В этом сезоне — для студентов, которые интересуются ML, Data Science, Big Data и аналитикой данных.
Вас ждут три трека: поиск дубликатов товаров, ИИ-модерация карточек маркетплейса и прогнозирование поведения пользователей. Все задачи основаны на реальных обезличенных данных Ozon.
Участвовать можно по одиночке или в команде до пяти человек. Соревнование проходит онлайн с финалом на масштабной конференции E-CODE.
Что ждёт участников:
- призовой фонд 7 200 000 ₽;
- обратная связь от инженеров Ozon Tech;
- нетворк с экспертами индустрии;
- лимитированный мерч;
- билеты на конференцию E-CODE, где наградят победителей.
Подробнее — на сайте E-CUP 2026 Students.
➡️ Регистрация уже открыта!
Присоединяйтесь, чтобы выйти за рамки учебных проектов, попробовать свои силы в задачах настоящего бигтеха и сравнить своё решение с лучшими участниками.
Открыта регистрация на E-CUP 2026 Students — ежегодное соревнование от Ozon Tech. В этом сезоне — для студентов, которые интересуются ML, Data Science, Big Data и аналитикой данных.
Вас ждут три трека: поиск дубликатов товаров, ИИ-модерация карточек маркетплейса и прогнозирование поведения пользователей. Все задачи основаны на реальных обезличенных данных Ozon.
Участвовать можно по одиночке или в команде до пяти человек. Соревнование проходит онлайн с финалом на масштабной конференции E-CODE.
Что ждёт участников:
- призовой фонд 7 200 000 ₽;
- обратная связь от инженеров Ozon Tech;
- нетворк с экспертами индустрии;
- лимитированный мерч;
- билеты на конференцию E-CODE, где наградят победителей.
Подробнее — на сайте E-CUP 2026 Students.
➡️ Регистрация уже открыта!
Присоединяйтесь, чтобы выйти за рамки учебных проектов, попробовать свои силы в задачах настоящего бигтеха и сравнить своё решение с лучшими участниками.
❤3👍2🔥2
⚡️ Celeris-1 вышла на первое место по скорости генерации - около 2 086 токенов в секунду
По данным Artificial Analysis, это сейчас самый высокий показатель среди протестированных моделей. При этом Celeris-1 работает на обычных GPU, без специализированных ускорителей.
В собственном тесте Celeris на MMLU-Pro модель набрала 75,9%:
- GPT-5 mini - 78,5%
- GPT-5 - 81,9%
Но отвечала она примерно в 13-16 раз быстрее.
Секрет скорости - архитектура, которая снижает зависимость от последовательной генерации токен за токеном.
Важная оговорка: показатели качества и сравнение с GPT-5 получены самой Celeris, а reasoning budget у моделей был установлен в ноль. Однако независимый замер Artificial Analysis подтверждает главное - скорость выше 2 000 токенов в секунду уже стала реальностью.
По данным Artificial Analysis, это сейчас самый высокий показатель среди протестированных моделей. При этом Celeris-1 работает на обычных GPU, без специализированных ускорителей.
В собственном тесте Celeris на MMLU-Pro модель набрала 75,9%:
- GPT-5 mini - 78,5%
- GPT-5 - 81,9%
Но отвечала она примерно в 13-16 раз быстрее.
Секрет скорости - архитектура, которая снижает зависимость от последовательной генерации токен за токеном.
Важная оговорка: показатели качества и сравнение с GPT-5 получены самой Celeris, а reasoning budget у моделей был установлен в ноль. Однако независимый замер Artificial Analysis подтверждает главное - скорость выше 2 000 токенов в секунду уже стала реальностью.
👍13❤10🔥4
🎓 Магистратура по работе с данными и применению ИИ от НИЯУ МИФИ в партнерстве с Яндекс Практикумом — как устроено обучение
Это двухлетняя программа по прикладной математике и информатике. Учеба проходит полностью дистанционно, студенты получают два диплома: магистерский и о профпереподготовке, а еще все стандартные студенческие льготы.
Главное по структуре и условиям:
• Во время учёбы вы выбираете один из четырех треков: ML-инженерию, Computer Vision, NLP или Data Engineering.
• Учеба строится на прикладном стеке: от PyTorch, Transformers и OpenCV до Airflow, Kafka, Hadoop и Yandex Cloud.
• За 2 года студенты делают 10+ проектов в портфолио. Кейсы для учебы дают реальные команды, например, Еды, Лавки, Go, Облака — без ограничений по NDA.
• В программу включен карьерный трек с mock-интервью от HR и доступом к базе вакансий партнеров.
Экзамены также проходят онлайн. Перед сдачей предоставляют гайд для подготовки.
🔗 Учебный план и подача документов
Это двухлетняя программа по прикладной математике и информатике. Учеба проходит полностью дистанционно, студенты получают два диплома: магистерский и о профпереподготовке, а еще все стандартные студенческие льготы.
Главное по структуре и условиям:
• Во время учёбы вы выбираете один из четырех треков: ML-инженерию, Computer Vision, NLP или Data Engineering.
• Учеба строится на прикладном стеке: от PyTorch, Transformers и OpenCV до Airflow, Kafka, Hadoop и Yandex Cloud.
• За 2 года студенты делают 10+ проектов в портфолио. Кейсы для учебы дают реальные команды, например, Еды, Лавки, Go, Облака — без ограничений по NDA.
• В программу включен карьерный трек с mock-интервью от HR и доступом к базе вакансий партнеров.
Экзамены также проходят онлайн. Перед сдачей предоставляют гайд для подготовки.
🔗 Учебный план и подача документов
😁2👍1🔥1
Apple обвинила OpenAI в краже секретов и получила крайне неудобный ответ
Apple утверждает, что бывшие инженеры Chang Liu и Tang Tan передали OpenAI конфиденциальные данные о будущих устройствах. Компания потребовала судебный запрет, который должен ограничить использование спорной информации. OpenAI обвинения отрицает.
Теперь OpenAI опубликовала переписку, из которой следует: сотрудники Apple продолжали обращаться к Liu уже после его ухода.
Его просили:
- найти внутренние файлы;
- объяснить причины продуктовых решений;
- помочь с техническими вопросами;
- подсказать нужных сотрудников внутри компании.
В одном из сообщений сотрудник Apple написал:
> Конечно, я мог бы спросить нескольких людей, но ты лучший. Даже если ты здесь больше не работаешь.
Ещё страннее выглядит переписка юристов. Внешний адвокат Apple поблагодарил генерального юрисконсульта OpenAI за телефонный разговор, которого в действительности не было. Позже он признал ошибку и сообщил, что письмо предназначалось другому человеку.
Получается неудобная картина: Apple обвиняет бывшего инженера в работе с конфиденциальными данными, но её собственные сотрудники продолжали использовать его как удалённого эксперта уже после увольнения.
OpenAI считает это провалом offboarding-процесса Apple - доступы и рабочие связи с бывшим сотрудником должны были быть закрыты сразу.
Опубликованная переписка не опровергает все обвинения Apple и показывает позицию только одной стороны.
Но теперь компании придётся объяснять суду, почему её сотрудники продолжали запрашивать внутреннюю помощь у человека, которого она обвиняет в краже секретов.
Источник:
https://openai.com/index/apple-is-getting-this-wrong/
Apple утверждает, что бывшие инженеры Chang Liu и Tang Tan передали OpenAI конфиденциальные данные о будущих устройствах. Компания потребовала судебный запрет, который должен ограничить использование спорной информации. OpenAI обвинения отрицает.
Теперь OpenAI опубликовала переписку, из которой следует: сотрудники Apple продолжали обращаться к Liu уже после его ухода.
Его просили:
- найти внутренние файлы;
- объяснить причины продуктовых решений;
- помочь с техническими вопросами;
- подсказать нужных сотрудников внутри компании.
В одном из сообщений сотрудник Apple написал:
> Конечно, я мог бы спросить нескольких людей, но ты лучший. Даже если ты здесь больше не работаешь.
Ещё страннее выглядит переписка юристов. Внешний адвокат Apple поблагодарил генерального юрисконсульта OpenAI за телефонный разговор, которого в действительности не было. Позже он признал ошибку и сообщил, что письмо предназначалось другому человеку.
Получается неудобная картина: Apple обвиняет бывшего инженера в работе с конфиденциальными данными, но её собственные сотрудники продолжали использовать его как удалённого эксперта уже после увольнения.
OpenAI считает это провалом offboarding-процесса Apple - доступы и рабочие связи с бывшим сотрудником должны были быть закрыты сразу.
Опубликованная переписка не опровергает все обвинения Apple и показывает позицию только одной стороны.
Но теперь компании придётся объяснять суду, почему её сотрудники продолжали запрашивать внутреннюю помощь у человека, которого она обвиняет в краже секретов.
Источник:
https://openai.com/index/apple-is-getting-this-wrong/
❤15😁4👍2🥰1
🛡️ Mistral выпустила Shieldstral - открытую модель для модерации текста и изображений
Большинство guard-моделей работают с заранее заданным списком запретов. Чтобы адаптировать такую систему под другой продукт, аудиторию или правила компании, часто требуется дополнительное обучение.
Shieldstral предлагает другой подход: разработчик описывает политику безопасности обычным языком прямо во время инференса.
Например:
> «Безопасно ли показывать это изображение несовершеннолетнему?»
Модель анализирует текст, изображение или пару «запрос - ответ», после чего возвращает вероятность
Что умеет Shieldstral:
- проверять пользовательские запросы и ответы модели;
- модерировать текст и изображения;
- оценивать, был ли отказ модели обоснованным;
- адаптироваться к новым правилам без переобучения;
- выдавать оценку риска, а не только жёсткий ярлык.
В модели всего 3 млрд параметров, поэтому её можно запустить на одной NVIDIA GPU с 16 ГБ памяти.
По внутренним тестам Mistral, Shieldstral конкурирует с открытыми guard-моделями, которые крупнее её до семи раз. Эти результаты пока требуют независимой проверки.
Модель опубликована с открытыми весами под лицензией Apache 2.0.
Подробнее:
https://mistral.ai/news/shieldstral
Большинство guard-моделей работают с заранее заданным списком запретов. Чтобы адаптировать такую систему под другой продукт, аудиторию или правила компании, часто требуется дополнительное обучение.
Shieldstral предлагает другой подход: разработчик описывает политику безопасности обычным языком прямо во время инференса.
Например:
> «Безопасно ли показывать это изображение несовершеннолетнему?»
Модель анализирует текст, изображение или пару «запрос - ответ», после чего возвращает вероятность
yes или no.Что умеет Shieldstral:
- проверять пользовательские запросы и ответы модели;
- модерировать текст и изображения;
- оценивать, был ли отказ модели обоснованным;
- адаптироваться к новым правилам без переобучения;
- выдавать оценку риска, а не только жёсткий ярлык.
В модели всего 3 млрд параметров, поэтому её можно запустить на одной NVIDIA GPU с 16 ГБ памяти.
По внутренним тестам Mistral, Shieldstral конкурирует с открытыми guard-моделями, которые крупнее её до семи раз. Эти результаты пока требуют независимой проверки.
Модель опубликована с открытыми весами под лицензией Apache 2.0.
Подробнее:
https://mistral.ai/news/shieldstral
👍20🔥5🥴3🤨3❤2
🔥 Cursor открыла исходники Mixture-of-Kittens - MoE-мегакернела, который ускорил обучение моделей на 41% без замены железа
В больших Mixture-of-Experts моделях GPU тратят огромные ресурсы не только на вычисления, но и на пересылку токенов между экспертами на разных чипах.
После оптимизации математики через MXFP8 именно передача данных стала главным узким местом. На некоторых нагрузках она занимала больше половины времени одного шага обучения.
Mixture-of-Kittens объединяет весь цикл в один CUDA-кернел:
- отправку токенов нужным экспертам;
- вычисления;
- сбор результатов;
- синхронизацию между GPU.
Передача токенов происходит параллельно с вычислениями.
Ещё одно важное изменение - модель перешла от
Результаты Cursor на GB300 NVL72:
- до 2,37x быстрее на MXFP8 forward;
- до 1,78x быстрее на MXFP8 backward;
- на 512 GPU throughput вырос с 760,9 до 1 070,2 токена/с на GPU;
- общий прирост производительности в production составил около 41%.
Ускорение получили не за счёт новых видеокарт, а благодаря более умному расписанию движения данных.
На масштабе сотен GPU хороший кернел может оказаться выгоднее ещё одной стойки оборудования.
Проект опубликован под лицензией Apache 2.0.
https://x.com/Machinelearrn/status/2084926849763701040
В больших Mixture-of-Experts моделях GPU тратят огромные ресурсы не только на вычисления, но и на пересылку токенов между экспертами на разных чипах.
После оптимизации математики через MXFP8 именно передача данных стала главным узким местом. На некоторых нагрузках она занимала больше половины времени одного шага обучения.
Mixture-of-Kittens объединяет весь цикл в один CUDA-кернел:
- отправку токенов нужным экспертам;
- вычисления;
- сбор результатов;
- синхронизацию между GPU.
Передача токенов происходит параллельно с вычислениями.
Ещё одно важное изменение - модель перешла от
push к pull: каждый чип сам забирает нужные ему токены. Это дало до 29% больше полезной пропускной способности NVLink и сократило задержки ожидания примерно в 5,8 раза.Результаты Cursor на GB300 NVL72:
- до 2,37x быстрее на MXFP8 forward;
- до 1,78x быстрее на MXFP8 backward;
- на 512 GPU throughput вырос с 760,9 до 1 070,2 токена/с на GPU;
- общий прирост производительности в production составил около 41%.
Ускорение получили не за счёт новых видеокарт, а благодаря более умному расписанию движения данных.
На масштабе сотен GPU хороший кернел может оказаться выгоднее ещё одной стойки оборудования.
Проект опубликован под лицензией Apache 2.0.
https://x.com/Machinelearrn/status/2084926849763701040
❤9👍8🔥3
Илья Суцкевер может показать первую модель SSI уже в августе
Инвестор Гэвин Бейкер заявил, что Safe Superintelligence планирует выпустить свою первую модель в августе. Сама SSI дату пока официально не подтверждала.
Интрига в формулировке компании. На её сайте прямо сказано:
> Одна цель и один продукт — безопасный суперинтеллект.
SSI с момента основания не выпускала промежуточных продуктов и утверждала, что вся команда, бизнес-модель и инвестиции направлены на достижение одной цели.
Поэтому первый релиз Суцкевера вызовет намного больше внимания, чем запуск очередной LLM. Он должен показать, над чем одна из самых закрытых ИИ-лабораторий работала последние два года.
Но считать будущую модель уже готовым суперинтеллектом рано. Это может быть исследовательский прототип, промежуточная система или демонстрация нового подхода к обучению.
Пока неизвестны архитектура, размеры, результаты тестов и формат доступа.
Если релиз действительно состоится в августе, это будет первый шанс понять: SSI нашла новый путь к более сильному ИИ или готовит ещё одну frontier-модель.
Источники:
https://ssi.inc/
https://www.youtube.com/watch?v=NGsi2PC4y68&t=1679s
Инвестор Гэвин Бейкер заявил, что Safe Superintelligence планирует выпустить свою первую модель в августе. Сама SSI дату пока официально не подтверждала.
Интрига в формулировке компании. На её сайте прямо сказано:
> Одна цель и один продукт — безопасный суперинтеллект.
SSI с момента основания не выпускала промежуточных продуктов и утверждала, что вся команда, бизнес-модель и инвестиции направлены на достижение одной цели.
Поэтому первый релиз Суцкевера вызовет намного больше внимания, чем запуск очередной LLM. Он должен показать, над чем одна из самых закрытых ИИ-лабораторий работала последние два года.
Но считать будущую модель уже готовым суперинтеллектом рано. Это может быть исследовательский прототип, промежуточная система или демонстрация нового подхода к обучению.
Пока неизвестны архитектура, размеры, результаты тестов и формат доступа.
Если релиз действительно состоится в августе, это будет первый шанс понять: SSI нашла новый путь к более сильному ИИ или готовит ещё одну frontier-модель.
Источники:
https://ssi.inc/
https://www.youtube.com/watch?v=NGsi2PC4y68&t=1679s
👍11🤣9❤8🔥5🕊2💯1