ИИ решил задачу Эрдёша за 80 минут. Люди тратили на неё годы
GPT-5.4 Pro закрыл проблему №1196 из списка Эрдёша. Это задачи про primitive sets - наборы чисел, где ни одно число не делит другое.
Пример простой:
• {2, 3, 5} работает
• {2, 4} ломается, потому что 2 делит 4
На этом простота заканчивается. Дальше начинается сложная теория чисел, связанная с простыми числами и факторизацией.
Конкретно эта задача про то, как такие наборы ведут себя в целом. Не один пример, а общая структура и ограничения.
Контекст важный. Один из главных экспертов по теме, Jared Lichtman, разбирал эту задачу около 7 лет вместе с топовыми математиками. Это не забытая проблема, её активно пытались решить.
ИИ справился примерно за 80 минут.
Все десятилетиями шли через один и тот же подход. Аналитика плюс вероятностные методы. Это стало негласным стандартом.
Модель просто отказалась от этого пути и осталась в чистом анализе, используя веса фон Мангольдта.
Фактически она пошла дорогой, которую люди игнорировали из-за математической интуиции и привычек.
В результате получилось не просто решение, а аккуратное доказательство, которое потенциально упрощает более широкий класс задач.
Если это подтвердится, это повлияет не на одну задачу, а на целый кусок теории чисел.
Похоже, что модели начали находить не только ответы, но и неожиданные идеи, которые люди системно пропускали.
https://x.com/jdlichtman/status/2044298382852927894
GPT-5.4 Pro закрыл проблему №1196 из списка Эрдёша. Это задачи про primitive sets - наборы чисел, где ни одно число не делит другое.
Пример простой:
• {2, 3, 5} работает
• {2, 4} ломается, потому что 2 делит 4
На этом простота заканчивается. Дальше начинается сложная теория чисел, связанная с простыми числами и факторизацией.
Конкретно эта задача про то, как такие наборы ведут себя в целом. Не один пример, а общая структура и ограничения.
Контекст важный. Один из главных экспертов по теме, Jared Lichtman, разбирал эту задачу около 7 лет вместе с топовыми математиками. Это не забытая проблема, её активно пытались решить.
ИИ справился примерно за 80 минут.
Все десятилетиями шли через один и тот же подход. Аналитика плюс вероятностные методы. Это стало негласным стандартом.
Модель просто отказалась от этого пути и осталась в чистом анализе, используя веса фон Мангольдта.
Фактически она пошла дорогой, которую люди игнорировали из-за математической интуиции и привычек.
В результате получилось не просто решение, а аккуратное доказательство, которое потенциально упрощает более широкий класс задач.
Если это подтвердится, это повлияет не на одну задачу, а на целый кусок теории чисел.
Похоже, что модели начали находить не только ответы, но и неожиданные идеи, которые люди системно пропускали.
https://x.com/jdlichtman/status/2044298382852927894
👍35❤17🔥8🙏2
Forwarded from Machinelearning
⭐️ Google DeepMind представил Gemini 3.1 Flash TTS - свою самую управляемую модель генерации речи
Главная фишка - Audio Tags.
Это текстовые команды прямо в промпте, которыми можно управлять стилем голоса, подачей и темпом речи. По сути, вы режиссируете озвучку через текст.
Что ещё важно:
— Более естественное звучание речи
— Поддержка 70+ языков (русский, японский, немецкий и др.)
— Все выходные аудио маркируются SynthID (цифровой водяной знак, чтобы отличить синтезированную речь от настоящей)
На бенчмарке Artificial Analysis TTS Arena модель заняла 2-е место с Elo-рейтингом 1211 - сразу за Inworld TTS 1.5 Max (1215) и выше ElevenLabs v3 (1179).
Где попробовать:
→ Рreview через Gemini API и Google AI Studio
→ Бизнесу -а Vertex AI
→ Всем пользователям - скоро появится в Google Vids
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-1-flash-tts/
@ai_machinelearning_big_data
#google `#tts
Главная фишка - Audio Tags.
Это текстовые команды прямо в промпте, которыми можно управлять стилем голоса, подачей и темпом речи. По сути, вы режиссируете озвучку через текст.
Что ещё важно:
— Более естественное звучание речи
— Поддержка 70+ языков (русский, японский, немецкий и др.)
— Все выходные аудио маркируются SynthID (цифровой водяной знак, чтобы отличить синтезированную речь от настоящей)
На бенчмарке Artificial Analysis TTS Arena модель заняла 2-е место с Elo-рейтингом 1211 - сразу за Inworld TTS 1.5 Max (1215) и выше ElevenLabs v3 (1179).
Где попробовать:
→ Рreview через Gemini API и Google AI Studio
→ Бизнесу -а Vertex AI
→ Всем пользователям - скоро появится в Google Vids
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-1-flash-tts/
@ai_machinelearning_big_data
#google `#tts
❤18🔥7👍4
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ В Telegram завезли агентов, которые создают других ботов
Павел Дуров сообщил, что теперь в Telegram можно развернуть бота-агента буквально в пару кликов
Агент может сам создавать новых ботов и управлять ими от вашего имени
Похоже, фича не случайная, её явно готовили под экосистему вроде OpenClaw
Ранее разработчик OpenClaw говорил, что с ним связалась команда Telegram и предложила помощь с интеграцией
Если это так, Telegram превращается не просто в мессенджер
а в платформу для запуска AI-агентов с доступом к миллионам пользователей
https://t.iss.one/durov/490
🎯Полезные Мл-ресурсы
@data_analysis_ml
Павел Дуров сообщил, что теперь в Telegram можно развернуть бота-агента буквально в пару кликов
Агент может сам создавать новых ботов и управлять ими от вашего имени
Похоже, фича не случайная, её явно готовили под экосистему вроде OpenClaw
Ранее разработчик OpenClaw говорил, что с ним связалась команда Telegram и предложила помощь с интеграцией
Если это так, Telegram превращается не просто в мессенджер
а в платформу для запуска AI-агентов с доступом к миллионам пользователей
https://t.iss.one/durov/490
🎯Полезные Мл-ресурсы
@data_analysis_ml
❤29👍13🔥9🤔4
⚡️ Вышло большое обновление популярного курса- Ai AI агенты, которые реально работают в проде!
Вы всё ещё пишете обёртки над ChatGPT и называете это «AI-продуктом»?
Пока вы промптите - рынок переходит на агентные системы. Те, что принимают решения, ходят в API, работают с Postgres и Redis, управляют браузером через Playwright.
И 90% таких систем ломаются между ноутбуком и продом.
AI Agents Engineering - курс, который закрывает этот разрыв. LangGraph, AutoGen, Computer Use, LLMOps. 8 модулей, 120+ шагов - от архитектуры до деплоя в Docker.
На выходе: реальный опыт на большой практической базе, а production-агент и навыки, за которые уже платят.
👉 48 часов действует скидка на курс 55 процентов: https://stepik.org/a/276971/
Вы всё ещё пишете обёртки над ChatGPT и называете это «AI-продуктом»?
Пока вы промптите - рынок переходит на агентные системы. Те, что принимают решения, ходят в API, работают с Postgres и Redis, управляют браузером через Playwright.
И 90% таких систем ломаются между ноутбуком и продом.
AI Agents Engineering - курс, который закрывает этот разрыв. LangGraph, AutoGen, Computer Use, LLMOps. 8 модулей, 120+ шагов - от архитектуры до деплоя в Docker.
На выходе: реальный опыт на большой практической базе, а production-агент и навыки, за которые уже платят.
👉 48 часов действует скидка на курс 55 процентов: https://stepik.org/a/276971/
❤7👍3🥴3❤🔥2🔥2
Ещё год назад казалось, что рынок GenAI уже поделен ,ChatGPT держал 77% трафика и выглядел недосягаемым.
Сейчас - уже 57%
И это падение за 12 месяцев
Gemini резко вырос до 25%
за счёт главного оружия Google - дистрибуции поиск, почта, документы — пользователь даже не замечает переход
Claude - самый опасный конкурент, почти утроил долю до 6% за месяц, без агрессивного маркетинга
просто потому что людям начинает нравиться больше.
Даже шум вокруг Mythos сыграл в плюс это внимание, которое не купишь.
Внизу остаются DeepSeek, Grok, Copilot, Perplexity у всех меньше 4% они пока не влияют на расстановку сил.
https://x.com/Similarweb/status/2044682637860573534
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥22❤8👍7
⚡️ Claude Opus 4.7 - апдейт не про скорость, а про контроль и качество
Anthropic усилили сразу несколько критичных зон
Vision:
• модель теперь обрабатывает изображения с более чем в 3 раза большим разрешением
• результат - заметно лучшее качество интерфейсов, презентаций и документов
API:
появился новый уровень усилия - xhigh
между high и max, даёт более точный контроль баланса
reasoning ↔ latency
добавили Task Budgets (beta)
можно управлять приоритетами и стоимостью в длинных задачах
Claude Code:
• новая команда /ultrareview
• запускает отдельную сессию ревью
• проходит по изменениям и находит то, что обычно ловит внимательный ревьюер
• расширили auto mode для Max пользователей
длинные задачи теперь выполняются с меньшим количеством прерываний
https://claude.ai/new
Anthropic усилили сразу несколько критичных зон
Vision:
• модель теперь обрабатывает изображения с более чем в 3 раза большим разрешением
• результат - заметно лучшее качество интерфейсов, презентаций и документов
API:
появился новый уровень усилия - xhigh
между high и max, даёт более точный контроль баланса
reasoning ↔ latency
добавили Task Budgets (beta)
можно управлять приоритетами и стоимостью в длинных задачах
Claude Code:
• новая команда /ultrareview
• запускает отдельную сессию ревью
• проходит по изменениям и находит то, что обычно ловит внимательный ревьюер
• расширили auto mode для Max пользователей
длинные задачи теперь выполняются с меньшим количеством прерываний
https://claude.ai/new
❤23👍9🔥5🥱2
Qwen3.6-35B-A3B в 2-bit режиме провела полный bug hunt:
• нашла баги
• собрала доказательства
• создала repro
• написала фиксы
• добавила тесты
• и оформила PR
И всё это локально.
13GB RAM. Без облаков.
За время работы модель:
• сделала 30+ tool calls
• прошерстила 20 сайтов
• исполняла Python код
Топ для такой крохи!
GitHub: https://github.com/unslothai/unsloth
• нашла баги
• собрала доказательства
• создала repro
• написала фиксы
• добавила тесты
• и оформила PR
И всё это локально.
13GB RAM. Без облаков.
За время работы модель:
• сделала 30+ tool calls
• прошерстила 20 сайтов
• исполняла Python код
Топ для такой крохи!
GitHub: https://github.com/unslothai/unsloth
👍22❤19🔥6💯2😁1
⚡️ Аналитика уходит в диалоговый режим
Эксперты направления OneData VK фиксируют сдвиг: от SQL-first к естественному языку и агентам. Теперь аналитик — не исполнитель, а контролёр ИИ и качества данных.
Что меняется:
• Аналитику можно «спросить», а не писать запросы
• ИИ уже экономит время: задачи с 20 → 5 минут
• SQL остаётся, но как язык для ИИ, а не для человека
• Уход от разрозненных хранилищ к единым платформам (OneData)
• Дата-контракты и SLA на доставку данных
• Фокус смещается с объема на качество данных
Главный риск — галлюцинации
ошибка выглядит как нормальные данные, поэтому возможен риск неверных решений
Решение:
• проверка моделями (LLM-as-a-judge)
• DQ-контроль и валидация
Подробнее
Эксперты направления OneData VK фиксируют сдвиг: от SQL-first к естественному языку и агентам. Теперь аналитик — не исполнитель, а контролёр ИИ и качества данных.
Что меняется:
• Аналитику можно «спросить», а не писать запросы
• ИИ уже экономит время: задачи с 20 → 5 минут
• SQL остаётся, но как язык для ИИ, а не для человека
• Уход от разрозненных хранилищ к единым платформам (OneData)
• Дата-контракты и SLA на доставку данных
• Фокус смещается с объема на качество данных
Главный риск — галлюцинации
ошибка выглядит как нормальные данные, поэтому возможен риск неверных решений
Решение:
• проверка моделями (LLM-as-a-judge)
• DQ-контроль и валидация
Подробнее
👍15❤9🔥6😁6🤔2💯2
⭐️ Если у тебя накопилось десятки сохранённых гайдов по AI - это нормально
Но большую часть из них ты, скорее всего, не откроешь/
Вот один список, который покрывает основные кейсы работы с Claude.
Claude 101
https://how-to-claude.ai
Claude Code
https://claudecode.free
Claude Skills
https://claude-skills.free
Почему стоит меньше полагаться на промпты
https://ruben.substack.com/p/stop-prompting-claude
Claude в Excel
https://ruben.substack.com/p/ai-couldnt-do-excel
40 репозиториев по 8 категориям. Полный роадмап от математических основ до написания собственного LLM.
https://uproger.com/40-github-repozitoriev-kotorye-zamenyat-vam-lyuboj-platnyj-kurs-po-ai-polnyj-roadmap-ot-matematicheskih-osnov-do-napisaniya-sobstvennogo-llm/
Рост аудитории с помощью AI
https://ruben.substack.com/p/1000000how-claude.team
Claude для команд разработчиков
https://how-claude.team
Почему одного промпта недостаточно
https://ruben.substack.com/p/magic
Создание презентаций
https://how-to-gamma.ai
Настройка Claude Cowork
https://claude-co.work
Как адаптировать стиль ИИ под себя
https://ruben.substack.com/p/i-am-just-a-text-file
Интерактивные графики
https://ruben.substack.com/p/claude-charts
Claude как рабочая среда
https://ruben.substack.com/p/claude-computer
Cowork + Projects
https://ruben.substack.com/p/claude-cowork-project
Как правильно настроить AI перед работой
https://ruben.substack.com/p/how-to-better-use-ai-before-prompting
Сохрани, пригодится.
Но большую часть из них ты, скорее всего, не откроешь/
Вот один список, который покрывает основные кейсы работы с Claude.
Claude 101
https://how-to-claude.ai
Claude Code
https://claudecode.free
Claude Skills
https://claude-skills.free
Почему стоит меньше полагаться на промпты
https://ruben.substack.com/p/stop-prompting-claude
Claude в Excel
https://ruben.substack.com/p/ai-couldnt-do-excel
40 репозиториев по 8 категориям. Полный роадмап от математических основ до написания собственного LLM.
https://uproger.com/40-github-repozitoriev-kotorye-zamenyat-vam-lyuboj-platnyj-kurs-po-ai-polnyj-roadmap-ot-matematicheskih-osnov-do-napisaniya-sobstvennogo-llm/
Рост аудитории с помощью AI
https://ruben.substack.com/p/1000000how-claude.team
Claude для команд разработчиков
https://how-claude.team
Почему одного промпта недостаточно
https://ruben.substack.com/p/magic
Создание презентаций
https://how-to-gamma.ai
Настройка Claude Cowork
https://claude-co.work
Как адаптировать стиль ИИ под себя
https://ruben.substack.com/p/i-am-just-a-text-file
Интерактивные графики
https://ruben.substack.com/p/claude-charts
Claude как рабочая среда
https://ruben.substack.com/p/claude-computer
Cowork + Projects
https://ruben.substack.com/p/claude-cowork-project
Как правильно настроить AI перед работой
https://ruben.substack.com/p/how-to-better-use-ai-before-prompting
Сохрани, пригодится.
👍17🔥8❤5🤣4
⚡️ Prefill-as-a-Service предлагает пересобрать инференс
В статье (авторы Kimi.ai) разбирают, почему держать Prefill и Decode в одном процессе невыгодно, и как это разнести без потерь.
Любой ответ модели начинается с Prefill. Модель читает весь вход и строит внутреннее состояние. Дальше идёт Decode. Пошаговая генерация токенов.
Эти этапы ведут себя по-разному. Prefill короткий, но тяжёлый по вычислениям. Decode долгий и чувствительный к задержкам. Когда они сидят на одном GPU, часть ресурсов простаивает.
В статье предлагают вынести Prefill в отдельный сервис. Его можно крутить на других узлах или в другом дата-центре. Decode оставить ближе к пользователю, где важна задержка на токен.
Авторы упирались в KV cache. Он слишком большой, чтобы гонять его по сети без ощутимых накладных расходов. Но в статье показывают, что при оптимизации представления KV это становится практичным.
На практике это даёт более быстрый первый токен и лучший throughput. Появляется возможность подбирать железо под конкретный этап, а не под весь пайплайн сразу.
Инференс перестаёт быть привязанным к одному месту. Его можно разнести, как обычный сервис. И дальше оптимизировать уже не только модель, но и архитектуру вокруг неё.
Проверено на модели Kimi Linear, увеличенной в 20 раз:
• пропускная способность модели выросла в 1.54 раза
• P90 TTFT ниже на 64%.
• На выходе это напрямую конвертируется в более дешёвый токен.
https://arxiv.org/html/2604.15039v1
В статье (авторы Kimi.ai) разбирают, почему держать Prefill и Decode в одном процессе невыгодно, и как это разнести без потерь.
Любой ответ модели начинается с Prefill. Модель читает весь вход и строит внутреннее состояние. Дальше идёт Decode. Пошаговая генерация токенов.
Эти этапы ведут себя по-разному. Prefill короткий, но тяжёлый по вычислениям. Decode долгий и чувствительный к задержкам. Когда они сидят на одном GPU, часть ресурсов простаивает.
В статье предлагают вынести Prefill в отдельный сервис. Его можно крутить на других узлах или в другом дата-центре. Decode оставить ближе к пользователю, где важна задержка на токен.
Авторы упирались в KV cache. Он слишком большой, чтобы гонять его по сети без ощутимых накладных расходов. Но в статье показывают, что при оптимизации представления KV это становится практичным.
На практике это даёт более быстрый первый токен и лучший throughput. Появляется возможность подбирать железо под конкретный этап, а не под весь пайплайн сразу.
Инференс перестаёт быть привязанным к одному месту. Его можно разнести, как обычный сервис. И дальше оптимизировать уже не только модель, но и архитектуру вокруг неё.
Проверено на модели Kimi Linear, увеличенной в 20 раз:
• пропускная способность модели выросла в 1.54 раза
• P90 TTFT ниже на 64%.
• На выходе это напрямую конвертируется в более дешёвый токен.
https://arxiv.org/html/2604.15039v1
👍8❤4🔥4🤔1
🚀 Появился интересный вариант Qwen с улучшенным мышлением
Qwen 3.6 35B дообучили на цепочках рассуждений от Opus 4.6.
Идея простая:
• берут быструю модель
• добавляют ей «логику» через distilled CoT
• получают баланс скорости и качества
Что в итоге:
- отвечает быстро, как обычный Qwen
- лучше справляется со сложными задачами
- реже теряется в длинных рассуждениях
Это тот же подход, который уже хорошо зашёл в комьюнити с Qwen 3.5 27B.
То есть не новая модель, а грамотный fine-tune, который усиливает уже существующую
Такие сборки могут быть полезны тем, что:
• их можно запускать локально
• они дешевле API
• и при этом дают более стабильное reasoning
https://huggingface.co/hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled
@data_analysis_ml
Qwen 3.6 35B дообучили на цепочках рассуждений от Opus 4.6.
Идея простая:
• берут быструю модель
• добавляют ей «логику» через distilled CoT
• получают баланс скорости и качества
Что в итоге:
- отвечает быстро, как обычный Qwen
- лучше справляется со сложными задачами
- реже теряется в длинных рассуждениях
Это тот же подход, который уже хорошо зашёл в комьюнити с Qwen 3.5 27B.
То есть не новая модель, а грамотный fine-tune, который усиливает уже существующую
Такие сборки могут быть полезны тем, что:
• их можно запускать локально
• они дешевле API
• и при этом дают более стабильное reasoning
https://huggingface.co/hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled
@data_analysis_ml
👍19🔥11❤4🤔3
⚡️ OpenMythos: открытая реконструкция Claude Mythos на PyTorch
Это теоретическую сборка архитектуры Claude Mythos по первым принципам и публичной литературе. Это не веса от Anthropic, а попытка сообщества воспроизвести саму идею.
В основе лежит Recurrent-Depth Transformer: один и тот же параметризованный блок с общими весами прогоняется T раз внутри одного forward pass, так что глубина достигается не новыми слоями, а итерациями. Поверх этого накручен sparse MoE с top-K роутингом, дающий условные вычисления на каждом шаге.
В отличие от классического chain-of-thought, reasoning идёт целиком в непрерывном латентном пространстве, без генерации промежуточных токенов между шагами.
Гипотеза автора: рекурсивный блок плюс разреженные эксперты дают лучший компромисс качество/стоимость инференса и потенциально эмерджентный многошаговый reasoning без раздувания модели.
Схема: Prelude из плотных блоков, зацикленный Shared block с loop-index эмбеддингами и LoRA-адаптерами по глубине, MoE-роутинг, ACT-халтинг для раннего выхода, на выходе RMSNorm и tied LM head.
Полезно тем, кто копает recurrent-depth модели, латентное reasoning и эффективные MoE. Поиграться с архитектурой можно, не дожидаясь релиза весов.
https://github.com/kyegomez/OpenMythos
🎯Полезные Мл-ресурсы 🚀 Max
@data_analysis_ml
Это теоретическую сборка архитектуры Claude Mythos по первым принципам и публичной литературе. Это не веса от Anthropic, а попытка сообщества воспроизвести саму идею.
В основе лежит Recurrent-Depth Transformer: один и тот же параметризованный блок с общими весами прогоняется T раз внутри одного forward pass, так что глубина достигается не новыми слоями, а итерациями. Поверх этого накручен sparse MoE с top-K роутингом, дающий условные вычисления на каждом шаге.
В отличие от классического chain-of-thought, reasoning идёт целиком в непрерывном латентном пространстве, без генерации промежуточных токенов между шагами.
Гипотеза автора: рекурсивный блок плюс разреженные эксперты дают лучший компромисс качество/стоимость инференса и потенциально эмерджентный многошаговый reasoning без раздувания модели.
Схема: Prelude из плотных блоков, зацикленный Shared block с loop-index эмбеддингами и LoRA-адаптерами по глубине, MoE-роутинг, ACT-халтинг для раннего выхода, на выходе RMSNorm и tied LM head.
Полезно тем, кто копает recurrent-depth модели, латентное reasoning и эффективные MoE. Поиграться с архитектурой можно, не дожидаясь релиза весов.
https://github.com/kyegomez/OpenMythos
🎯Полезные Мл-ресурсы 🚀 Max
@data_analysis_ml
👍19❤7🔥6🥴2😐2👏1
До сих пор разворачиваете PostgreSQL вручную?
Сэкономьте силы для задач разработки.
21 апреля в 16:00 (мск) пройдёт вебинар от MWS Cloud Platform, где эксперты компании расскажут, как получить готовую базу для бэкенда за несколько минут.
Что будет в эфире:
⚫️ ️️ облачный PostgreSQL: плюсы/минусы решения;
⚫️ ️️ как устроен управляемый сервис в новом облаке от MWS Cloud;
⚫️ ️️ машинерия под капотом бэкапов, автообновлений, switch и failover;
⚫️ ️️ создадим кластер за несколько минут и настроим подключение.
Вебинар будет интересен администраторам баз данных (DBA), бэкенд-разработчикам, DevOps- и SRE-инженерам, техническим лидам и архитекторам, владельцам продуктов и стартапам.
Зарегистрироваться
Сэкономьте силы для задач разработки.
21 апреля в 16:00 (мск) пройдёт вебинар от MWS Cloud Platform, где эксперты компании расскажут, как получить готовую базу для бэкенда за несколько минут.
Что будет в эфире:
Вебинар будет интересен администраторам баз данных (DBA), бэкенд-разработчикам, DevOps- и SRE-инженерам, техническим лидам и архитекторам, владельцам продуктов и стартапам.
Зарегистрироваться
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ Андрей Карпаты высказал про дизайн ИИ-моделей мысль, которую большинство упускает из виду.
Его тезис: передовые модели не потому огромные, что технология сложная, а потому что данные для обучения мусорные.
Когда обычный человек думает про интернет, ему в голову приходят статьи Wall Street Journal, Википедия, серьёзные тексты.
Так вот, датасет для предобучения выглядит иначе. Если открыть случайные документы из реального корпуса, то там будут тикеры акций, битый HTML, спам и бессвязный текст.
По одной из оценок, Llama 3 сжимает информацию со скоростью всего 0.07 бита на токен. То есть модель помнит большую часть обучающих данных смутно.
Поэтому мы и строим модели на триллион параметров не потому, что нам нужен мозг такого размера, а потому что нужен движок сжатия такого масштаба, чтобы выжать хоть какой-то интеллект из потока шума. Большая часть параметров работает памятью, а не мышлением.
Предложение Карпаты - разделить эти две функции. Построить когнитивное ядро - модель, в которой остались только алгоритмы рассуждения и решения задач, без энциклопедического заучивания.
А рядом поставить внешнюю память, к которой модель обращается за фактами.
По его прогнозу, когнитивное ядро, обученное на качественных данных, способно выйти на настоящий интеллект при размере около миллиарда параметров. Для сравнения: флагманские модели сегодня крутятся в диапазоне от 200 миллиардов до 1.8 триллиона параметров, и большая часть этого веса уходит на запоминание интернет-помойки.
GPT-4o работает примерно на 200 миллиардах параметров и обходит оригинальный GPT-4 на 1.8 триллиона. Стоимость инференса на уровне GPT-3.5 с 2022 по 2024 упала в 280 раз, и почти весь этот выигрыш дали модели меньшего размера, обученные на более чистых данных с более продуманной архитектурой.
Настоящим узким местом ИИ сейчас является качество данных.
@data_analysis_ml
Его тезис: передовые модели не потому огромные, что технология сложная, а потому что данные для обучения мусорные.
Когда обычный человек думает про интернет, ему в голову приходят статьи Wall Street Journal, Википедия, серьёзные тексты.
Так вот, датасет для предобучения выглядит иначе. Если открыть случайные документы из реального корпуса, то там будут тикеры акций, битый HTML, спам и бессвязный текст.
По одной из оценок, Llama 3 сжимает информацию со скоростью всего 0.07 бита на токен. То есть модель помнит большую часть обучающих данных смутно.
Поэтому мы и строим модели на триллион параметров не потому, что нам нужен мозг такого размера, а потому что нужен движок сжатия такого масштаба, чтобы выжать хоть какой-то интеллект из потока шума. Большая часть параметров работает памятью, а не мышлением.
Предложение Карпаты - разделить эти две функции. Построить когнитивное ядро - модель, в которой остались только алгоритмы рассуждения и решения задач, без энциклопедического заучивания.
А рядом поставить внешнюю память, к которой модель обращается за фактами.
По его прогнозу, когнитивное ядро, обученное на качественных данных, способно выйти на настоящий интеллект при размере около миллиарда параметров. Для сравнения: флагманские модели сегодня крутятся в диапазоне от 200 миллиардов до 1.8 триллиона параметров, и большая часть этого веса уходит на запоминание интернет-помойки.
GPT-4o работает примерно на 200 миллиардах параметров и обходит оригинальный GPT-4 на 1.8 триллиона. Стоимость инференса на уровне GPT-3.5 с 2022 по 2024 упала в 280 раз, и почти весь этот выигрыш дали модели меньшего размера, обученные на более чистых данных с более продуманной архитектурой.
Настоящим узким местом ИИ сейчас является качество данных.
@data_analysis_ml
🔥43👍15❤13
Отказался от OpenAI за 80 миллиардов, чтобы построить компанию за 380: невероятная история Дарио Амодея
В ноябре 2023 года совет директоров OpenAI предложил ему пост генерального директора самой мощной ИИ-компании в мире, оценённой в 80 миллиардов долларов. Он отказался меньше чем за сутки и без колебаний. Через два года его собственная компания Anthropic стоит 380 миллиардов. Его зовут Дарио Амодей, и это его история.
Сан-Франциско, 1983 год, район Миссия. Отец Риккардо работал кожевником, итальянец по происхождению. Мать Елена занималась проектами по обновлению библиотек. В доме почти не было технологий: только книги, физика и одна навязчивая идея, понять, как устроен мир.
Отказался от OpenAI за 80 миллиардов, чтобы построить компанию за 380: невероятная история Дарио Амодея
Пока сверстники во времена пузыря доткомов собирали сайты на коленке, Дарио погружался в квантовую механику. Он не хотел делать очередной стартап. Его интересовали фундаментальные научные вопросы и то, что стоит за формулами. Этот подход он пронесёт через всю карьеру.
В 2006 году умер отец, от редкого генетического заболевания. Через четыре года появилась терапия, которая могла бы его спасти. Для Амодея это стало переломным моментом. Он окончательно утвердился в мысли, что скорость научного прогресса, это буквально вопрос жизни и смерти. Если наука движется медленно, кто-то платит за это близкими.
Путь в ИИ начался в Принстоне, затем Стэнфорд, Google Brain и Baidu. В какой-то момент Дарио оказался в OpenAI и стал вице-президентом по исследованиям. Именно под его руководством команда довела до релиза GPT-2 и GPT-3, задав направление, в котором развивалась вся индустрия больших языковых моделей.
В 2021 году он вместе с сестрой Даниэлой и группой исследователей ушёл из OpenAI, чтобы основать Anthropic. Главный мотив, безопасность ИИ. Амодей считал, что без серьёзной работы над согласованием моделей с человеческими ценностями гонка за мощностью превратится в гонку рисков. Так появилась компания, которая с первого дня ставит safety на один уровень с capability.
Флагманский продукт Anthropic, это Claude. Сегодня он один из главных конкурентов ChatGPT, им пользуются крупнейшие корпорации, разработчики и исследователи. Модель известна длинным контекстом, аккуратной работой с инструкциями и зрелой моделью поведения в чувствительных темах.
И вот финал первой главы. Осенью 2023 года OpenAI переживает корпоративный шторм с увольнением Сэма Альтмана. Совет директоров ищет нового CEO и делает предложение человеку, который знает компанию изнутри, Дарио Амодею. Он отвечает «нет» меньше чем за 24 часа. У него уже есть своя миссия и своя команда.
Два года спустя Anthropic оценивается в 380 миллиардов долларов, а Claude встроен в тысячи продуктов от стартапов до Amazon и Google. Компания, построенная вокруг идеи безопасного ИИ, обогнала по капитализации ту самую OpenAI образца 2023 года, от лидерства в которой её основатель спокойно отказался.
Иногда самый сильный карьерный ход, это отказ от очевидно выигрышного варианта ради того, во что ты по-настоящему веришь. Для специалистов по ИИ это ещё и напоминание: техническое лидерство без чёткой ценностной рамки быстро превращается в гонку без финиша, а правильно выбранная миссия способна перевесить любые краткосрочные предложения рынка.
https://uproger.com/istoriya-dario-amodeya-otkazalsya-ot-openai-i-postroil-anthropic-za-380-mlrd/
В ноябре 2023 года совет директоров OpenAI предложил ему пост генерального директора самой мощной ИИ-компании в мире, оценённой в 80 миллиардов долларов. Он отказался меньше чем за сутки и без колебаний. Через два года его собственная компания Anthropic стоит 380 миллиардов. Его зовут Дарио Амодей, и это его история.
Сан-Франциско, 1983 год, район Миссия. Отец Риккардо работал кожевником, итальянец по происхождению. Мать Елена занималась проектами по обновлению библиотек. В доме почти не было технологий: только книги, физика и одна навязчивая идея, понять, как устроен мир.
Отказался от OpenAI за 80 миллиардов, чтобы построить компанию за 380: невероятная история Дарио Амодея
Пока сверстники во времена пузыря доткомов собирали сайты на коленке, Дарио погружался в квантовую механику. Он не хотел делать очередной стартап. Его интересовали фундаментальные научные вопросы и то, что стоит за формулами. Этот подход он пронесёт через всю карьеру.
В 2006 году умер отец, от редкого генетического заболевания. Через четыре года появилась терапия, которая могла бы его спасти. Для Амодея это стало переломным моментом. Он окончательно утвердился в мысли, что скорость научного прогресса, это буквально вопрос жизни и смерти. Если наука движется медленно, кто-то платит за это близкими.
Путь в ИИ начался в Принстоне, затем Стэнфорд, Google Brain и Baidu. В какой-то момент Дарио оказался в OpenAI и стал вице-президентом по исследованиям. Именно под его руководством команда довела до релиза GPT-2 и GPT-3, задав направление, в котором развивалась вся индустрия больших языковых моделей.
В 2021 году он вместе с сестрой Даниэлой и группой исследователей ушёл из OpenAI, чтобы основать Anthropic. Главный мотив, безопасность ИИ. Амодей считал, что без серьёзной работы над согласованием моделей с человеческими ценностями гонка за мощностью превратится в гонку рисков. Так появилась компания, которая с первого дня ставит safety на один уровень с capability.
Флагманский продукт Anthropic, это Claude. Сегодня он один из главных конкурентов ChatGPT, им пользуются крупнейшие корпорации, разработчики и исследователи. Модель известна длинным контекстом, аккуратной работой с инструкциями и зрелой моделью поведения в чувствительных темах.
И вот финал первой главы. Осенью 2023 года OpenAI переживает корпоративный шторм с увольнением Сэма Альтмана. Совет директоров ищет нового CEO и делает предложение человеку, который знает компанию изнутри, Дарио Амодею. Он отвечает «нет» меньше чем за 24 часа. У него уже есть своя миссия и своя команда.
Два года спустя Anthropic оценивается в 380 миллиардов долларов, а Claude встроен в тысячи продуктов от стартапов до Amazon и Google. Компания, построенная вокруг идеи безопасного ИИ, обогнала по капитализации ту самую OpenAI образца 2023 года, от лидерства в которой её основатель спокойно отказался.
Иногда самый сильный карьерный ход, это отказ от очевидно выигрышного варианта ради того, во что ты по-настоящему веришь. Для специалистов по ИИ это ещё и напоминание: техническое лидерство без чёткой ценностной рамки быстро превращается в гонку без финиша, а правильно выбранная миссия способна перевесить любые краткосрочные предложения рынка.
https://uproger.com/istoriya-dario-amodeya-otkazalsya-ot-openai-i-postroil-anthropic-za-380-mlrd/
❤35👍18🔥14❤🔥3👌2🤣2
Релиз Kimi K2.6. Впечатление смешанное.
Главное открытые веса, приличные цифры на бенчмарках (HLE 54.0, SWE-Bench Pro 58.6, SWE-bench Multilingual 76.7), заявленный long-horizon coding на 12+ часов и рост агентских роёв со 100 до 300 субагентов.
Доступ через чат, API и Kimi Code.
Минусы: часть бенчмарков снята в связке с Python, то есть это оценка системы, а не модели. «Open-source SOTA» значит лидерство среди открытых, сравнений с GPT и Claude в посте нет.
• HLE с инструментами: 54.0
• SWE-Bench Pro: 58.6
• SWE-bench Multilingual: 76.7
• BrowseComp: 83.2
• Toolathlon: 50.0
• Charxiv с Python: 86.7
• Math Vision с Python: 93.2
🔗 API: https://platform.moonshot.ai
🔗 Tech blog: https://kimi.com/blog/kimi-k2-6
🔗 Weights & code: https://huggingface.co/moonshotai/Kimi-K2.6
Главное открытые веса, приличные цифры на бенчмарках (HLE 54.0, SWE-Bench Pro 58.6, SWE-bench Multilingual 76.7), заявленный long-horizon coding на 12+ часов и рост агентских роёв со 100 до 300 субагентов.
Доступ через чат, API и Kimi Code.
Минусы: часть бенчмарков снята в связке с Python, то есть это оценка системы, а не модели. «Open-source SOTA» значит лидерство среди открытых, сравнений с GPT и Claude в посте нет.
• HLE с инструментами: 54.0
• SWE-Bench Pro: 58.6
• SWE-bench Multilingual: 76.7
• BrowseComp: 83.2
• Toolathlon: 50.0
• Charxiv с Python: 86.7
• Math Vision с Python: 93.2
🔗 API: https://platform.moonshot.ai
🔗 Tech blog: https://kimi.com/blog/kimi-k2-6
🔗 Weights & code: https://huggingface.co/moonshotai/Kimi-K2.6
❤10👍9🔥5
⚡️ Бесплатный клон Claude Opus 4.6 появился на Hugging Face, пока Anthropic не успела его снести
Энтузиасты дистиллировали Opus 4.6 в Qwen 3.6 и выложили на Hugging Face.
Вышла Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled: кто-то взял Qwen 3.6 на 36B параметров, дообучил его на ризонинг-трейсах Claude Opus 4.6 и залил в GGUF. По заявлениям автора, модель держит уровень Opus в кодинге, анализе и райтинге. Проверять, конечно, придётся самим, маркетинг в описаниях репо сейчас стандартно оптимистичный.
Что важно для практики. MoE-архитектура с активными 3B из 35B означает, что инференс идёт заметно легче полной 35B плотной модели, а GGUF-кванты позволяют запускать это на обычной видеокарте или даже CPU при желании потерпеть. Поднимается через Ollama или LM Studio в два клика, для тех у кого железо скромное есть вариант с Colab. Всё локально, никаких запросов наружу.
Технически это именно дистилляция ризонинга, не слепое копирование. Студент учится воспроизводить промежуточные рассуждения учителя, а не только финальные ответы, поэтому на задачах с цепочками логики такие модели обычно ведут себя заметно лучше, чем просто файнтюн на ответах. Насколько близко получилось подойти к настоящему Opus, покажут независимые прогоны на бенчах, автор цифр пока не дал.
Юридически момент мутный: дистилляция на аутпутах закрытой модели формально противоречит ToS Anthropic, так что срок жизни таких весов на HF непредсказуемый. Качайте сейчас, если интересно поиграться.
Ссылка: https://huggingface.co/hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF
Энтузиасты дистиллировали Opus 4.6 в Qwen 3.6 и выложили на Hugging Face.
Вышла Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled: кто-то взял Qwen 3.6 на 36B параметров, дообучил его на ризонинг-трейсах Claude Opus 4.6 и залил в GGUF. По заявлениям автора, модель держит уровень Opus в кодинге, анализе и райтинге. Проверять, конечно, придётся самим, маркетинг в описаниях репо сейчас стандартно оптимистичный.
Что важно для практики. MoE-архитектура с активными 3B из 35B означает, что инференс идёт заметно легче полной 35B плотной модели, а GGUF-кванты позволяют запускать это на обычной видеокарте или даже CPU при желании потерпеть. Поднимается через Ollama или LM Studio в два клика, для тех у кого железо скромное есть вариант с Colab. Всё локально, никаких запросов наружу.
Технически это именно дистилляция ризонинга, не слепое копирование. Студент учится воспроизводить промежуточные рассуждения учителя, а не только финальные ответы, поэтому на задачах с цепочками логики такие модели обычно ведут себя заметно лучше, чем просто файнтюн на ответах. Насколько близко получилось подойти к настоящему Opus, покажут независимые прогоны на бенчах, автор цифр пока не дал.
Юридически момент мутный: дистилляция на аутпутах закрытой модели формально противоречит ToS Anthropic, так что срок жизни таких весов на HF непредсказуемый. Качайте сейчас, если интересно поиграться.
Ссылка: https://huggingface.co/hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF
👍25❤8🔥5🤣3