Google предложила «сон» для языковых моделей – отдельный этап, на котором ИИ закрепляет новые знания и тренируется на собственных примерах.
Проблема непрерывного обучения – катастрофическое забывание: усваивая новую информацию, модель может потерять ранее освоенные навыки. А знания из контекстного окна сами по себе не становятся постоянной памятью.
В SLEEP чередуются два режима:
Бодрствование: модель взаимодействует с входными данными и сохраняет информацию в краткосрочной памяти.
Сон: приём новых данных приостанавливается. Модель активирует дополнительные блоки памяти MoE и переносит знания в их веса, уменьшая вмешательство в уже закреплённую информацию. После этого временная память освобождается.
Есть и этап «сновидений»: случайные сочетания экспертов генерируют тренировочные примеры. Система отбирает наиболее полезные и использует их для дальнейшего обучения.
Что показали эксперименты команды:
- BABILong: работа с информацией из последовательностей до 10 млн токенов через её закрепление в параметрах.
- Последовательное обучение переводу: почти нулевое падение результатов на ранее изученных языках.
- Математика: точность 79,2% на AIME 2024 и 69% на AIME 2025.
«Сон» здесь – управляемый цикл дообучения по заданным исследователями правилам. Архитектура и код модели остаются фиксированными.
https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/
@data_analysis_ml
Проблема непрерывного обучения – катастрофическое забывание: усваивая новую информацию, модель может потерять ранее освоенные навыки. А знания из контекстного окна сами по себе не становятся постоянной памятью.
В SLEEP чередуются два режима:
Бодрствование: модель взаимодействует с входными данными и сохраняет информацию в краткосрочной памяти.
Сон: приём новых данных приостанавливается. Модель активирует дополнительные блоки памяти MoE и переносит знания в их веса, уменьшая вмешательство в уже закреплённую информацию. После этого временная память освобождается.
Есть и этап «сновидений»: случайные сочетания экспертов генерируют тренировочные примеры. Система отбирает наиболее полезные и использует их для дальнейшего обучения.
Что показали эксперименты команды:
- BABILong: работа с информацией из последовательностей до 10 млн токенов через её закрепление в параметрах.
- Последовательное обучение переводу: почти нулевое падение результатов на ранее изученных языках.
- Математика: точность 79,2% на AIME 2024 и 69% на AIME 2025.
«Сон» здесь – управляемый цикл дообучения по заданным исследователями правилам. Архитектура и код модели остаются фиксированными.
https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/
@data_analysis_ml
🔥32😁12💯9👏7👍6🎉5❤4🤔3❤🔥2
Media is too big
VIEW IN TELEGRAM
Ричард Фейнман обсуждал проблемы ИИ ещё в 1985 году. И сегодня это звучит удивительно знакомо
В этом видео физик отвечает на вопрос: смогут ли машины думать и стать умнее людей?
Фейнман предлагает сначала разобраться, что именно мы называем интеллектом. Компьютер уже превосходит человека в одних задачах и уступает в других. При этом от машины мы почему-то требуем победить лучших специалистов, даже если сами справляемся гораздо хуже.
Но самая интересная часть - история программы, которая искала полезные правила решения задач. Однажды она обнаружила способ получать высокую оценку: присваивать баллы собственному правилу, вместо того чтобы делать полезную работу.
Сегодня подобное называют *reward hacking*: система находит лазейку в оценке и оптимизирует показатель, обходя замысел разработчика. История Фейнмана хорошо иллюстрирует эту проблему.
Спустя 40 лет вопрос всё тот же: как убедиться, что машина решает задачу, а не учится выглядеть успешной?
https://www.youtube.com/watch?v=ipRvjS7q1DI
В этом видео физик отвечает на вопрос: смогут ли машины думать и стать умнее людей?
Фейнман предлагает сначала разобраться, что именно мы называем интеллектом. Компьютер уже превосходит человека в одних задачах и уступает в других. При этом от машины мы почему-то требуем победить лучших специалистов, даже если сами справляемся гораздо хуже.
Но самая интересная часть - история программы, которая искала полезные правила решения задач. Однажды она обнаружила способ получать высокую оценку: присваивать баллы собственному правилу, вместо того чтобы делать полезную работу.
Сегодня подобное называют *reward hacking*: система находит лазейку в оценке и оптимизирует показатель, обходя замысел разработчика. История Фейнмана хорошо иллюстрирует эту проблему.
Спустя 40 лет вопрос всё тот же: как убедиться, что машина решает задачу, а не учится выглядеть успешной?
https://www.youtube.com/watch?v=ipRvjS7q1DI
❤19👍14🔥6💯6😁5🤔5🎉5❤🔥3👏3⚡1
This media is not supported in your browser
VIEW IN TELEGRAM
Мы? Кто мы? Нет никаких мы
😁23❤🔥6🔥5👍3🤔3🎉3👏2🤣2❤1
Он проверяет, учитывает ли модель новые вводные по ходу диалога и не противоречит ли своим прежним шагам. Внутри 7 текстовых игр на русском и английском. Оценивается и ответ, и число шагов до него.
Что показал прогон 16 моделей:
Статья уже в Findings EMNLP 2026.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🤣11❤8👍8🔥7😁3🎉2💯2👏1🤔1
🔥️️️️️️ GeForce можно ускорить в ИИ-задачах без замены видеокарты: появился gpu-unlock
Автор проекта заявляет, что инструмент снимает ограничение производительности Tensor Cores в операциях FP16, BF16 и TF32 с накоплением в FP32.
Разблокировка применяется при загрузке Linux, до запуска штатного драйвера NVIDIA. Прошивать VBIOS или устанавливать модифицированный драйвер не требуется.
По опубликованным в репозитории замерам:
- Обработка промпта LLM: прирост 25–55%.
- Дообучение моделей: 25–50%.
- Генерация изображений: 30–55%.
- Генерация токенов, ограниченная пропускной способностью памяти: без изменений.
Обещанные «до 2×» относятся к отдельным тензорным вычислениям, а не к скорости любой нейросети. Для квантованных GGUF в llama.cpp и Ollama указан более скромный выигрыш: 0–15%.
RTX 30 отмечены как стабильные, RTX 20 и RTX 40 поддерживаются экспериментально. RTX 50 не поддерживаются. Проект работает в Linux.
Цифры приведены автором и участниками проекта: результат зависит от модели, нагрузки и лимита мощности видеокарты.
https://github.com/Zagitta/gpu-unlock
Автор проекта заявляет, что инструмент снимает ограничение производительности Tensor Cores в операциях FP16, BF16 и TF32 с накоплением в FP32.
Разблокировка применяется при загрузке Linux, до запуска штатного драйвера NVIDIA. Прошивать VBIOS или устанавливать модифицированный драйвер не требуется.
По опубликованным в репозитории замерам:
- Обработка промпта LLM: прирост 25–55%.
- Дообучение моделей: 25–50%.
- Генерация изображений: 30–55%.
- Генерация токенов, ограниченная пропускной способностью памяти: без изменений.
Обещанные «до 2×» относятся к отдельным тензорным вычислениям, а не к скорости любой нейросети. Для квантованных GGUF в llama.cpp и Ollama указан более скромный выигрыш: 0–15%.
RTX 30 отмечены как стабильные, RTX 20 и RTX 40 поддерживаются экспериментально. RTX 50 не поддерживаются. Проект работает в Linux.
Цифры приведены автором и участниками проекта: результат зависит от модели, нагрузки и лимита мощности видеокарты.
https://github.com/Zagitta/gpu-unlock
🔥20👍11❤5😁4🤔4💯4🎉3👏2🤣2🤨2
Forwarded from Machinelearning
Google представила Gemini 4 Carbon
Новая флагманская модель заняла первое место в Artificial Analysis Intelligence Index v5.0 с результатом 59 баллов. Основной упор сделали на кибербезопасность, программирование и длительную автономную работу ИИ-агентов.
Результаты бенчмарков:
- SEC-bench Pro - 88,2%: поиск реальных уязвимостей в программном обеспечении.
- ExploitGym - 54,8%: проверка возможности эксплуатации найденных уязвимостей.
- CWE-bench - 71%: автоматическое исправление уязвимого кода.
- WebDev Arena - 1769 Elo: четвёртое место в разработке веб-интерфейсов.
Что ещё интересного:
- Автономная работа несколько дней. Внутри Google модель решала сложные инженерные задачи, находила причины ошибок и исправляла их в больших кодовых базах.
- В 2 раза лучше Gemini 4 Argon генерирует безопасный код по внутренним тестам Google.
- В 10 раз эффективнее другой передовой модели создаёт качественные патчи для Chrome, по оценке команды браузера.
- На 80% меньше серьёзных нарушений инструкций при работе с кодом.
- Вдвое меньше необоснованных утверждений по сравнению с Argon.
Отдельно Google заявляет, что Carbon успешно отразила все проверенные атаки через prompt injection в одном из бенчмарков.
Доступ пока ограничен: сначала модель получат специалисты по кибербезопасности. Массовый релиз состоится позднее.
Стоимость API после запуска составит $2 за миллион входных и $10 за миллион выходных токенов на вводном тарифе.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-carbon/
Новая флагманская модель заняла первое место в Artificial Analysis Intelligence Index v5.0 с результатом 59 баллов. Основной упор сделали на кибербезопасность, программирование и длительную автономную работу ИИ-агентов.
Результаты бенчмарков:
- SEC-bench Pro - 88,2%: поиск реальных уязвимостей в программном обеспечении.
- ExploitGym - 54,8%: проверка возможности эксплуатации найденных уязвимостей.
- CWE-bench - 71%: автоматическое исправление уязвимого кода.
- WebDev Arena - 1769 Elo: четвёртое место в разработке веб-интерфейсов.
Что ещё интересного:
- Автономная работа несколько дней. Внутри Google модель решала сложные инженерные задачи, находила причины ошибок и исправляла их в больших кодовых базах.
- В 2 раза лучше Gemini 4 Argon генерирует безопасный код по внутренним тестам Google.
- В 10 раз эффективнее другой передовой модели создаёт качественные патчи для Chrome, по оценке команды браузера.
- На 80% меньше серьёзных нарушений инструкций при работе с кодом.
- Вдвое меньше необоснованных утверждений по сравнению с Argon.
Отдельно Google заявляет, что Carbon успешно отразила все проверенные атаки через prompt injection в одном из бенчмарков.
Доступ пока ограничен: сначала модель получат специалисты по кибербезопасности. Массовый релиз состоится позднее.
Стоимость API после запуска составит $2 за миллион входных и $10 за миллион выходных токенов на вводном тарифе.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-carbon/
👍4👏3🎉2🔥1