📌Монография "Reinforcement Learning: An Overview"

Исчерпывающий материал по обучению с подкреплением (Reinforcement Learning, RL), в котором подробно описываются различные модели среды, задачи оптимизации, исследуется определение компромисса между теорией и практической эксплуатаций RL.

Отдельно рассматриваются смежные темы: распределенное RL, иерархическое RL, обучение вне политики и VLM.

В работе представлен обзор алгоритмов RL:

🟢SARSA;
🟢Q-learning;
🟢REINFORCE;
🟢A2C;
🟢TRPO/PPO;
🟢DDPG;
🟢Soft actor-critic;
🟢MBRL.

Автор - Kevin Murphy, главный научный сотрудник и руководитель команды из 28 ресечеров и инженеров в Google Deepmind. Группа работает над генеративными моделями (диффузия и LLM), RL, робототехникой, байесовским выводом и другими темами.

Кевин опубликовал более 140 статей на рецензируемых конференциях и в журналах, а также 3 учебника по ML, опубликованных в 2012, 2022 и 2023 годах издательством MIT Press. (Книга 2012 года была удостоена премии ДеГроота как лучшая книга в области статистической науки).

🔜 Монография опубликована в открытом доступе 9 декабря 2024 года.


@ai_machinelearning_big_data

#AI #ML #Book #RL

✔️ IBM совершила прорыв в квантовых вычислениях: на обычных FPGA-чипах

Всего через два дня после новости от Google - ещё один крупный квантовый прорыв.

IBM заявила, что один из её ключевых алгоритмов квантовой коррекции ошибок теперь способен работать в реальном времени на FPGA-чипах AMD, без использования экзотического оборудования.

Это делает квантовые вычисления быстрее, дешевле и ближе к практическому применению, чем ожидалось.

Алгоритм, который отслеживает и исправляет ошибки кубитов «на лету»,показал производительность в 10 раз выше необходимой, что стало важным шагом к созданию квантового компьютера Starling, запланированного на 2029 год.
Теперь IBM утверждает, что проект идёт на год впереди графика.

Исследовательская статья выйдет в понедельник.
Темп развития квантовых технологий заметно ускоряется.
reuters

✔️ Microsoft представила AI-браузер Edge - ответ на OpenAI Atlas

Через два дня после запуска OpenAI Atlas Microsoft представили обновлённый браузер Edge с новым режимом Copilot Mode. Это полноценный AI-бразуер, который понимает контекст вкладок, выполняет действия и способен продолжать проекты, используя историю пользователя.

Функция Actions позволяет голосом или через чат открывать страницы, находить нужную информацию, отписываться от рассылок и даже бронировать рестораны. Система Journeys группирует прошлую активность по темам и помогает вернуться к незавершённым задачам, предлагая логичные следующие шаги. Включение Page Context даёт Copilot доступ к истории для более точных и персонализированных ответов, однако это остаётся опциональной функцией, которую можно отключить в любой момент.

Edge также получил встроенный AI-защитник от фейковых всплывающих окон, менеджер паролей с проверкой на утечки.

Браузер уже доступен в странах, где работает Copilot, на Windows и macOS.
Microsoft

✔️ Google добавили reasoning в Google Earth

Google представила фреймворк Geospatial Reasoning на базе Gemini, который объединяет предиктивные модели и данные в единую систему анализа Земли.
Теперь ИИ способен рассуждать о реальных процессах, например, предсказывать землетрясения, оценивать риски и предлагать план эвакуации.

Система уже применяется в ВОЗ (WHO AFRO) для прогнозов вспышек холеры и у McGill & Partners для расчёта ущерба после ураганов.

Google превращает Google Earth из карты в разумный аналитический инструмент планеты.
google


✔️ Исследователи создали систему DiscoRL (Discovered Reinforcement Learning), где модель сама открыла правило обучения с подкреплением, не опираясь на человеческие алгоритмы вроде Q-Learning или PPO.

Мета-обучатель наблюдал за множеством агентов в разных средах и вывел универсальное правило обновления, которое улучшает поведение моделей без ручной настройки.
В итоге DiscoRL победил лучшие алгоритмы на Atari 57 и успешно перенёс этот навык на новые задачи.
nature

✔️ Hugging Face выпустила OpenEnv: универсальную среду для создания AI-агентов

Hugging Face открыла OpenEnv -платформуа где можно собирать, обучать и масштабировать агентов под ваши задачи.
Внутри уже есть всё: инструменты, плагины, API и поддержка обучения с подкреплением - без сторонних библиотек.

OpenEnv позволяет создавать системы, где агенты взаимодействуют, распределяют задачи и выполняют их самостоятельно.
Платформа полностью открыта и готова к использованию без ограничений.
HF

✔️ Qwen3-Max вышла в лидеры среди AI-трейдеров

На криптобенчмарке AlphaArena модели ИИ торгуют по $10 000 на площадке Hyperliquid, чтобы проверить качество торговых стратегий.
После старта, где лидировала DeepSeek V3.1, а GPT-5 показывала убыток около −39 %, Qwen3-Max обошла всех и заняла первое место.

Все участники - Qwen3-Max, DeepSeek V3.1, Claude 4.5 Sonnet, Gemini 2.5 Pro, Grok 4 и GPT-5 — торгуют в одинаковых условиях без приватных данных, что делает тест прозрачным.
На Polymarket оценивают шансы Qwen3-Max удержать лидерство в 45 %.

Организаторы планируют расширить эксперимент на акции и другие активы и запустить инвестплатформу для AI-агентов.

@ai_machinelearning_big_data

#news #ai #ml

✔️ Релиз GLM-4.6V с нативной поддержкой вызова функций.

В линейку вошли флагманская GLM-4.6V на 106 млрд. параметров и облегченная GLM-4.6V-Flash (9B). Обе получили контекстное окно в 128k токенов и генерацию смешанного контента, где текст комбинируется с изображениями. Модель может передавать изображения и скриншоты во внешние инструменты без предварительной конвертации в текст, а также встраивать визуальные результаты обратно в цепочку рассуждений.

Обе модели уже на HuggingFace, доступны по API и в веб-версии.
z.ai

✔️ Стартап из шести человек обошел Google Gemini 3 в тесте на логику ARC-AGI.

Команда Poetiq заняла 1 место в полузакрытом бенчмарке ARC-AGI-2, набрав 54% правильных решений. Это позволило стартапу уверенно опередить гиганта индустрии: ранее Google отчитывалась о результате в 45% для Gemini 3 Deep Think.

ARC-AGI, разработанный исследователем Франсуа Шолле, считается одним из самых трудных испытаний для ИИ. Тест проверяет не просто знания, а способность к абстрактному мышлению и решению принципиально новых задач.

Успех Poetiq обеспечен не обучением новой модели, а эффективной оркестрацией уже существующих.
poetiq.ai

✔️ Соавтор архитектуры Transformer выпустил модель для кодинга Rnj-1.

Стартап Essential AI, основанный Ашишем Васвани, представил модель с открытыми весами Rnj-1. При размере всего в 8 млрд. параметров, она демонстрирует топовые результаты в SWE-bench Verified. Rnj-1 набрала 20,8 балла, тогда как аналогичная по размеру Qwen 3 (8B) достигла лишь отметки в 4,5.

В основе новинки лежит архитектура Gemma 3. Разработчики намеренно отказались от упора на пост-трейн и RL. Вместо этого, команда сфокусировалась на качественном предобучении с использованием оптимизатора Muon. Веса базовой и instrust-версии доступны на HF.
essential.ai

✔️ NVIDIA представила крупнейшее обновление CUDA с 2006 года.

Вместе с релизом CUDA 13.1 компания запускает виртуальный набор инструкций для "тайлового" параллельного программирования. Новая парадигма абстрагирует низкоуровневые детали железа, позволяя писать алгоритмы более высокого уровня. CUDA Tile дает возможность оперировать блоками данных, автоматически оптимизируя выполнение под конкретные тензорные ядра и архитектуру памяти.

Фундаментом технологии стал CUDA Tile IR - промежуточное представление, аналогичное PTX, но заточенное под матричные операции. Это обеспечивает кросс-платформенность: написанный код будет эффективно работать на разных поколениях GPU без глубокого рефакторинга.
developer.nvidia.com

✔️ Grok 4.20 обыграл топовые модели в биржевой торговле.

Завершилось соревнование Alpha Arena Season 1.5, где участникам давали по $10 тыс. для автоматической торговли акциями США в течение двух недель. Grok 4.20 не только вышел в плюс, заработав $4 844 (общая доходность 12%), но и существенно опередил конкурентов.

GPT 5.1, Gemini 3.0 Pro и Claude Sonnet 4.5 завершили тот же период с отрицательными результатами. В режиме "осведомленности" Grok показал доходность около 50%. Эксперты полагают, что решающим фактором стал прямой доступ модели к данным платформы X. Анализ постов в реальном времени позволил алгоритму точнее оценивать рыночные настроения и тренды.
nof1.ai

@ai_machinelearning_big_data

#news #ai #ml