Как работает ArcMemo?

В обычных моделях длинные цепочки рассуждений исчезают после каждого запроса, что приводит к потере полезных паттернов и концепций. Вот что предлагает ArcMemo:

• Сохранение концепций: ArcMemo позволяет сохранять абстрактные модули как концепции, представленные на естественном языке или в виде параметрических мини-функций.

• Типы концепций. Открытые — описание ситуации и подсказка. Программируемые — псевдокод и функции с параметрами.

• Процесс работы: после решения задачи она обобщается в набор таких концепций. Для новой задачи модель выбирает релевантные концепции и комбинирует их для решения.

• Обновление памяти: с каждым тестом модель получает обратную связь, что позволяет расширять и актуализировать память.

Система ArcMemo продемонстрировала +7.5% улучшения по сравнению с базовой моделью на бенчмарке ARC-AGI.

При использовании LLM (Large Language Models) для поиска опенсорсных библиотек, часто встречаются галлюцинации, когда ИИ генерирует библиотеки, которых на самом деле не существует. Злоумышленники уже начали использовать эти ошибки в своих целях, создавая вредоносные библиотеки. Это явление получило название slopsquatting и представляет собой создание фальшивых пакетов с целью кражи данных или внедрения вредоносного кода через цепочку поставок (supply chain).

Внедрение таких фальшивых пакетов в код может привести к серьёзным последствиям. Когда программисты скачивают эти «несуществующие» библиотеки, они автоматически запускают опасный код, который может нарушить работу системы или даже украсть важные данные.

Тесты показали: из всех предложенных библиотек 19,7% оказались фиктивными. Это вызывает серьёзные опасения, поскольку с каждым годом количество таких галлюцинаций растёт. Уровень ошибок у новых моделей ИИ на Python и JavaScript увеличился на 10% по сравнению с предыдущими версиями, что означает рост числа ложных рекомендаций.

Защита от таких атак. Исследователи предлагают несколько методов защиты, таких как RAG (retrieval-augmented generation) и файнтюнинг (настройка моделей для более точных ответов). Эти методы помогли снизить уровень галлюцинаций на 83%, но в то же время повлияли на качество кода, что требует дополнительных доработок.

Что такое Speculative Cascades?

• Каскады моделей: Сначала задачу решает маленькая модель, которая быстро дает ответ. Если задача сложная, к процессу подключается большая модель. Так экономятся ресурсы, но иногда это приводит к потере качества.

• Спекулятивная декодировка: Маленькая модель пытается угадать несколько слов вперед, а большая проверяет и подтверждает их. Это ускоряет процесс, но всё равно требует значительных вычислительных ресурсов.

• Speculative Cascades: Это оптимизированная комбинация обоих методов. Маленькая модель иногда решает задачу сама, а в других случаях работает как ускоритель для большой модели. В итоге — больше скорости и меньше затрат, с сохранением качества.

Преимущества нового подхода

— Тесты на Gemma и T5 показали, что метод быстрее традиционной спекулятивной декодировки, но при этом дешевле и эффективнее каскадов.

— Настройка баланса «скорость - качество» стала более удобной и гибкой. Метод дает возможность регулировать производительность, не снижая точности.

— В задачах математических рассуждений новая методика показала заметный прирост скорости, сохраняя или даже улучшая качество.

— Новые возможности GPT для разработки

GPT-5-Codex стал значительно более управляемым и точным в выполнении задач. Модель теперь не просто генерирует код по запросу, но и активно участвует в процессе отладки, тестирования и поиска критических ошибок в коде. Это особенно важно на стадии разработки, где даже малейшая ошибка может привести к серьёзным последствиям. Помогает находить баги ещё до релиза и минимизирует нагрузку на разработчиков, анализируя всю кодовую базу и зависимости.

Поддерживает длительные задачи, например, масштабные рефакторинги, и может работать с проектами, включающими сотни файлов и тысячи строк кода. Этот инструмент оптимизирует взаимодействие с разработчиком, снижая затраты времени на многократные итерации.

— Как Сodex улучшает рабочие процессы

Теперь GPT интегрируется не только в облако и GitHub, но и в локальные среды, такие как IDE и Codex CLI. Разработчики могут работать как в облаке, так и локально, не теряя контекста и мгновенно переключаясь между различными платформами. Важным обновлением стала возможность работы с изображениями и визуальными элементами — теперь можно анализировать скриншоты и вайрфреймы для упрощения дизайна интерфейсов.

— К тому же, Codex стал ещё более безопасным

Новая версия включает расширенные меры защиты данных, минимизируя риски утечек и злоупотреблений.

• Рисерчеры в области управления и обучения гуманоидов.
• Инженеры, разрабатывающие симуляторы и сенсорные системы.
• Механики, опытные в проектировании систем для массового производства (от 1 млн единиц).

До 2021 года робототехническая команда OpenAI находилась в состоянии паузы. Однако с декабря прошлого года компания начала восстанавливать свой отдел, сосредоточив усилия на создании более сложных и эффективных роботизированных систем. В последние месяцы к компании присоединились специалисты, занимавшиеся разработкой гуманоидных роботов и созданием benchmark’ов для оценки их возможностей.

Основная цель — создание таких моделей AI, которые смогут взаимодействовать с физическим миром. Например, исследователи OpenAI тренируют алгоритмы, которые могут «понимать» физическое окружение и выполнять задачи, что является важным шагом к созданию универсальных роботов.

Основной акцент сделан на универсальных роботах, которые могут работать в изменяющихся и непредсказуемых реальных условиях. Модели AI, которые разрабатываются сейчас, должны быть способны не только видеть, но и действовать с высокой точностью, управляя конечностями и манипуляторами.

Большинство современных моделей, таких как GPT, Gemini или Grok, построены на архитектуре трансформеров. Они работают по принципу токенизации текста, который затем обрабатывается слоем внимания (attention layers). В результате модель прогнозирует следующие токены, создавая связный текст. Однако важно помнить, что все эти модели по сути — одинаковые, и отличаются они лишь параметрами и схемой обучения.

Основное, что нужно учитывать при работе с LLM — это текст. Эти модели обучаются исключительно на текстовых данных и работают с ними. Видео, изображения и другие медиа — всё это в конечном счете преобразуется в текст. Даже если модель генерирует изображения или музыку, она всё равно действует через текстовые команды. Поэтому в ADSM (Agent Driven Software Management) ключевое значение имеет именно обработка текстов.

Чем мощнее модель, тем больше нейронов в её слоях. Эти нейроны соединяются друг с другом, создавая сложные зависимости, которые модель использует для анализа текста. Однако чем больше нейронов и слоев, тем выше вычислительные затраты. С каждым новым слоем растет возможность для создания более точных и связных ответов, но также возрастает и нагрузка на систему.

Все модели имеют так называемое контекстное окно, в которое помещаются токены текущего диалога. Размер этого окна определяет, сколько информации модель может обработать за один раз. Например, GPT-4 может обрабатывать до 1 миллиона токенов, но важно учитывать, что большие окна требуют значительно больше вычислительных ресурсов.

Если вы хотите получить стабильный результат, важно учитывать стратегию работы с контекстом. Например, сужение контекста помогает моделям генерировать более предсказуемые результаты. Это особенно важно для задач с четко определенными шаблонами, например, для генерации кода. Но если контекст слишком размытый, модель может начать «творить» и генерировать менее стабильные ответы.

— Мгновенная генерация базы данных: Просто напишите текстовое описание, и нейросеть преобразует его в полноценную структуру базы с таблицами, связями и диаграммами
— Фейковые данные за секунды: Нужны тестовые данные? Создайте их прямо в сервисе
— Экспорт в SQL или загрузка на сервер: Не нужно копировать и вставлять — сразу получите готовую базу в нужном формате или загрузите её на сервер
— Бесплатно: Сервис доступен без платы — можно без риска протестировать

Задачи делятся на три типа: работа с «горячими» данными (например, вчерашнее закрытие акций), точечный исторический поиск (например, активы Starbucks на определённую дату) и более сложные многошаговые расследования (например, анализ роста S&P 500 за несколько лет).

Кто в лидерах?

• Grok 4 показывает наилучшие результаты на глобальном наборе вопросов, набирая 68.9% по всем категориям
• GPT-5-Thinking также близок по точности, с результатом 63.9%
• Для китайского рынка лидер DouBao, но его результат в среднем — всего 54.2%, что значительно отстаёт от человеческой точности в 88.3%

Особенно сложными оказались многошаговые задачи (T3), где лучшие модели пока только дотягиваются до минимального уровня, который показывают профессиональные аналитики.

Хотя ИИ уже могут эффективно выполнять рутинную работу, такую как сбор данных и выполнение простых запросов, для сложных, многошаговых расследований, требующих логики и анализа множества источников, люди всё ещё на шаг впереди. Профессиональные финансовые аналитики пока не заменимы, особенно в задачах, требующих глубокого понимания контекста и способности работать с неоднозначными данными.

— Изучение предметов: запросы для математики, литературы, науки и других областей
— Навыки обучения: техники конспектирования, запоминания и подготовки к экзаменам
— Карьерное развитие: советы по составлению резюме, подготовке к собеседованиям и профессиональным навыкам
— Хобби и интересы: запросы для творчества и личного роста

Как это работает? Вместо того чтобы искать готовую истину в базах данных, модель многократно решает одну и ту же задачу, формируя несколько вариантов ответа. Специальный механизм затем выбирает наиболее обоснованный ответ, превращая его в новую цель для обучения. Это позволяет моделям развивать свои способности к рассуждению и принимать решения в условиях неопределённости.

Основные особенности CaT:

— Верифицируемые задачи (например, математика): в этом случае модель использует автоматическую проверку правильности ответа.

— Неверифицируемые задачи (например, свободный диалог): модель генерирует критерии оценки, и независимая LLM-система оценивает, насколько удовлетворяет синтезированный ответ.

— Синтез ответов: в отличие от других методов, которые выбирают лучший ответ из нескольких, CaT создает новый, улучшенный ответ, что позволяет модели быть правильной даже в случае, если все исходные варианты были ошибочными.

— Эффективность: на математических тестах (MATH-500) точность увеличилась на 27%, а в медицинских тестах (HealthBench) на 12%. В продвинутой версии CaT-RL результаты выросли ещё больше — на 30-33%.

Преимущества CaT:

• Уменьшение зависимости от крупных размеченных датасетов, что снижает затраты на их подготовку.
• Возможность применения как в реальном времени, так и для улучшения качества моделей через цикл обучения с подкреплением.
• Инновационный подход для задач с недостаточной разметкой и верификацией.

👍 — Да, это шаг к более эффективным и независимым моделям
🤔 — Нет, модель всё равно нуждается в внешнем контроле

На огромной территории в 127 гектаров разместится около 111 000 м², ранее принадлежащих Foxconn. Это позволит создать уникальную платформу для обработки ИИ-данных. Для охлаждения будут использоваться высокоэффективные системы с замкнутым жидкостным контуром, поддерживаемые гигантскими вентиляторами и водоохлаждающими чиллерами. Данные в Fairwater будут передаваться через InfiniBand и Ethernet с пропускной способностью 800 Гбит/с.

Интегрированная система, которая объединяет несколько тысяч GPU NVIDIA GB200, соединённых в мощный кластер, способный выполнять задачи синхронно. В этом датацентре будут работать не только на тренировки ИИ, но и на реальные вычислительные задачи, такие как инференс и рилтайм-обработку данных.

Microsoft планирует полностью запустить инфраструктуру к началу 2026 года. Это будет не просто датацентр — это глобальная сеть, объединяющая более 400 центров по всему миру, и Fairwater станет ключевым узлом в этой сети.

— realtime API: с его помощью голосовые агенты отвечают в реальном времени;
— AI Search: поиск информации по интернету, а также картинкам, таблицам, документам;
— MCP Hub: агентов можно быстро подключить к внешним сервисам по уже готовым шаблонам, среди них уже есть Контур.Фокус и amoCRM;
— Workflows: можно составить сценарий взаимодействия нескольких агентов друг с другом или с внешними системами;
— Готовые решения: SpeechSense для анализа звонков и чатов, Нейроюрист для правовых заключений и т.д.

Их идея заключается в том, что планирование в действительности — это не просто генерация текста, а переход из одного состояния в другое. Например, логика рассуждения может быть такой: если мы находимся в состоянии А, то логически можем перейти в состояние Б, но не в В или Г. Для достижения цели нужно учитывать, какие переходы правильные, а какие нет. Это требует гораздо большей точности и осознания контекста, чем просто заполнение пробелов в тексте.

— Символьные цепочки вместо простых токенов

MIT предлагают, вместо того чтобы учить модели генерировать произвольные фразы, обучать их строить символьные цепочки. Это своеобразный способ научить модель планировать, понимая, что является логически верным переходом, а что — нет. Эти символьные цепочки могут быть проверены верификатором, что позволяет моделям улучшать свои выводы по мере получения фидбэка. По сути, это напоминает обучение с подкреплением (RL), где модель получает обратную связь за свои шаги и улучшает свои рассуждения.

— Как это работает на практике

В исследованиях MIT показано, что такой подход значительно улучшает производительность моделей. В их тестах новое планирование добавило +30–60% к точности в решении задач, где традиционные методы рисования цепочек рассуждений через токены не справлялись. Причем, важный момент: для этого не нужна разметка данных — модели могут учиться без явной маркировки, лишь на основе проверок правильности цепочек.

Метод, названный Parallel-R1, использует обучение с подкреплением, чтобы обучить модели параллельному мышлению. Это значит, что система может генерировать несколько независимых логических путей, а затем собрать их воедино для более точных выводов. Такой подход устраняет потребность в большом количестве размеченных данных, что делает его более доступным для практического применения.

Параллельное мышление активно применяется в таких передовых моделях, как Gemini Deep Think от Google, и показало себя как эффективная техника для сложных задач рассуждения. Однако многие существующие методы сталкиваются с проблемой масштабирования или требуют заранее заданных правил, что ограничивает гибкость и применимость. Parallel-R1 решает эти проблемы, позволив моделям развивать множество линий рассуждений и эффективно комбинировать их.

Метод Parallel-R1 прошел через несколько этапов обучения. Сначала модель обучалась на простых задачах, где она генерировала примеры параллельного мышления, затем метод с использованием RL был применен к более сложным задачам. Результаты показали, что модель, обученная с помощью Parallel-R1, демонстрирует более высокую стабильность и точность, чем другие подходы.