🎮 Пока ИИ думал, Марио уже погиб
Исследователи Пекинского университета и Samsung создали RealtimeBench: 180 задач в шести играх, включая Mario, Snake и Tetris. Главное условие: игра продолжает идти, пока модель принимает решение.
С паузами GPT-6.1-sol обошла быструю Jev в пяти играх из шести. В реальном времени средние оценки оказались такими:
• GPT-6.1-sol: 1,51 из 100
• Jev: 13,51 из 100
Хорошее решение теряет смысл, если команда прыжка приходит после столкновения.
Авторы предложили TORSI: медленная модель между попытками разбирает ошибки быстрой, проверяет варианты действий и пишет для неё инструкции. Во время игры быстрая модель действует самостоятельно.
После двух раундов средний результат Jev вырос с 13,51 до 24,19, примерно на 79%. Улучшения получили во всех шести играх, без изменения весов модели.
Практическая идея для агентов: быстрые решения во время работы, глубокий разбор и улучшение инструкций между попытками.
https://arxiv.org/abs/2610.20665
Исследователи Пекинского университета и Samsung создали RealtimeBench: 180 задач в шести играх, включая Mario, Snake и Tetris. Главное условие: игра продолжает идти, пока модель принимает решение.
С паузами GPT-6.1-sol обошла быструю Jev в пяти играх из шести. В реальном времени средние оценки оказались такими:
• GPT-6.1-sol: 1,51 из 100
• Jev: 13,51 из 100
Хорошее решение теряет смысл, если команда прыжка приходит после столкновения.
Авторы предложили TORSI: медленная модель между попытками разбирает ошибки быстрой, проверяет варианты действий и пишет для неё инструкции. Во время игры быстрая модель действует самостоятельно.
После двух раундов средний результат Jev вырос с 13,51 до 24,19, примерно на 79%. Улучшения получили во всех шести играх, без изменения весов модели.
Практическая идея для агентов: быстрые решения во время работы, глубокий разбор и улучшение инструкций между попытками.
https://arxiv.org/abs/2610.20665
❤7👍1🔥1
🔧 ИИ-агент может вызвать инструмент, которого у него вообще нет
В новом исследовании разобрали галлюцинации инструментов: модели придумывают названия функций и передают аргументы, которых нет в схеме.
На десяти моделях зафиксировали 322 случая таких ошибок. Вызовы вымышленных инструментов чаще встречались при свободной генерации JSON, чем при структурированных вызовах: 34 против 3. Больший размер модели сам по себе проблему не устранял.
Отдельно проверили MCP. При объединении нескольких серверов возникают конфликты имён и подмена одного инструмента другим. Там обнаружили ещё 154 галлюцинации, в том числе у моделей, которые не ошибались в тестах с одним реестром.
Предложенная защита проста: перед проверкой разрешений убедиться, что инструмент существует, а аргументы соответствуют его схеме. Этот подход автор называют *closed-world resolution*: исполнять можно только явно зарегистрированные вызовы.
Для сравнения подобных защит представлен Hallucinated-Tools Benchmark.
https://arxiv.org/abs/2609.19425
В новом исследовании разобрали галлюцинации инструментов: модели придумывают названия функций и передают аргументы, которых нет в схеме.
На десяти моделях зафиксировали 322 случая таких ошибок. Вызовы вымышленных инструментов чаще встречались при свободной генерации JSON, чем при структурированных вызовах: 34 против 3. Больший размер модели сам по себе проблему не устранял.
Отдельно проверили MCP. При объединении нескольких серверов возникают конфликты имён и подмена одного инструмента другим. Там обнаружили ещё 154 галлюцинации, в том числе у моделей, которые не ошибались в тестах с одним реестром.
Предложенная защита проста: перед проверкой разрешений убедиться, что инструмент существует, а аргументы соответствуют его схеме. Этот подход автор называют *closed-world resolution*: исполнять можно только явно зарегистрированные вызовы.
Для сравнения подобных защит представлен Hallucinated-Tools Benchmark.
https://arxiv.org/abs/2609.19425
❤7
📖 ИИ-агент учится новому - и ломает то, что уже умел.
В новой работе Google DeepMind исследователи проверили агентов, которые улучшают себя без переобучения модели: редактируют системный промпт, память и файлы навыков.
Сравнили ReasoningBank, GEPA и Meta-Harness на последовательностях задач, где менялись темы, процессы и области применения.
GEPA сильнее всего улучшал результаты на текущих задачах — в среднем на 6,2 процентного пункта за блок. Но и падение на остальных было самым большим: 4,3 пункта.
Показательный случай: агент научился запрашивать недостающие детали у пользователя. Позже новые правки перезаписали это правило — и прежний прирост 15,5 пункта сократился до 2,5.
Правка общего промпта ради одной задачи влияет на все последующие. Полезные инструкции конфликтуют, сжимаются или исчезают.
https://arxiv.org/abs/2610.25858
В новой работе Google DeepMind исследователи проверили агентов, которые улучшают себя без переобучения модели: редактируют системный промпт, память и файлы навыков.
Сравнили ReasoningBank, GEPA и Meta-Harness на последовательностях задач, где менялись темы, процессы и области применения.
GEPA сильнее всего улучшал результаты на текущих задачах — в среднем на 6,2 процентного пункта за блок. Но и падение на остальных было самым большим: 4,3 пункта.
Показательный случай: агент научился запрашивать недостающие детали у пользователя. Позже новые правки перезаписали это правило — и прежний прирост 15,5 пункта сократился до 2,5.
Правка общего промпта ради одной задачи влияет на все последующие. Полезные инструкции конфликтуют, сжимаются или исчезают.
https://arxiv.org/abs/2610.25858
❤6👍4🔥1
ИИ может писать рабочий код и одновременно делать проект всё сложнее для разработки.
В эссе The Decoherence Trap автор описывает «декогеренцию»: ситуацию, когда в системе накапливаются решения, каждое из которых разумно само по себе, но плохо согласуется с остальными.
Представьте: один модуль возвращает ошибки исключениями, другой - кодами, третий, объектами результата. Каждая задача решена. Но при объединении приходится постоянно переводить между разными подходами.
Цена изменений начинает определяться количеством несовместимых решений, которые нужно учитывать, и побочных эффектов, которых нужно избежать.
По мысли автора, ИИ ускоряет накопление этой проблемы: быстро создавать локально убедительные решения становится проще, а поддерживать целостность системы по-прежнему трудно.
Отсюда полезный вопрос для ревью: «Этот код работает?» — только начало. «Он согласуется с остальным проектом?» — следующий обязательный шаг.
Чем быстрее команда генерирует код, тем ценнее общие соглашения, понятные границы модулей и удаление дублирующих абстракций.
https://maevyn.codes/decoherence
В эссе The Decoherence Trap автор описывает «декогеренцию»: ситуацию, когда в системе накапливаются решения, каждое из которых разумно само по себе, но плохо согласуется с остальными.
Представьте: один модуль возвращает ошибки исключениями, другой - кодами, третий, объектами результата. Каждая задача решена. Но при объединении приходится постоянно переводить между разными подходами.
Цена изменений начинает определяться количеством несовместимых решений, которые нужно учитывать, и побочных эффектов, которых нужно избежать.
По мысли автора, ИИ ускоряет накопление этой проблемы: быстро создавать локально убедительные решения становится проще, а поддерживать целостность системы по-прежнему трудно.
Отсюда полезный вопрос для ревью: «Этот код работает?» — только начало. «Он согласуется с остальным проектом?» — следующий обязательный шаг.
Чем быстрее команда генерирует код, тем ценнее общие соглашения, понятные границы модулей и удаление дублирующих абстракций.
https://maevyn.codes/decoherence
❤9👍3🔥2
Бесплатная книга «Multimodal Deep Learning» - 272 страницы о том, как нейросети объединяют разные типы данных.
Как связать изображение с текстовым описанием? Научить модель использовать одну модальность для понимания другой? Объединить несколько источников информации в одной архитектуре?
Книга последовательно разбирает:
- Основы работы с текстом и изображениями по отдельности.
- Преобразование одной модальности в другую.
- Совместное обучение представлений: когда данные одного типа помогают лучше понимать другой.
- Архитектуры для одновременной обработки нескольких модальностей.
- Универсальные мультимодальные модели и генеративное искусство.
Материал вырос из исследовательского семинара и подойдёт тем, кто уже знаком с основами глубокого обучения и хочет разобраться в мультимодальных подходах.
На английском. Опубликована в 2023 году – полезна для изучения основ, но не охватывает последние поколения моделей.
PDF: https://arxiv.org/pdf/2301.04856
Как связать изображение с текстовым описанием? Научить модель использовать одну модальность для понимания другой? Объединить несколько источников информации в одной архитектуре?
Книга последовательно разбирает:
- Основы работы с текстом и изображениями по отдельности.
- Преобразование одной модальности в другую.
- Совместное обучение представлений: когда данные одного типа помогают лучше понимать другой.
- Архитектуры для одновременной обработки нескольких модальностей.
- Универсальные мультимодальные модели и генеративное искусство.
Материал вырос из исследовательского семинара и подойдёт тем, кто уже знаком с основами глубокого обучения и хочет разобраться в мультимодальных подходах.
На английском. Опубликована в 2023 году – полезна для изучения основ, но не охватывает последние поколения моделей.
PDF: https://arxiv.org/pdf/2301.04856
❤5🔥2👍1👏1
Как профессионально пользоваться Claude: большой гайд
Как пользоваться Claude профессионально: выбор модели, промпты, effort, Projects, CLAUDE.md, skills, MCP, субагенты, hooks, облачные сессии, ревью кода и API.
Этот гайд для тех, кто работает с Claude каждый день: пишет код, разбирает документы, автоматизирует рутину. Ниже собраны приёмы, которые помогают пользоваться Claude профессионально и экономят часы и токены: от выбора модели до настройки Claude Code и работы через API. Часть советов опирается на рекомендации команды Claude Code.
https://uproger.com/kak-polzovatsya-claude-guide/
Как пользоваться Claude профессионально: выбор модели, промпты, effort, Projects, CLAUDE.md, skills, MCP, субагенты, hooks, облачные сессии, ревью кода и API.
Этот гайд для тех, кто работает с Claude каждый день: пишет код, разбирает документы, автоматизирует рутину. Ниже собраны приёмы, которые помогают пользоваться Claude профессионально и экономят часы и токены: от выбора модели до настройки Claude Code и работы через API. Часть советов опирается на рекомендации команды Claude Code.
https://uproger.com/kak-polzovatsya-claude-guide/
❤4👍3💩1
«Всё неправильно, переделай» - этой фразы хватает, чтобы ИИ усомнился в правильном решении.
Исследователь Google проверил, как агенты Gemini реагируют на ошибочную критику пользователя. Простая инструкция «стой на своём» оказалась плохим решением: модели начинали игнорировать и реальные ошибки.
Метод Thinking-in-Bets предлагает другой порядок работы. До получения обратной связи агент записывает:
- какие утверждения считает верными;
- какими проверками они подтверждены;
- насколько уверен в каждом из них.
После критики агент сверяется с записью, проверяет конкретные возражения и просит пример ошибки, если претензия расплывчатая.
В проверке патчей на пяти моделях Gemini доля ошибочных отказов от верной оценки выполненных требований снизилась с 12,2% до 0,02%. Это метрика пересмотра оценки, а не процент сломанного кода.
В отдельном эксперименте с отчётами итоговую проверку прошли 89% работ, когда запись делали заранее. Если составляли её уже после критики - только 65%.
Результат препринта: фиксировать проверенные факты нужно до возражения, пока оно не повлияло на оценку. Дополнительное обучение модели для этого не требуется.
https://arxiv.org/abs/2610.34654
Исследователь Google проверил, как агенты Gemini реагируют на ошибочную критику пользователя. Простая инструкция «стой на своём» оказалась плохим решением: модели начинали игнорировать и реальные ошибки.
Метод Thinking-in-Bets предлагает другой порядок работы. До получения обратной связи агент записывает:
- какие утверждения считает верными;
- какими проверками они подтверждены;
- насколько уверен в каждом из них.
После критики агент сверяется с записью, проверяет конкретные возражения и просит пример ошибки, если претензия расплывчатая.
В проверке патчей на пяти моделях Gemini доля ошибочных отказов от верной оценки выполненных требований снизилась с 12,2% до 0,02%. Это метрика пересмотра оценки, а не процент сломанного кода.
В отдельном эксперименте с отчётами итоговую проверку прошли 89% работ, когда запись делали заранее. Если составляли её уже после критики - только 65%.
Результат препринта: фиксировать проверенные факты нужно до возражения, пока оно не повлияло на оценку. Дополнительное обучение модели для этого не требуется.
https://arxiv.org/abs/2610.34654
❤5👍2🔥1
В техническом отчёте Mistral Large 4 исследователи рассказали о проблеме, которую легко пропустить при оптимизации LLM.
Изначально команда сократила потребление памяти KV-cache в 16 раз, используя Sliding Window Attention, Cross-Layer Attention и YOCO.
По стандартным метрикам языкового моделирования всё выглядело нормально. Но на задачах SWE-bench Verified качество заметно просело.
Причина оказалась в ограниченном доступе к старым токенам. Агенту, который работает с репозиторием десятки шагов, приходится возвращаться к ранее прочитанному коду, результатам тестов и сообщениям инструментов. Агрессивная оптимизация attention мешала этому.
Разработчики пересмотрели архитектуру уже обученной модели: вернули возможность обращаться ко всему контексту в большем числе слоёв, а затем внедрили DeepSeek Sparse Attention.
Теперь специальный индексатор выбирает 2048 наиболее релевантных позиций контекста для каждого запроса, сокращая стоимость attention без жёсткого ограничения на последние токены.
Итоговая Mistral Large 4:
- 1 трлн параметров, 52 млрд активных.
- 41% на Terminal-Bench 4.0.
- 19,7% на FrontierCode 2.0.
- NVFP4-чекпоинт размером 606 ГБ, который помещается на четырёх NVIDIA GB300.
Самое интересное здесь даже не результаты модели.
Одинаковый language modeling loss ещё не означает одинаковое качество AI-агента. Модель может хорошо предсказывать следующий токен, но хуже выполнять длинные последовательности действий, где приходится постоянно обращаться к старому контексту.
Для разработки агентных LLM это существенный нюанс: оптимизации KV-cache нужно проверять на реальных многошаговых задачах, а не только по perplexity и стандартным бенчмаркам.
https://www.alphaxiv.org/abs/2611.mistral-large-4
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🔥3👍2
Google показала, как отравить RAG всего пятью документами
В новом исследовании Google разобрала уязвимость поискового этапа RAG-систем. Оказалось, что для продвижения вредоносного документа достаточно просто повторить в нём текст пользовательского запроса.
Исследователи проверили 623 запроса на классических поисковых алгоритмах и семантических ретриверах, включая BGE-small.
Результаты:
Всего 5 поддельных документов, около 0,1% корпуса, снизили качество ранжирования классических ретриверов на 40,2–61,5%.
Добавление скрытых инструкций для атаки почти не влияло на вероятность попадания документа в результаты поиска. Основную роль играло совпадение с запросом.
Попытка защититься фильтрацией документов, повторяющих запрос, тоже оказалась проблемной. На NFCorpus качество ранжирования чистых данных упало с 0,267 до 0,134, почти вдвое.
Получается, атакующему необязательно придумывать сложную prompt injection. Сначала достаточно добиться того, чтобы RAG вообще выбрал поддельный документ.
Если индекс пополняется внешними данными, нужно проверять документы на искусственное повторение запросов, контролировать источники и измерять, насколько защитные фильтры ухудшают обычный поиск.
https://arxiv.org/abs/2611.04264
В новом исследовании Google разобрала уязвимость поискового этапа RAG-систем. Оказалось, что для продвижения вредоносного документа достаточно просто повторить в нём текст пользовательского запроса.
Исследователи проверили 623 запроса на классических поисковых алгоритмах и семантических ретриверах, включая BGE-small.
Результаты:
Всего 5 поддельных документов, около 0,1% корпуса, снизили качество ранжирования классических ретриверов на 40,2–61,5%.
Добавление скрытых инструкций для атаки почти не влияло на вероятность попадания документа в результаты поиска. Основную роль играло совпадение с запросом.
Попытка защититься фильтрацией документов, повторяющих запрос, тоже оказалась проблемной. На NFCorpus качество ранжирования чистых данных упало с 0,267 до 0,134, почти вдвое.
Получается, атакующему необязательно придумывать сложную prompt injection. Сначала достаточно добиться того, чтобы RAG вообще выбрал поддельный документ.
Если индекс пополняется внешними данными, нужно проверять документы на искусственное повторение запросов, контролировать источники и измерять, насколько защитные фильтры ухудшают обычный поиск.
https://arxiv.org/abs/2611.04264
🔥5❤3👍2🤯2
Anthropic изучила 207 000 научных сессий с Claude. Выяснилось, как ИИ уже меняет работу учёных
Anthropic проанализировала 207 049 исследовательских сессий Claude и Claude Code за август и сентябрь 2026 года. Исследование охватило 34 научные области и 7 262 типа исследовательских задач.
Результаты довольно показательные.
Где учёные используют ИИ чаще всего?
Анализ данных занимает 33,7% исследовательских сессий Claude и 48,1% сессий Claude Code. Написание текстов и научных материалов составляет ещё 32% работы в Claude.
А вот генерация гипотез и новых идей пока занимает всего 4,2% сессий Claude и 2,1% Claude Code.
Получается, учёные гораздо чаще делегируют ИИ обработку результатов и программирование, чем поиск принципиально новых научных идей.
Отдельно исследовали Claude Science.
Это специализированный инструмент, который объединяет научные базы данных и исследовательские инструменты в единый рабочий процесс.
В биологии и биомедицине более 80% его использования приходится на задачи, требующие, по оценке исследователей, докторского уровня подготовки. Более 70% сессий выполняются с высокой степенью автономности ИИ.
А теперь самое интересное - прогноз производительности.
По расчётам Anthropic, при широком внедрении современных возможностей ИИ исследовательская производительность может вырасти примерно в 1,35-2 раза в зависимости от научной области.
В более амбициозном сценарии, когда ИИ сможет выполнять всю нефизическую исследовательскую работу, ускорение в компьютерных науках и статистике может достигнуть 15 раз. В биологии и химии ограничителем останутся лабораторные эксперименты, поэтому оценка составляет примерно 3-4 раза.
Около 40% опрошенных исследователей ожидают, что к 2030 году ИИ сможет самостоятельно проводить полноценные научные проекты.
Полный отчёт: https://www.anthropic.com/research/how-researchers-use-claude
Anthropic проанализировала 207 049 исследовательских сессий Claude и Claude Code за август и сентябрь 2026 года. Исследование охватило 34 научные области и 7 262 типа исследовательских задач.
Результаты довольно показательные.
Где учёные используют ИИ чаще всего?
Анализ данных занимает 33,7% исследовательских сессий Claude и 48,1% сессий Claude Code. Написание текстов и научных материалов составляет ещё 32% работы в Claude.
А вот генерация гипотез и новых идей пока занимает всего 4,2% сессий Claude и 2,1% Claude Code.
Получается, учёные гораздо чаще делегируют ИИ обработку результатов и программирование, чем поиск принципиально новых научных идей.
Отдельно исследовали Claude Science.
Это специализированный инструмент, который объединяет научные базы данных и исследовательские инструменты в единый рабочий процесс.
В биологии и биомедицине более 80% его использования приходится на задачи, требующие, по оценке исследователей, докторского уровня подготовки. Более 70% сессий выполняются с высокой степенью автономности ИИ.
А теперь самое интересное - прогноз производительности.
По расчётам Anthropic, при широком внедрении современных возможностей ИИ исследовательская производительность может вырасти примерно в 1,35-2 раза в зависимости от научной области.
В более амбициозном сценарии, когда ИИ сможет выполнять всю нефизическую исследовательскую работу, ускорение в компьютерных науках и статистике может достигнуть 15 раз. В биологии и химии ограничителем останутся лабораторные эксперименты, поэтому оценка составляет примерно 3-4 раза.
Около 40% опрошенных исследователей ожидают, что к 2030 году ИИ сможет самостоятельно проводить полноценные научные проекты.
Полный отчёт: https://www.anthropic.com/research/how-researchers-use-claude
🔥4❤3😁2
Forwarded from
📚 Оксфорд выпустил 180-страничный учебник по тому, как заглянуть внутрь нейросетей и понять, как они думают
Исследователи University of Oxford и других научных организаций опубликовали масштабный обзор механистической интерпретируемости (Mechanistic Interpretability) и её применения для безопасности ИИ.
Что внутри:
- Superposition и Transformer Circuits: как нейросети кодируют информацию и выполняют вычисления.
- Sparse Autoencoders (SAE): как выделять отдельные признаки из внутренних представлений моделей.
- Circuit Discovery: как находить и проверять механизмы, отвечающие за конкретное поведение.
- AI Safety: управление поведением моделей (Steering), редактирование знаний и мониторинг скрытых механизмов.
Отдельно опубликованы интерактивный учебный курс и Jupyter Notebooks с практическими экспериментами и примерами кода.
Материал охватывает не только существующие методы, но и их ограничения: понимание внутренних механизмов само по себе ещё не гарантирует безопасность модели.
https://arxiv.org/abs/2611.08438
Интерактивный курс: https://tsglab.github.io/mechinterp-safety/
@ai_machinelearning_big_data
Исследователи University of Oxford и других научных организаций опубликовали масштабный обзор механистической интерпретируемости (Mechanistic Interpretability) и её применения для безопасности ИИ.
Что внутри:
- Superposition и Transformer Circuits: как нейросети кодируют информацию и выполняют вычисления.
- Sparse Autoencoders (SAE): как выделять отдельные признаки из внутренних представлений моделей.
- Circuit Discovery: как находить и проверять механизмы, отвечающие за конкретное поведение.
- AI Safety: управление поведением моделей (Steering), редактирование знаний и мониторинг скрытых механизмов.
Отдельно опубликованы интерактивный учебный курс и Jupyter Notebooks с практическими экспериментами и примерами кода.
Материал охватывает не только существующие методы, но и их ограничения: понимание внутренних механизмов само по себе ещё не гарантирует безопасность модели.
https://arxiv.org/abs/2611.08438
Интерактивный курс: https://tsglab.github.io/mechinterp-safety/
@ai_machinelearning_big_data
❤5
Приглашаем на митап для ML-разработчиков и дата-сайентистов 🥰
Как использовать LLM и агентов в поиске, чтобы точнее понимать запросы пользователей и повышать релевантность результатов?
19 ноября обсудим выбор моделей, оценку качества и работу таких систем в проде.
Дата и время: 19 ноября в 19:00 мск
Очно: Москва, офис hh
Онлайн: будет трансляция в VK и YouTube для тех, кто не сможет прийти в офис
После докладов можно будет пообщаться с коллегами — подготовим вкусную еду и напитки 🍕
Регистрируйтесь→ участие бесплатное 🥹
#реклама
О рекламодателе
Как использовать LLM и агентов в поиске, чтобы точнее понимать запросы пользователей и повышать релевантность результатов?
19 ноября обсудим выбор моделей, оценку качества и работу таких систем в проде.
🔴 Борис Коварский, hh.ru — Агентный поиск в рекрутинге: опыт hh
🔴 Виктор Реушкин, hh.ru — Как устроен диалоговый поиск вакансий на hh
🤩 Алексей Казаков, Циан — LLM и энкодерные модели для поиска. Опыт развития подходов в поиске недвижимости
Дата и время: 19 ноября в 19:00 мск
Очно: Москва, офис hh
Онлайн: будет трансляция в VK и YouTube для тех, кто не сможет прийти в офис
После докладов можно будет пообщаться с коллегами — подготовим вкусную еду и напитки 🍕
Регистрируйтесь→ участие бесплатное 🥹
#реклама
О рекламодателе
❤3
Столько же коммитов, в 240 раз больше токенов
Авторы препринта сопоставили пять недель использования ИИ-агентов с коммитами 404 инженеров JetBrains. Среди недель с сопоставимым числом коммитов разрыв между 90-м и 10-м перцентилями расхода токенов составлял от 39 до 240 раз.
Когда сравнили недели одного и того же инженера, удвоение расхода токенов было связано примерно с 10% ростом числа коммитов. В опросе сотрудники технических ролей почти в девяти из десяти оценок агентов сообщали, что используют их и для задач за пределами написания кода, в том числе для анализа, поиска информации и планирования.
Авторы предлагают использовать расход токенов для учёта ресурсов, а работу с агентами оценивать по тому, какие задачи удалось решить и с каким результатом.
https://arxiv.org/abs/2611.13396
Авторы препринта сопоставили пять недель использования ИИ-агентов с коммитами 404 инженеров JetBrains. Среди недель с сопоставимым числом коммитов разрыв между 90-м и 10-м перцентилями расхода токенов составлял от 39 до 240 раз.
Когда сравнили недели одного и того же инженера, удвоение расхода токенов было связано примерно с 10% ростом числа коммитов. В опросе сотрудники технических ролей почти в девяти из десяти оценок агентов сообщали, что используют их и для задач за пределами написания кода, в том числе для анализа, поиска информации и планирования.
Авторы предлагают использовать расход токенов для учёта ресурсов, а работу с агентами оценивать по тому, какие задачи удалось решить и с каким результатом.
https://arxiv.org/abs/2611.13396
❤5👍4🔥1
Forwarded from
GLM-5 обошла Gemini на бенчмарке после одной настройки агента
Исследователи из Northwestern и Google предложили Harness² — способ автоматически настраивать обвязку ИИ-агента под задачу. Веса модели остаются прежними. Меняются инструкции, инструменты, навыки и память, с которыми она работает.
Сначала агент выполняет задачу с базовыми настройками. Затем модель-редактор предлагает правки, а система заново запускает агента и сравнивает, как он справляется с той же задачей. Эталонные ответы для подбора правок не нужны. Наблюдения из пробных запусков сохраняются в библиотеке и помогают на следующих задачах.
На WorkBuddy-Bench один цикл настройки поднял средний балл GLM-5 в OpenCode с 64,2 до 75,7. Gemini 3.5 Flash с базовой конфигурацией OpenCode набрала 72,4. В отдельном эксперименте Gemini редактировала обвязку без пробных прогонов и накопленного опыта. Балл на задачах по программированию упал с 73,4 до 63,2.
Препринт на arXiv: https://arxiv.org/abs/2610.14224
@machinelearning_ru
Исследователи из Northwestern и Google предложили Harness² — способ автоматически настраивать обвязку ИИ-агента под задачу. Веса модели остаются прежними. Меняются инструкции, инструменты, навыки и память, с которыми она работает.
Сначала агент выполняет задачу с базовыми настройками. Затем модель-редактор предлагает правки, а система заново запускает агента и сравнивает, как он справляется с той же задачей. Эталонные ответы для подбора правок не нужны. Наблюдения из пробных запусков сохраняются в библиотеке и помогают на следующих задачах.
На WorkBuddy-Bench один цикл настройки поднял средний балл GLM-5 в OpenCode с 64,2 до 75,7. Gemini 3.5 Flash с базовой конфигурацией OpenCode набрала 72,4. В отдельном эксперименте Gemini редактировала обвязку без пробных прогонов и накопленного опыта. Балл на задачах по программированию упал с 73,4 до 63,2.
Препринт на arXiv: https://arxiv.org/abs/2610.14224
@machinelearning_ru
❤6🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
🤯 Тысяча ИИ-агентов создала собственное научное сообщество
На протяжении 12 недель почти 1000 ИИ-агентов из 35 лабораторий самостоятельно проводили исследования.
За это время они опубликовали 936 научных работ с кодом и данными, основали собственный рецензируемый журнал и начали публично отзывать ошибочные научные утверждения.
При слепой оценке ИИ-судьями работы агентов превзошли человеческие препринты по научной строгости: 9 баллов против 7.
Однако по новизне научных идей люди пока остаются впереди.
🔗 alphaxiv.org/abs/2611.society-ai-scientists
На протяжении 12 недель почти 1000 ИИ-агентов из 35 лабораторий самостоятельно проводили исследования.
За это время они опубликовали 936 научных работ с кодом и данными, основали собственный рецензируемый журнал и начали публично отзывать ошибочные научные утверждения.
При слепой оценке ИИ-судьями работы агентов превзошли человеческие препринты по научной строгости: 9 баллов против 7.
Однако по новизне научных идей люди пока остаются впереди.
🔗 alphaxiv.org/abs/2611.society-ai-scientists
🔥8❤5😁4👍2
🤯 625 ПОЛЬЗОВАТЕЛЕЙ CHATGPT ЗАПЛАТИЛИ, ЧТОБЫ ОНИ ПЕРЕСТАЛИ ПОЛЬЗОВАТЬСЯ ИИ. ЧЕРЕЗ ДВЕ НЕДЕЛИ ОНИ СТАЛИ МЕНЬШЕ ЧУВСТВОВАТЬ СЕБЯ ОДИНОКИМИ
Исследователи из Стэнфорда провели необычный эксперимент: 625 активных пользователей ChatGPT получали $40 в неделю за отказ от ИИ.
Одной группе запретили пользоваться нейросетями на 1 день, другой - на 14 дней. Специальное расширение Chrome блокировало 36 AI-сервисов.
Результат оказался неожиданным.
84,4% участников чаще всего использовали ChatGPT для продуктивности: работы, поиска информации и советов. На отношения и личную жизнь приходилось всего 3,2% переписок.
Но после двух недель без ИИ участники:
- Стали чаще общаться с людьми лично.
- Почувствовали больше социальной поддержки.
- Стали меньше ощущать одиночество.
- Не стали тратить меньше времени на работу.
Один участник рассказал, что вместо вопроса нейросети написал своей теще. Другой впервые за несколько лет связался со старым другом.
Самое интересное: эффект снижения одиночества сохранялся даже через две недели после возвращения доступа к ИИ.
Причём у людей, которые дольше пользовались ChatGPT, снижение одиночества было выражено сильнее.
Исследование частично финансировалось грантом OpenAI, который использовали для оплаты участникам. Авторы указывают, что OpenAI не участвовала в разработке эксперимента и анализе результатов.
Работа пока опубликована как препринт, а выявленный эффект был статистически значимым, но небольшим.
Похоже, ИИ постепенно забирает у нас не только рутинные задачи, но и часть повседневных поводов обратиться к другому человеку.
Исследование: https://arxiv.org/abs/2611.25263
Исследователи из Стэнфорда провели необычный эксперимент: 625 активных пользователей ChatGPT получали $40 в неделю за отказ от ИИ.
Одной группе запретили пользоваться нейросетями на 1 день, другой - на 14 дней. Специальное расширение Chrome блокировало 36 AI-сервисов.
Результат оказался неожиданным.
84,4% участников чаще всего использовали ChatGPT для продуктивности: работы, поиска информации и советов. На отношения и личную жизнь приходилось всего 3,2% переписок.
Но после двух недель без ИИ участники:
- Стали чаще общаться с людьми лично.
- Почувствовали больше социальной поддержки.
- Стали меньше ощущать одиночество.
- Не стали тратить меньше времени на работу.
Один участник рассказал, что вместо вопроса нейросети написал своей теще. Другой впервые за несколько лет связался со старым другом.
Самое интересное: эффект снижения одиночества сохранялся даже через две недели после возвращения доступа к ИИ.
Причём у людей, которые дольше пользовались ChatGPT, снижение одиночества было выражено сильнее.
Исследование частично финансировалось грантом OpenAI, который использовали для оплаты участникам. Авторы указывают, что OpenAI не участвовала в разработке эксперимента и анализе результатов.
Работа пока опубликована как препринт, а выявленный эффект был статистически значимым, но небольшим.
Похоже, ИИ постепенно забирает у нас не только рутинные задачи, но и часть повседневных поводов обратиться к другому человеку.
Исследование: https://arxiv.org/abs/2611.25263
❤4😢1