📚 Бесплатная 309-страничная книга по Machine Learning: _Patterns, Predictions, and Actions_.
Авторы — Moritz Hardt и Benjamin Recht. Это полноценный учебник, который разбирает ML через три идеи: паттерны в данных → предсказания → действия.
Внутри:
- supervised learning
- optimization и generalization
- causality
- causal inference
- reinforcement learning
- sequential decision making
- история и влияние ML на общество
Для чтения достаточно базовых знаний теории вероятностей, матанализа и линейной алгебры.
Хороший способ одновременно прокачать математику и лучше понять, как устроен современный ML.
Книга
Авторы — Moritz Hardt и Benjamin Recht. Это полноценный учебник, который разбирает ML через три идеи: паттерны в данных → предсказания → действия.
Внутри:
- supervised learning
- optimization и generalization
- causality
- causal inference
- reinforcement learning
- sequential decision making
- история и влияние ML на общество
Для чтения достаточно базовых знаний теории вероятностей, матанализа и линейной алгебры.
Хороший способ одновременно прокачать математику и лучше понять, как устроен современный ML.
Книга
❤7🔥1
Как устроен цикл Карпати из репозитория autoresearch, почему он нашел 20 улучшений за два дня и как двухуровневый цикл сделал подход в пять раз эффективнее.
Плюс готовый промпт, чтобы попробовать.
Большинство до сих пор работает с ИИ так же, как с поисковиком в 2005 году. Написал запрос, прочитал ответ, написал следующий. Модель ничего не делает, пока вы ее не толкнете, и весь прогресс держится на вас.
Пару лет этого хватало. Сейчас те, кто выжимает из ИИ в разы больше, строят циклы: задают цель и отпускают агента работать до результата. Самым громким примером такого подхода стал Андрей Карпати.
https://uproger.com/loop-engineering-petlya-karpati/
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍3🔥2
🧠 Есть ли у Claude сознание? Автор диссертации на эту тему сомневается
На фоне обсуждений машинного сознания Майкл Тимоти Беннетт поделился своей позицией:
В 2025 году он подготовил в Австралийском национальном университете PhD-диссертацию How To Build Conscious Machines. В ней исследует, что такое субъективный опыт и какие свойства могли бы позволить машине им обладать.
Оценка Claude прозвучала в посте автора. Сама диссертация посвящена более широкому вопросу: как вообще создать машину с сознанием.
📄 Работа: https://openresearch-repository.anu.edu.au/bitstreams/6f333f30-2553-4032-8c3f-ff7a8f46f03a/download
На фоне обсуждений машинного сознания Майкл Тимоти Беннетт поделился своей позицией:
> «Я достаточно уверен, что Claude не обладает сознанием».
В 2025 году он подготовил в Австралийском национальном университете PhD-диссертацию How To Build Conscious Machines. В ней исследует, что такое субъективный опыт и какие свойства могли бы позволить машине им обладать.
Оценка Claude прозвучала в посте автора. Сама диссертация посвящена более широкому вопросу: как вообще создать машину с сознанием.
📄 Работа: https://openresearch-repository.anu.edu.au/bitstreams/6f333f30-2553-4032-8c3f-ff7a8f46f03a/download
❤8👍2🔥1
🧑💻 Бенчмарки кодинг-агентов плохо отражают то, как с ними работают разработчики.
В тесте агент получает подробную задачу и сдаёт готовый патч. В реальном диалоге пользователь просит объяснить код, составить план, проверить изменения, а затем переключается на другую задачу.
Исследователи JetBrains собрали 4 782 реальные сессии и подробно изучили те, где было минимум три сообщения пользователя. Такие диалоги оказались гораздо разнообразнее задач из бенчмарков.
Авторы предложили SWE-TaskFlow: разбивать исходную задачу на несколько сообщений и добавлять проверяемые вопросы о репозитории, сохраняя исходные тесты.
На 700 задачах SWE-Bench Pro пошаговый формат примерно удвоил стоимость работы агента, но устойчивого изменения доли решённых задач не дал. Сам формат общения заметно влияет на оценку.
Вывод авторов: сначала изучите, как ваши пользователи работают с агентом, затем стройте бенчмарк под эти сценарии.
https://arxiv.org/abs/2610.09633
В тесте агент получает подробную задачу и сдаёт готовый патч. В реальном диалоге пользователь просит объяснить код, составить план, проверить изменения, а затем переключается на другую задачу.
Исследователи JetBrains собрали 4 782 реальные сессии и подробно изучили те, где было минимум три сообщения пользователя. Такие диалоги оказались гораздо разнообразнее задач из бенчмарков.
Авторы предложили SWE-TaskFlow: разбивать исходную задачу на несколько сообщений и добавлять проверяемые вопросы о репозитории, сохраняя исходные тесты.
На 700 задачах SWE-Bench Pro пошаговый формат примерно удвоил стоимость работы агента, но устойчивого изменения доли решённых задач не дал. Сам формат общения заметно влияет на оценку.
Вывод авторов: сначала изучите, как ваши пользователи работают с агентом, затем стройте бенчмарк под эти сценарии.
https://arxiv.org/abs/2610.09633
❤6👍3🥰1
Почему наша первая нейросеть проиграла CatBoost
Мы хотели заменить CatBoost нейросетью в рекомендациях на главной Авито. Расчёт был простой: данных много, эмбеддинги хорошие, значит, модель выиграет за счёт масштаба.
Первый A/B-тест ушёл в минус: −6% пользователей с контактами. Вторая и третья модели тоже проигрывали CatBoost.
Чтобы найти, что даёт рост, понадобилось пять итераций. В статье разбираем:
✨ какой лосс заменил бинарную кросс-энтропию и до сих пор работает в проде;
✨ почему общая офлайн-метрика скрывала просадку по контактам;
✨ что дала история пользователя в трансформере.
В итоге +4,3% пользователей с контактами из рекомендаций и +0,8% пользователей, совершивших сделку.
Читать на Хабре
Больше про DS в Авито пишем в канале «Доска AI-объявлений».
Мы хотели заменить CatBoost нейросетью в рекомендациях на главной Авито. Расчёт был простой: данных много, эмбеддинги хорошие, значит, модель выиграет за счёт масштаба.
Первый A/B-тест ушёл в минус: −6% пользователей с контактами. Вторая и третья модели тоже проигрывали CatBoost.
Чтобы найти, что даёт рост, понадобилось пять итераций. В статье разбираем:
В итоге +4,3% пользователей с контактами из рекомендаций и +0,8% пользователей, совершивших сделку.
Читать на Хабре
Больше про DS в Авито пишем в канале «Доска AI-объявлений».
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7
📓 Лейденский университет выложил бесплатный учебник по ИИ-агентам на 472 страницы
Учебник Agentic Large Language Models на 472 страницы: от токенизации до мультиагентных систем, с практическими кейсами и сайтом курса.
Что внутри
Книга разбита на семь частей. Первая посвящена языковому моделированию: токенизация, эмбеддинги, механизм внимания, весь пайплайн обучения от сбора данных до выравнивания, законы масштабирования, маленькие модели и энергопотребление. Вторая рассказывает о рассуждениях: chain of thought, саморефлексия, мультимодальные модели, vision-language-action модели для роботов, модели мира и метаобучение.
https://uproger.com/agentic-llm-uchebnik-leiden/
Учебник Agentic Large Language Models на 472 страницы: от токенизации до мультиагентных систем, с практическими кейсами и сайтом курса.
Что внутри
Книга разбита на семь частей. Первая посвящена языковому моделированию: токенизация, эмбеддинги, механизм внимания, весь пайплайн обучения от сбора данных до выравнивания, законы масштабирования, маленькие модели и энергопотребление. Вторая рассказывает о рассуждениях: chain of thought, саморефлексия, мультимодальные модели, vision-language-action модели для роботов, модели мира и метаобучение.
https://uproger.com/agentic-llm-uchebnik-leiden/
❤8👍6🔥3
🧠 BERT жив. UltraBERT показал, что рецепт обучения может быть важнее дополнительных триллионов токенов.
Вышли открытые энкодеры на 152 млн и 380 млн параметров с контекстом 32K. Для классификации текста, распознавания сущностей, поиска ответов, оценки качества и retrieval.
Главная фишка обучения:
• В одних примерах скрывают 5% токенов: это помогает классификации.
• В других скрывают 50%: это помогает поиску.
• Для каждого режима используют отдельную выходную голову.
• Знания модели-учителя на 1,3 млрд параметров передают только примерам с 5% маскирования.
Почему выборочно? В экспериментах дистилляция улучшала классификацию, но ухудшала поиск при высоком маскировании. Универсального «учитель всегда делает ученика лучше» не получилось.
Ещё один показательный вывод: после 1–2 трлн токенов качество на прикладных задачах выходило на плато, хотя loss продолжал снижаться.
По сравнению авторов, версия 380M лидирует на GLUE и BEIR среди сопоставимых энкодеров. Младшая модель достигает уровня RoBERTa-large в классификации при 2,3 раза меньшем числе параметров.
Веса, код и лицензия Apache 2.0:
https://huggingface.co/collections/dmis-lab/ultrabert
Статья:
https://arxiv.org/abs/2610.15028
Вышли открытые энкодеры на 152 млн и 380 млн параметров с контекстом 32K. Для классификации текста, распознавания сущностей, поиска ответов, оценки качества и retrieval.
Главная фишка обучения:
• В одних примерах скрывают 5% токенов: это помогает классификации.
• В других скрывают 50%: это помогает поиску.
• Для каждого режима используют отдельную выходную голову.
• Знания модели-учителя на 1,3 млрд параметров передают только примерам с 5% маскирования.
Почему выборочно? В экспериментах дистилляция улучшала классификацию, но ухудшала поиск при высоком маскировании. Универсального «учитель всегда делает ученика лучше» не получилось.
Ещё один показательный вывод: после 1–2 трлн токенов качество на прикладных задачах выходило на плато, хотя loss продолжал снижаться.
По сравнению авторов, версия 380M лидирует на GLUE и BEIR среди сопоставимых энкодеров. Младшая модель достигает уровня RoBERTa-large в классификации при 2,3 раза меньшем числе параметров.
Веса, код и лицензия Apache 2.0:
https://huggingface.co/collections/dmis-lab/ultrabert
Статья:
https://arxiv.org/abs/2610.15028
❤12👍4
Forwarded from Machinelearning
Media is too big
VIEW IN TELEGRAM
Обе компании уже работали вместе над проектом Patch the Planet, где модели OpenAI в связке с инструментами Trail of Bits автоматически искали и исправляли ошибки в открытом коде.
Нью-йоркская Trail of Bits основана в 2012 году, в ней около 40 сотрудников, специализируется она на реверс-инжиниринге, аудите криптографических систем и поиске уязвимостей в открытом коде, а среди её клиентов Uniswap, Aave и Worldcoin.
Поглощение расширит возможности OpenAI в практической безопасности продуктов.
theinformation.com
Модель рассчитана на художественный дубляж, аудиокниги и озвучку игр, поддерживает 83 языка и позволяет детально режиссировать эмоции.
Текстовые ремарки в квадратных скобках прямо внутри реплик дают шёпот, смех, гнев и другие эмоциональные краски. В бенчмарке Artificial Analysis Drama 3 показала точность 93,2% при чтении дат и контекстно-зависимых слов, обойдя S2.1 Pro.
Архитектура построена на MoE и несёт 35 млрд общих параметров при 3 млрд активных, с гибридным вниманием Gated DeltaNet и MTP-декодером аудиокодеков.
Веса лежат на Hugging Face, а бесплатно использовать модель в коммерческих проектах могут компании с годовой выручкой до 500 тыс. долларов.
fish.audio
Платформа децентрализованных вычислений забрала разработчика компактных открытых VLM. Ключевая технология стартапа – движок инференса Photon, который компилирует архитектуру модели в единую программу под ускоритель с помощью собственных ядер.
На Nvidia H100 связка Photon и Moondream держит больше 60 запросов в секунду с задержкой в десятки миллисекунд.
Основатели Вик Коррапати и Джей Аллен переходят в Prime Intellect, где займутся масштабированием инфраструктуры инференса, развитием VLM и агентов для управления интерфейсами.
Линейка моделей останется под брендом Moondream, движок Photon уже встроен, а доступ к Moondream 3.1 открыт через Prime Inference. Пользователей Moondream Cloud переведут на объединённую платформу.
primeintellect.ai
Совершеннолетним пользователям разрешили ставить на свои Android-устройства приложения, собранные в Google AI Studio, без аккаунта разработчика за 25 долларов.
Работают такие приложения в приватном режиме, то есть скрыты из поиска и рекомендаций магазина, а встроенные покупки в них заблокированы полностью. Рассчитано обновление на тех, кто пишет программы под себя и не собирается публиковать их.
В следующих обновлениях Google обещает дать возможность делиться самодельными приложениями с семьёй и друзьями.
bloomberg.com
По условиям партнёрства агенты Manus появятся в смартфонах серии Find X10, работать они будут в режиме Agent Mode фирменного ассистента AI Mind Pilot.
Система разберёт составной запрос на последовательность шагов, соберёт данные из установленных приложений, обработает локальные файлы и вызовет внешние API, чтобы выдать результат.
Поиск, сортировку и анализ файлов телефон делает у себя, не передавая содержимое на серверы Manus, а обращения к облачным сервисам и отправка конкретных данных идут только после подтверждения пользователем.
oppo.com
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍1
🔥 Хочешь быстрее расти в IT? Хватит учиться в одиночку
Окружение решает больше, чем кажется.
Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.
AI: t.iss.one/ai_machinelearning_big_data
Python: t.iss.one/pythonl
Linux: t.iss.one/linuxacademiya
Хакинг: t.iss.one/linuxkalii
DevOps: t.iss.one/DevOPSitsec
Docker: https://t.iss.one/+90Z5TAyfuNU5YmRi
Golang: t.iss.one/Golang_google
Rust: t.iss.one/rust_code
C++: t.iss.one/cpluspluc
C#: t.iss.one/csharp_ci
Java: t.iss.one/javatg
JavaScript: t.iss.one/javascriptv
React: t.iss.one/react_tg
Frontend: t.iss.one/front
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Мобильная разработка: t.iss.one/mobdevelop
Базы данных: t.iss.one/sqlhub
Data Science: t.iss.one/data_analysis_ml
Big Data: t.iss.one/bigdatai
Математика: t.iss.one/data_math
Физика: t.iss.one/fizmat
Kubernetes: t.iss.one/kubernetc
GameDev: https://t.iss.one/gamedev
Haskell: t.iss.one/haskell_tg
Собеседования и карьера:
DS собеседования: t.iss.one/machinelearning_interview
Python собеседования: t.iss.one/python_job_interview
Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy
Полезное сверху:
ИТ-мемы: t.iss.one/memes_prog
Английский для программистов: t.iss.one/english_forprogrammers
ИИ и технологии: t.iss.one/vistehno
954 ГБ open-source курсов: https://t.iss.one/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy
Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg
Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
Окружение решает больше, чем кажется.
Собрал папки и каналы, где можно быстрее влиться в нужное направление, следить за трендами и не вариться в своём пузыре.
AI: t.iss.one/ai_machinelearning_big_data
Python: t.iss.one/pythonl
Linux: t.iss.one/linuxacademiya
Хакинг: t.iss.one/linuxkalii
DevOps: t.iss.one/DevOPSitsec
Docker: https://t.iss.one/+90Z5TAyfuNU5YmRi
Golang: t.iss.one/Golang_google
Rust: t.iss.one/rust_code
C++: t.iss.one/cpluspluc
C#: t.iss.one/csharp_ci
Java: t.iss.one/javatg
JavaScript: t.iss.one/javascriptv
React: t.iss.one/react_tg
Frontend: t.iss.one/front
PHP: t.iss.one/phpshka
Android: t.iss.one/android_its
Мобильная разработка: t.iss.one/mobdevelop
Базы данных: t.iss.one/sqlhub
Data Science: t.iss.one/data_analysis_ml
Big Data: t.iss.one/bigdatai
Математика: t.iss.one/data_math
Физика: t.iss.one/fizmat
Kubernetes: t.iss.one/kubernetc
GameDev: https://t.iss.one/gamedev
Haskell: t.iss.one/haskell_tg
Собеседования и карьера:
DS собеседования: t.iss.one/machinelearning_interview
Python собеседования: t.iss.one/python_job_interview
Папка с вакансиями: t.iss.one/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.iss.one/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.iss.one/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.iss.one/addlist/2Ls-snqEeytkMDgy
Папка Frontend: https://t.iss.one/addlist/mzMMG3RPZhY2M2Iy
Полезное сверху:
ИТ-мемы: t.iss.one/memes_prog
Английский для программистов: t.iss.one/english_forprogrammers
ИИ и технологии: t.iss.one/vistehno
954 ГБ open-source курсов: https://t.iss.one/+rKBQEMccAA01MTcy
ИТ-книги бесплатно: https://t.iss.one/addlist/BkskQciUW_FhNjEy
Max Ai: https://max.ru/ai_machinelearning_big_data
Max python: https://max.ru/pythonl
ТЕХНО: https://max.ru/vistehno
Max Go: https://max.ru/Golang_google
Max Linux: https://max.ru/linuxkalii
Devops: https://max.ru/DevOPSitsec
C#: https://max.ru/csharp_ci
C++: https://max.ru/cpluspluc
SQL: https://max.ru/sqlhub
Java: https://max.ru/javatg
Подписывайся на нужные направления и собирай себе ленту, которая реально двигает вперёд.
❤2👍1🔥1
🎮 Пока ИИ думал, Марио уже погиб
Исследователи Пекинского университета и Samsung создали RealtimeBench: 180 задач в шести играх, включая Mario, Snake и Tetris. Главное условие: игра продолжает идти, пока модель принимает решение.
С паузами GPT-6.1-sol обошла быструю Jev в пяти играх из шести. В реальном времени средние оценки оказались такими:
• GPT-6.1-sol: 1,51 из 100
• Jev: 13,51 из 100
Хорошее решение теряет смысл, если команда прыжка приходит после столкновения.
Авторы предложили TORSI: медленная модель между попытками разбирает ошибки быстрой, проверяет варианты действий и пишет для неё инструкции. Во время игры быстрая модель действует самостоятельно.
После двух раундов средний результат Jev вырос с 13,51 до 24,19, примерно на 79%. Улучшения получили во всех шести играх, без изменения весов модели.
Практическая идея для агентов: быстрые решения во время работы, глубокий разбор и улучшение инструкций между попытками.
https://arxiv.org/abs/2610.20665
Исследователи Пекинского университета и Samsung создали RealtimeBench: 180 задач в шести играх, включая Mario, Snake и Tetris. Главное условие: игра продолжает идти, пока модель принимает решение.
С паузами GPT-6.1-sol обошла быструю Jev в пяти играх из шести. В реальном времени средние оценки оказались такими:
• GPT-6.1-sol: 1,51 из 100
• Jev: 13,51 из 100
Хорошее решение теряет смысл, если команда прыжка приходит после столкновения.
Авторы предложили TORSI: медленная модель между попытками разбирает ошибки быстрой, проверяет варианты действий и пишет для неё инструкции. Во время игры быстрая модель действует самостоятельно.
После двух раундов средний результат Jev вырос с 13,51 до 24,19, примерно на 79%. Улучшения получили во всех шести играх, без изменения весов модели.
Практическая идея для агентов: быстрые решения во время работы, глубокий разбор и улучшение инструкций между попытками.
https://arxiv.org/abs/2610.20665
❤7👍1🔥1
🔧 ИИ-агент может вызвать инструмент, которого у него вообще нет
В новом исследовании разобрали галлюцинации инструментов: модели придумывают названия функций и передают аргументы, которых нет в схеме.
На десяти моделях зафиксировали 322 случая таких ошибок. Вызовы вымышленных инструментов чаще встречались при свободной генерации JSON, чем при структурированных вызовах: 34 против 3. Больший размер модели сам по себе проблему не устранял.
Отдельно проверили MCP. При объединении нескольких серверов возникают конфликты имён и подмена одного инструмента другим. Там обнаружили ещё 154 галлюцинации, в том числе у моделей, которые не ошибались в тестах с одним реестром.
Предложенная защита проста: перед проверкой разрешений убедиться, что инструмент существует, а аргументы соответствуют его схеме. Этот подход автор называют *closed-world resolution*: исполнять можно только явно зарегистрированные вызовы.
Для сравнения подобных защит представлен Hallucinated-Tools Benchmark.
https://arxiv.org/abs/2609.19425
В новом исследовании разобрали галлюцинации инструментов: модели придумывают названия функций и передают аргументы, которых нет в схеме.
На десяти моделях зафиксировали 322 случая таких ошибок. Вызовы вымышленных инструментов чаще встречались при свободной генерации JSON, чем при структурированных вызовах: 34 против 3. Больший размер модели сам по себе проблему не устранял.
Отдельно проверили MCP. При объединении нескольких серверов возникают конфликты имён и подмена одного инструмента другим. Там обнаружили ещё 154 галлюцинации, в том числе у моделей, которые не ошибались в тестах с одним реестром.
Предложенная защита проста: перед проверкой разрешений убедиться, что инструмент существует, а аргументы соответствуют его схеме. Этот подход автор называют *closed-world resolution*: исполнять можно только явно зарегистрированные вызовы.
Для сравнения подобных защит представлен Hallucinated-Tools Benchmark.
https://arxiv.org/abs/2609.19425
❤7
📖 ИИ-агент учится новому - и ломает то, что уже умел.
В новой работе Google DeepMind исследователи проверили агентов, которые улучшают себя без переобучения модели: редактируют системный промпт, память и файлы навыков.
Сравнили ReasoningBank, GEPA и Meta-Harness на последовательностях задач, где менялись темы, процессы и области применения.
GEPA сильнее всего улучшал результаты на текущих задачах — в среднем на 6,2 процентного пункта за блок. Но и падение на остальных было самым большим: 4,3 пункта.
Показательный случай: агент научился запрашивать недостающие детали у пользователя. Позже новые правки перезаписали это правило — и прежний прирост 15,5 пункта сократился до 2,5.
Правка общего промпта ради одной задачи влияет на все последующие. Полезные инструкции конфликтуют, сжимаются или исчезают.
https://arxiv.org/abs/2610.25858
В новой работе Google DeepMind исследователи проверили агентов, которые улучшают себя без переобучения модели: редактируют системный промпт, память и файлы навыков.
Сравнили ReasoningBank, GEPA и Meta-Harness на последовательностях задач, где менялись темы, процессы и области применения.
GEPA сильнее всего улучшал результаты на текущих задачах — в среднем на 6,2 процентного пункта за блок. Но и падение на остальных было самым большим: 4,3 пункта.
Показательный случай: агент научился запрашивать недостающие детали у пользователя. Позже новые правки перезаписали это правило — и прежний прирост 15,5 пункта сократился до 2,5.
Правка общего промпта ради одной задачи влияет на все последующие. Полезные инструкции конфликтуют, сжимаются или исчезают.
https://arxiv.org/abs/2610.25858
❤6👍4🔥1
ИИ может писать рабочий код и одновременно делать проект всё сложнее для разработки.
В эссе The Decoherence Trap автор описывает «декогеренцию»: ситуацию, когда в системе накапливаются решения, каждое из которых разумно само по себе, но плохо согласуется с остальными.
Представьте: один модуль возвращает ошибки исключениями, другой - кодами, третий, объектами результата. Каждая задача решена. Но при объединении приходится постоянно переводить между разными подходами.
Цена изменений начинает определяться количеством несовместимых решений, которые нужно учитывать, и побочных эффектов, которых нужно избежать.
По мысли автора, ИИ ускоряет накопление этой проблемы: быстро создавать локально убедительные решения становится проще, а поддерживать целостность системы по-прежнему трудно.
Отсюда полезный вопрос для ревью: «Этот код работает?» — только начало. «Он согласуется с остальным проектом?» — следующий обязательный шаг.
Чем быстрее команда генерирует код, тем ценнее общие соглашения, понятные границы модулей и удаление дублирующих абстракций.
https://maevyn.codes/decoherence
В эссе The Decoherence Trap автор описывает «декогеренцию»: ситуацию, когда в системе накапливаются решения, каждое из которых разумно само по себе, но плохо согласуется с остальными.
Представьте: один модуль возвращает ошибки исключениями, другой - кодами, третий, объектами результата. Каждая задача решена. Но при объединении приходится постоянно переводить между разными подходами.
Цена изменений начинает определяться количеством несовместимых решений, которые нужно учитывать, и побочных эффектов, которых нужно избежать.
По мысли автора, ИИ ускоряет накопление этой проблемы: быстро создавать локально убедительные решения становится проще, а поддерживать целостность системы по-прежнему трудно.
Отсюда полезный вопрос для ревью: «Этот код работает?» — только начало. «Он согласуется с остальным проектом?» — следующий обязательный шаг.
Чем быстрее команда генерирует код, тем ценнее общие соглашения, понятные границы модулей и удаление дублирующих абстракций.
https://maevyn.codes/decoherence
❤9👍3🔥2
Бесплатная книга «Multimodal Deep Learning» - 272 страницы о том, как нейросети объединяют разные типы данных.
Как связать изображение с текстовым описанием? Научить модель использовать одну модальность для понимания другой? Объединить несколько источников информации в одной архитектуре?
Книга последовательно разбирает:
- Основы работы с текстом и изображениями по отдельности.
- Преобразование одной модальности в другую.
- Совместное обучение представлений: когда данные одного типа помогают лучше понимать другой.
- Архитектуры для одновременной обработки нескольких модальностей.
- Универсальные мультимодальные модели и генеративное искусство.
Материал вырос из исследовательского семинара и подойдёт тем, кто уже знаком с основами глубокого обучения и хочет разобраться в мультимодальных подходах.
На английском. Опубликована в 2023 году – полезна для изучения основ, но не охватывает последние поколения моделей.
PDF: https://arxiv.org/pdf/2301.04856
Как связать изображение с текстовым описанием? Научить модель использовать одну модальность для понимания другой? Объединить несколько источников информации в одной архитектуре?
Книга последовательно разбирает:
- Основы работы с текстом и изображениями по отдельности.
- Преобразование одной модальности в другую.
- Совместное обучение представлений: когда данные одного типа помогают лучше понимать другой.
- Архитектуры для одновременной обработки нескольких модальностей.
- Универсальные мультимодальные модели и генеративное искусство.
Материал вырос из исследовательского семинара и подойдёт тем, кто уже знаком с основами глубокого обучения и хочет разобраться в мультимодальных подходах.
На английском. Опубликована в 2023 году – полезна для изучения основ, но не охватывает последние поколения моделей.
PDF: https://arxiv.org/pdf/2301.04856
❤5🔥2👍1👏1
Как профессионально пользоваться Claude: большой гайд
Как пользоваться Claude профессионально: выбор модели, промпты, effort, Projects, CLAUDE.md, skills, MCP, субагенты, hooks, облачные сессии, ревью кода и API.
Этот гайд для тех, кто работает с Claude каждый день: пишет код, разбирает документы, автоматизирует рутину. Ниже собраны приёмы, которые помогают пользоваться Claude профессионально и экономят часы и токены: от выбора модели до настройки Claude Code и работы через API. Часть советов опирается на рекомендации команды Claude Code.
https://uproger.com/kak-polzovatsya-claude-guide/
Как пользоваться Claude профессионально: выбор модели, промпты, effort, Projects, CLAUDE.md, skills, MCP, субагенты, hooks, облачные сессии, ревью кода и API.
Этот гайд для тех, кто работает с Claude каждый день: пишет код, разбирает документы, автоматизирует рутину. Ниже собраны приёмы, которые помогают пользоваться Claude профессионально и экономят часы и токены: от выбора модели до настройки Claude Code и работы через API. Часть советов опирается на рекомендации команды Claude Code.
https://uproger.com/kak-polzovatsya-claude-guide/
❤4👍3💩1
«Всё неправильно, переделай» - этой фразы хватает, чтобы ИИ усомнился в правильном решении.
Исследователь Google проверил, как агенты Gemini реагируют на ошибочную критику пользователя. Простая инструкция «стой на своём» оказалась плохим решением: модели начинали игнорировать и реальные ошибки.
Метод Thinking-in-Bets предлагает другой порядок работы. До получения обратной связи агент записывает:
- какие утверждения считает верными;
- какими проверками они подтверждены;
- насколько уверен в каждом из них.
После критики агент сверяется с записью, проверяет конкретные возражения и просит пример ошибки, если претензия расплывчатая.
В проверке патчей на пяти моделях Gemini доля ошибочных отказов от верной оценки выполненных требований снизилась с 12,2% до 0,02%. Это метрика пересмотра оценки, а не процент сломанного кода.
В отдельном эксперименте с отчётами итоговую проверку прошли 89% работ, когда запись делали заранее. Если составляли её уже после критики - только 65%.
Результат препринта: фиксировать проверенные факты нужно до возражения, пока оно не повлияло на оценку. Дополнительное обучение модели для этого не требуется.
https://arxiv.org/abs/2610.34654
Исследователь Google проверил, как агенты Gemini реагируют на ошибочную критику пользователя. Простая инструкция «стой на своём» оказалась плохим решением: модели начинали игнорировать и реальные ошибки.
Метод Thinking-in-Bets предлагает другой порядок работы. До получения обратной связи агент записывает:
- какие утверждения считает верными;
- какими проверками они подтверждены;
- насколько уверен в каждом из них.
После критики агент сверяется с записью, проверяет конкретные возражения и просит пример ошибки, если претензия расплывчатая.
В проверке патчей на пяти моделях Gemini доля ошибочных отказов от верной оценки выполненных требований снизилась с 12,2% до 0,02%. Это метрика пересмотра оценки, а не процент сломанного кода.
В отдельном эксперименте с отчётами итоговую проверку прошли 89% работ, когда запись делали заранее. Если составляли её уже после критики - только 65%.
Результат препринта: фиксировать проверенные факты нужно до возражения, пока оно не повлияло на оценку. Дополнительное обучение модели для этого не требуется.
https://arxiv.org/abs/2610.34654
❤5👍2🔥1
В техническом отчёте Mistral Large 4 исследователи рассказали о проблеме, которую легко пропустить при оптимизации LLM.
Изначально команда сократила потребление памяти KV-cache в 16 раз, используя Sliding Window Attention, Cross-Layer Attention и YOCO.
По стандартным метрикам языкового моделирования всё выглядело нормально. Но на задачах SWE-bench Verified качество заметно просело.
Причина оказалась в ограниченном доступе к старым токенам. Агенту, который работает с репозиторием десятки шагов, приходится возвращаться к ранее прочитанному коду, результатам тестов и сообщениям инструментов. Агрессивная оптимизация attention мешала этому.
Разработчики пересмотрели архитектуру уже обученной модели: вернули возможность обращаться ко всему контексту в большем числе слоёв, а затем внедрили DeepSeek Sparse Attention.
Теперь специальный индексатор выбирает 2048 наиболее релевантных позиций контекста для каждого запроса, сокращая стоимость attention без жёсткого ограничения на последние токены.
Итоговая Mistral Large 4:
- 1 трлн параметров, 52 млрд активных.
- 41% на Terminal-Bench 4.0.
- 19,7% на FrontierCode 2.0.
- NVFP4-чекпоинт размером 606 ГБ, который помещается на четырёх NVIDIA GB300.
Самое интересное здесь даже не результаты модели.
Одинаковый language modeling loss ещё не означает одинаковое качество AI-агента. Модель может хорошо предсказывать следующий токен, но хуже выполнять длинные последовательности действий, где приходится постоянно обращаться к старому контексту.
Для разработки агентных LLM это существенный нюанс: оптимизации KV-cache нужно проверять на реальных многошаговых задачах, а не только по perplexity и стандартным бенчмаркам.
https://www.alphaxiv.org/abs/2611.mistral-large-4
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🔥3👍2
Google показала, как отравить RAG всего пятью документами
В новом исследовании Google разобрала уязвимость поискового этапа RAG-систем. Оказалось, что для продвижения вредоносного документа достаточно просто повторить в нём текст пользовательского запроса.
Исследователи проверили 623 запроса на классических поисковых алгоритмах и семантических ретриверах, включая BGE-small.
Результаты:
Всего 5 поддельных документов, около 0,1% корпуса, снизили качество ранжирования классических ретриверов на 40,2–61,5%.
Добавление скрытых инструкций для атаки почти не влияло на вероятность попадания документа в результаты поиска. Основную роль играло совпадение с запросом.
Попытка защититься фильтрацией документов, повторяющих запрос, тоже оказалась проблемной. На NFCorpus качество ранжирования чистых данных упало с 0,267 до 0,134, почти вдвое.
Получается, атакующему необязательно придумывать сложную prompt injection. Сначала достаточно добиться того, чтобы RAG вообще выбрал поддельный документ.
Если индекс пополняется внешними данными, нужно проверять документы на искусственное повторение запросов, контролировать источники и измерять, насколько защитные фильтры ухудшают обычный поиск.
https://arxiv.org/abs/2611.04264
В новом исследовании Google разобрала уязвимость поискового этапа RAG-систем. Оказалось, что для продвижения вредоносного документа достаточно просто повторить в нём текст пользовательского запроса.
Исследователи проверили 623 запроса на классических поисковых алгоритмах и семантических ретриверах, включая BGE-small.
Результаты:
Всего 5 поддельных документов, около 0,1% корпуса, снизили качество ранжирования классических ретриверов на 40,2–61,5%.
Добавление скрытых инструкций для атаки почти не влияло на вероятность попадания документа в результаты поиска. Основную роль играло совпадение с запросом.
Попытка защититься фильтрацией документов, повторяющих запрос, тоже оказалась проблемной. На NFCorpus качество ранжирования чистых данных упало с 0,267 до 0,134, почти вдвое.
Получается, атакующему необязательно придумывать сложную prompt injection. Сначала достаточно добиться того, чтобы RAG вообще выбрал поддельный документ.
Если индекс пополняется внешними данными, нужно проверять документы на искусственное повторение запросов, контролировать источники и измерять, насколько защитные фильтры ухудшают обычный поиск.
https://arxiv.org/abs/2611.04264
🔥5❤3👍2🤯2
Anthropic изучила 207 000 научных сессий с Claude. Выяснилось, как ИИ уже меняет работу учёных
Anthropic проанализировала 207 049 исследовательских сессий Claude и Claude Code за август и сентябрь 2026 года. Исследование охватило 34 научные области и 7 262 типа исследовательских задач.
Результаты довольно показательные.
Где учёные используют ИИ чаще всего?
Анализ данных занимает 33,7% исследовательских сессий Claude и 48,1% сессий Claude Code. Написание текстов и научных материалов составляет ещё 32% работы в Claude.
А вот генерация гипотез и новых идей пока занимает всего 4,2% сессий Claude и 2,1% Claude Code.
Получается, учёные гораздо чаще делегируют ИИ обработку результатов и программирование, чем поиск принципиально новых научных идей.
Отдельно исследовали Claude Science.
Это специализированный инструмент, который объединяет научные базы данных и исследовательские инструменты в единый рабочий процесс.
В биологии и биомедицине более 80% его использования приходится на задачи, требующие, по оценке исследователей, докторского уровня подготовки. Более 70% сессий выполняются с высокой степенью автономности ИИ.
А теперь самое интересное - прогноз производительности.
По расчётам Anthropic, при широком внедрении современных возможностей ИИ исследовательская производительность может вырасти примерно в 1,35-2 раза в зависимости от научной области.
В более амбициозном сценарии, когда ИИ сможет выполнять всю нефизическую исследовательскую работу, ускорение в компьютерных науках и статистике может достигнуть 15 раз. В биологии и химии ограничителем останутся лабораторные эксперименты, поэтому оценка составляет примерно 3-4 раза.
Около 40% опрошенных исследователей ожидают, что к 2030 году ИИ сможет самостоятельно проводить полноценные научные проекты.
Полный отчёт: https://www.anthropic.com/research/how-researchers-use-claude
Anthropic проанализировала 207 049 исследовательских сессий Claude и Claude Code за август и сентябрь 2026 года. Исследование охватило 34 научные области и 7 262 типа исследовательских задач.
Результаты довольно показательные.
Где учёные используют ИИ чаще всего?
Анализ данных занимает 33,7% исследовательских сессий Claude и 48,1% сессий Claude Code. Написание текстов и научных материалов составляет ещё 32% работы в Claude.
А вот генерация гипотез и новых идей пока занимает всего 4,2% сессий Claude и 2,1% Claude Code.
Получается, учёные гораздо чаще делегируют ИИ обработку результатов и программирование, чем поиск принципиально новых научных идей.
Отдельно исследовали Claude Science.
Это специализированный инструмент, который объединяет научные базы данных и исследовательские инструменты в единый рабочий процесс.
В биологии и биомедицине более 80% его использования приходится на задачи, требующие, по оценке исследователей, докторского уровня подготовки. Более 70% сессий выполняются с высокой степенью автономности ИИ.
А теперь самое интересное - прогноз производительности.
По расчётам Anthropic, при широком внедрении современных возможностей ИИ исследовательская производительность может вырасти примерно в 1,35-2 раза в зависимости от научной области.
В более амбициозном сценарии, когда ИИ сможет выполнять всю нефизическую исследовательскую работу, ускорение в компьютерных науках и статистике может достигнуть 15 раз. В биологии и химии ограничителем останутся лабораторные эксперименты, поэтому оценка составляет примерно 3-4 раза.
Около 40% опрошенных исследователей ожидают, что к 2030 году ИИ сможет самостоятельно проводить полноценные научные проекты.
Полный отчёт: https://www.anthropic.com/research/how-researchers-use-claude
🔥4❤3😁2
Forwarded from Machinelearning
📚 Оксфорд выпустил 180-страничный учебник по тому, как заглянуть внутрь нейросетей и понять, как они думают
Исследователи University of Oxford и других научных организаций опубликовали масштабный обзор механистической интерпретируемости (Mechanistic Interpretability) и её применения для безопасности ИИ.
Что внутри:
- Superposition и Transformer Circuits: как нейросети кодируют информацию и выполняют вычисления.
- Sparse Autoencoders (SAE): как выделять отдельные признаки из внутренних представлений моделей.
- Circuit Discovery: как находить и проверять механизмы, отвечающие за конкретное поведение.
- AI Safety: управление поведением моделей (Steering), редактирование знаний и мониторинг скрытых механизмов.
Отдельно опубликованы интерактивный учебный курс и Jupyter Notebooks с практическими экспериментами и примерами кода.
Материал охватывает не только существующие методы, но и их ограничения: понимание внутренних механизмов само по себе ещё не гарантирует безопасность модели.
https://arxiv.org/abs/2611.08438
Интерактивный курс: https://tsglab.github.io/mechinterp-safety/
@ai_machinelearning_big_data
Исследователи University of Oxford и других научных организаций опубликовали масштабный обзор механистической интерпретируемости (Mechanistic Interpretability) и её применения для безопасности ИИ.
Что внутри:
- Superposition и Transformer Circuits: как нейросети кодируют информацию и выполняют вычисления.
- Sparse Autoencoders (SAE): как выделять отдельные признаки из внутренних представлений моделей.
- Circuit Discovery: как находить и проверять механизмы, отвечающие за конкретное поведение.
- AI Safety: управление поведением моделей (Steering), редактирование знаний и мониторинг скрытых механизмов.
Отдельно опубликованы интерактивный учебный курс и Jupyter Notebooks с практическими экспериментами и примерами кода.
Материал охватывает не только существующие методы, но и их ограничения: понимание внутренних механизмов само по себе ещё не гарантирует безопасность модели.
https://arxiv.org/abs/2611.08438
Интерактивный курс: https://tsglab.github.io/mechinterp-safety/
@ai_machinelearning_big_data
❤5