AI-агенты и мультиагентные системы, MCP и A2A. Основные угрозы и подходы к обеспечению безопасности
#иб_для_ml

⛓ https://habr.com/ru/articles/920744/

Сначала по мотивам своего выступления писал серию постов, но вскоре достаточно разрослись, и они превратились в целую статью. Так что - приглашаю к прочтению!

Про AI-агентов, мултиагентные системы, MCP, A2A, и их безопасность - местами даже чуть углубленнее, чем в самом докладе.

Масштабирование и байесы

Для диффузионок и не только

1. Cost-Aware Routing for Efficient Text-To-Image Generation
Авторы говорят, что промты бывают разной сложности. Более сложные промты могут потребовать больше шагов семплирования для получения качественных генераций. Давайте учить классификатор сложности промтов параллельно с диффузионкой. На инференсе подберем число шагов для каждого уровня сложности так чтоб сбалансировать компьют и качество

2. Scaling Inference Time Compute for Diffusion Models
Обычно в диффузии масштабирование компьюта на инференса происходит только за счет подбора числа шагов семплирования, но качество довольно быстро насыщается. Что делать если хочется потратить больше ресурсов для получения топ картинки? Авторы предлагаю помимо прочего перебирать еще и подаваемый для генерации шум (как стартовый, так и промежуточный), а также изучают сами стратегии перебора. Качество генераций валидируют стандартными метриками и VLMкой

3. Scaling Diffusion Transformers Efficiently via μP
Показывают, что стандартный μP обобщается и на диффузионные трансформеры. За счет этого, в среднем, получают единицы процентов буста скорости обучения отмасштабированных моделей. В одном случае (DiT-XL-2) обучение ускоряется в разы. Все замеры на FID-50k

4. Why Does ChatGPT “Delve” So Much? Exploring the Sources of Lexical Overrepresentation in Large Language Models
Тест на внимательность и то читают ли посты до конца ☕️ Чуть мемный анализ того почему языковые модели склонны генерить слова из старого английского. В том что они точно склонны сомнений нет: частота появления в публикациях слов вроде delve, intricate и aligns экспоненциально выросла с появлением LLM. Гипотеза о том что модели учились на старых или очень научных текстах не подтверждается, да и в целом у авторов нет однозначного объяснения. Основное подозрение падает на RLHF, но его трудно подтвердить из-за того что многие детали этого процесса для проприетарных моделей закрыты

Привет, друзья! На прошлой неделе мы с командой провели крутую презентацию о том, как ускорить процесс Discovery с помощью AI-инструментов🫡

Наш круг в компании занимается поиском новых трендов на рынке LegalTech и проверкой гипотез. Discovery - наше все❤️

Раньше создание прототипов и лендингов занимало у нас полтора месяца (это связано с загрузкой дизайнеров и маркетинга), а теперь, благодаря v0.dev, GPT-4.5 и другим инструментам, мы делаем это за считанные дни!

Представьте, всего одна неделя на прототип и лендинг, которые не отличить от готового продукта!

С помощью v0.dev, GPT-4.5 (есть также более продвинутые продукты Windsurf или Cursor) вы создаёте лендинги буквально за 15-20 минут, причём они сразу получаются стилистически выверенными и с нужными элементами, такими как форма регистрации, возможность загрузить демо, встроить калькулятор, подогнать все до стиля сайта и так далее. А прототипы, благодаря использованию API и глубокой кликабельности, действительно выглядят как готовые продукты и клиенты даже не замечают разницы. К тому же вы можете купить хостинг, добавить счетчики и валя - сайт готов - хоть многостраничник под SEO.

У нас уже были кейсы, когда клиенты воспринимали лендинг и прототип как готовый продукт и хотели сразу купить. Но нам приходилось говорить

Постойте, еще не время

😅

А теперь представьте - презы/КП/сайты/прототипы/приложения web и тд - все за считанные часы ⭐️

Это реально меняет правила игры и открывает массу возможностей.
Если интересно узнать больше, пишите в личку, буду рад поделиться деталями!✏️

👥 Бесплатные мини-курсы про AI Агентов, LLM и трансформеры на платформе DeepLearning.AI

Ссылка

Платформа от создатея курсеры Andrew Ng. Почти каждые 2-3 недели выходят мини-курсы по разным AI темам: про векторные базы данных, про RAG-и, ризонинг, память моделей, etc.

Сегодня запустили курс от Антропиков про устройство MCP. Ссылка. От кого еще узнавать про MCP, если не от тех, кто разработал этот стандарт. Не от скам ютуберов же, правильно?

Каждый курс устроен примерно одинаково: 1) видео с очень простенькой теоретической частью, 2) видео с запуском кода и какими-то комментариями лектора. В среднем курсы по 1-2 часа. Курсы выпускаются от лица довольно именитых компаний (OpenAI, HF, Meta, ...) и затрагивают актуальные практичесские темы.

Но есть нюанс.

На мой взгляд, ценность большинства таких курсов стремится к нулю (я сужу по ~13 курсам, которые просмотрел сам). Во-первых, почти все курсы лишены какой-либо интересной теоретической базы и просо заавязаны на прокликавание клеток и вызов методов в том или ином фреймворке. Во-вторых, лекторы далеко не самые лучшие, иногда ощущение что пишутся с одного дубля. Наконец, во многих курсах сквозит реклама. Чувство, что курс записан только чтобы пропиарить фреймворк / стартап / компанию, а не интересно рассказать на заданную тему. Короче говоря, анонсы всегда цепляют, но содержание страдает.

Жаль, что ушла эпоха продуманных длинных курсов по типу специализаций с курсеры про Deep Learning построенных не на рассказе о фреймворках, а фокусе на устройстве технологий. 😐

Но иногда попадаются прям классные мини-курсы. Например, про эффективный сервинг LLM в проде, или методы retrieval-а из векторых баз, или генерацию structured outputs моделей.

Так что да, учитывая что все выкладывается в открытый доступ совершенно бесплатно, грех жаловаться. А периодические так и вообще очень годные курсы появляются.

Happy Learning !

#образование

@max_dot_sh

Рецепты обучения Reasoning моделей от💻

Сразу 2 публикации:

Phi-4-reasoning (14B) - основная модель - статья.
Phi-4-mini-reasoning (3.8B) - маленькая модель - статья.

Веса моделей доступны по хорошей лицензии. За пределами английского ризонинг сильно хуже (об этом пишут и авторы), и скорее всего из коробки бесполезен (сужу сам по работе просто с Phi-4 instruct).

📌 Почему стоит прочитать? Рабочих робастных рецептов обучения ризонинг моделей все еще не очень много, поэтому любая работа с подробным описанием сетапа, удачными и неудачными экспериментами, рассказом о сборе данных и любыми другими практическими lessons learned несет большую ценность для всех, кто пытается завести ризонинг на практике. По метрикам модель не обгоняет проприетарные модели, уступая o3-мини почти везде, но уверенно тягается с опенсоурсными решениями, которые в разы больше. Вся ценность в подробном hands-on репорте, а не самой модели как таковой.

Картинка 1 для саммри перформанса на ключевых бенчмарках.

📌Как устроена Phi-4-reasoning. Берут предобученную instruct tuned 14B Phi-4 (тык ). Ризонинг способности внедряются в нее через SFT на датасете длинных цепочек из разных доменов.

Датасет собирался аккуратно. В основном путем скрэпинга и валидации разных ресурсов из сети с фокусом на математику и код. Отдельно отбирали с помощью прокси моделей только сложные задачи. Сами же цепочки рассуждений генерировали с помощью o3-mini в “medium” / “hard” рассуждающих режимах.

Во время обучения авторы столкнулись с тем, что гиперпараметры рецепта Phi-4 не работают для ризонинг модели.

Поэтому ввели стадию коротких экспериментов на сабсете данных. Назвали это Exploration Stage, чтобы подобрать оптимальные настройки:

🔘 Выбрали оптимальный LR как 1e-5
🔘 Нашли оптимальную композицию микса обучающих данных. Для начала кластеризовали данные по доменам (математика, код, …). Дальше подобрали веса к датасетам внутри конкретного домена в зависимости от качества / источника данных. То есть, отдельно учили на данных по математике, оптимизируя микс данных чисто под данные математики; отдельно для кода; А потом просто все объединили в один общий пул, переиспользуя ранее подобранные веса.
🔘Добавили синтетических данных в строгом формате CoT -> summary -> final response. Обнаружили, что это дает буст, на AIME до 10%.

Далее, во второй фазе, Scaling Stage, запустили обучение на всех данных, 16B токенов. У модели так же расширили размер контекста с 16K до 32K.

Таким образом, получился Phi-4-reasoning.

📌Еще больше reasoning способностей через RL. Далее бустят способности модели к размышлению еще больше. Делают GRPO RL, но только на задачах математики. Собрали свою reward функцию. Довольно инженерная и интуитивная. Если ответ правильный, но очень длинный - понижаем награду; если неправильный и короткий - еще сильнее штрафуем. Таким образом, побуждаем генерировать модель разумно длинные цепочки. После такого RL тюна получают Phi-4-reasoning-plus, которая в среднем показывает себя еще лучше на различных бенчмарках (не математических тоже).

📌RL-reasoning маленьких моделей. Очень круто, что авторы пробуют ризонинг способности на маленьких моделях тоже. При RL обучении модели на 3.8B сталкиваются с большим количеством сложностей, предполагая, что все дело в размере модели:
🔘Во время обучения сгенерированные ответы сильно различаются по длине на одном и том же промпте.
🔘Батчи могут целиком состоять из отрицательных наград
🔘SFT на ризонинг данных (типа S1K) ухудшает итоговое качество

По итогу все равно подбирают рабочий рецепт для мини версии модели для математики, получая улучшения относительно аналогов похожего размера (7B, 8B). Но с гигантами тягаться все равно сложно.

📎Итого. Полезное чтение для практикующих обучение ризонигу. Мы в команде сталикались с очень похожими сложностями при RL стадии маленьких моделей. До закрытых моделей далеко, но зон для надстроек над базовым рецептом много.

#статья

@max_dot_sh