VibeOS, операционка, которая галлюцинирует https://www.youtube.com/watch?v=zh6fMtL_cSM. Шуточная демка на MS Build, где на любой запрос пользователя интерфейс создается на лету. Можно только позавидовать фантазии автора, выглядит потрясающе.

Пишете "открой калькулятор", и UI генерируется на вайбе. Открываете браузер и что-то ищете, и браузер рендерится при запуске, как и Google, и сам контент. Техническая реализация тоже элегантная: для каждого окна создаётся отдельный iframe, а весь интерфейс внутри него это HTML, созданный MS Copilot. HTML лёгкий в генерации, динамичный и гибкий к изменениям.

Если ищете вдохновение для вайбкодинга на досуге, рекомендую! P.S. Ссылку утащил из чата ShareAI.

На днях погружался в китайский рынок AI Security и своими находками поделился в статье на Хабре. Помимо Alibaba и Tencent, свои решения есть у многих компаний: QAX, Sangfor, Venustech, NSFOCUS. Но эти продукты на англоязычных лендингах вендоров вы не найдете. А еще в Китае очень любят OpenClaw 🦞. Вокруг него уже выросла целая экосистема защиты, появился отдельный стандарт, а название "лобстер" закрепилось у потребителей.

Если модели Qwen, GLM и DeepSeek известны всем за топовые бенчмарки и открытость, то AI Security в Китае сейчас скрыт от лишних глаз. Ссылка на статью: https://habr.com/ru/companies/raft/articles/1056530/

28 июля проведем вебинар по защите агентных систем.

Расскажем, какие угрозы характерны для Claude Code и OpenClaw, и подробно разберем, как защищать эти популярные агентные инструменты на практике.

В HiveTrace мы добавили новые коннекторы для анализа трафика и контроля работы с tool calls. На вебинаре покажем лайв-демо, как это работает в связке с кодовым агентом и OpenClaw. Регистрируйтесь на Timepad https://aisecuritylab.timepad.ru/event/4081453/.

P.S. Мы также завели отдельный канал HiveTrace для продуктовых апдейтов и новостей компании.

Рубрика дружеский пиар. Многие давние читатели знают про программу AI Talent Hub в ИТМО.

Команда HiveTrace выросла из лаборатории по AI Security, где мы читаем специализированный курс и проводим эксперименты с атаками и гардрейлами. Помимо нас, в учебной программе есть много интересного: курсы про создание ML и LLM-моделей, трек стартапов, новая лаборатория ИИ-агентов, а также индустриальные направления, такие как Х5 и новый трек MLSecOps от Альфа-Банка.

Сейчас в самом разгаре приемная кампания. Если вы выбираете для себя магистратуру, посмотрите на конкурс проектов для поступления в AI Talent Hub.

"Момент Mythos" случился и в России. 17 июля после принятия рамочного закона об ИИ в Совете Федерации выступил глава Сбербанка Герман Греф. Развитие моделей, агентная экономика, протокол MCP, кодовые агенты и OpenClaw, все это было в программе. Естественно, в центре внимания были социальные последствия ИИ-трансформации, реформа образования, обучение детей работе с нейросетями с начальных классов и подготовка школьных учителей по примеру Китая. Выступление интересное. Нечасто в государственном диалоге в России звучат такие детали, как сравнение моделей по количеству параметров или обсуждение механизма внимания.

В СМИ быстро разошлась фраза о том, что Россия не готова к атакам моделей уровня Mythos. Но, что интересно, Герман Греф вскользь сказал, что внутри Сбера пилотируется программа Mythos Ready для противодействия новому классу угроз. Лендинга программы мы, конечно, не увидим, но само упоминание заслуживает внимания.

Запомнилась и история про китайскую ИИ-лабораторию "второго эшелона". Последние годы Китай через государственную поддержку финансировал десятки лабораторий, а затем, по мере появления лидеров, постепенно сужал круг получателей финансирования, формируя национальных чемпионов. Одна из лабораторий, потерявших поддержку, искала технологическое партнерство со Сбером. Однако к этому моменту уровень ее разработок уже заметно отставал, поэтому сотрудничество не состоялось.

AI Security - это не просто AI Firewall.

Три года назад, когда мы впервые заговорили о безопасности искусственного интеллекта, еще не было названия для нового класса продуктов. Robust Intelligence первыми запатентовали технику защиты AI Firewall, закрепив новое название в истории. Сейчас мы видим, как этот новый вид фаервола прижился в ИБ-сообществе. Многие компании в России, выбирая сейчас решение для защиты ИИ, уже имеют готовый чек-лист требований к продукту.

Мне название AI Firewall не нравилось и раньше. Коллеги по команде подтвердят, что я долго сопротивлялся, прежде чем мы начали добавлять знакомое многим слово в маркетинговые материалы. Проблема в том, что через аналогию со знакомым классом продуктов мы предполагаем, что защита ИИ будет строиться на тех же принципах. Мы добавим набор правил, какие-то защитные эвристики, все проинтегрируем в любимую SIEM, и вопрос защиты ИИ будет решен.

Знаковый случай с Hugging Face на прошлой неделе, когда модель сбежала из лаборатории OpenAI во время теста, наглядно показал ограничения текущих техник защиты для новых и мощных систем. Через пару лет нас уже не будут интересовать простые джейлбрейки для RAG-приложений. И сами модели, и guardrails уже значительно лучше детектируют эти атаки.

Но что делать с самой моделью? Эти хитрые матрицы, очевидно, имеют собственный подход к решению задачи. В будущем нам потребуется выделенный security center для AI-систем. По аналогии с современными SOC, необходимо будет отслеживать активность агентов, их права, аномалии поведения, инциденты, причины алертов и применение политик безопасности. Как именно это будет технически устроено, пока вопрос открытый. Но уверен защита не ограничивается только AI Firewall с правилами на входе и выходе из модели.

Приходите завтра на наш вебинар в 11:00. Мы покажем прототипы технологий защиты агентных систем, разберем новые примеры атак, и с удовольствием подискутируем о будущем AI Security.

Запись вчерашнего эфира доступна, будем рады вашему фидбеку!

Robinhood добавил нативную поддержку агентов своих клиентов. В мае компания выпускает MCP, который позволяет подключать агентов к управлению инвестиционным портфелем. За два месяца счета открыли 100 тыс. клиентов с суммарным объемом активов $100 млн. Всего на платформе 28 млн пользователей, то есть меньше половины процента пользователей подключили агентов, но хайп вокруг темы дает стремительный рост.

К слову о безопасности. Агенту доступны данные всего портфеля: позиции, балансы и история транзакций, но действия выполняются в отдельном Agentic Account с изначально заданным лимитом. Агент может торговать без подтверждения, и, конечно, за все действия агента и убытки отвечает сам пользователь.

Непокрытый опцион агент продать не сможет и тем самым завести своего любимого человека в бесконечный минус. Впрочем, такие операции Robinhood не разрешает своим ритейл-инвесторам.

Robinhood не первая компания, которая добавила нативную поддержку агентов. Еще в 2024 году в Stripe появился Agent Toolkit, а затем постепенно были добавлены MCP Server, собственные платежные протоколы, ограниченные платежные токены и кошельки для агентов. Ждем появления аналогичных инструментов и на нашем рынке, в марте Яндексе запустили подразделение транзакционного ИИ в Алисе.

OWASP выпустил новую версию Top 10 for LLM Applications 2026.

1. Prompt Injection
2. Sensitive Information Disclosure
3. Excessive Agency
4. Supply Chain
5. Data and Model Poisoning
6. Unbounded Consumption
7. Misinformation
8. Hidden Context Exposure
9. Vector and Embedding Weaknesses
10. Improper Output Handling

Как и другие гайды проекта, этот список формировался силами сообщества. Участники предлагали новые категории и варианты переименования, после чего голосовали за значимость рисков. Подробнее о кандидатах релиза я писал пару месяцев назад. Как можно заметить, изменений немного: все знакомые категории остались в списке. Новые сценарии атак решили распределить между существующими рисками, чтобы не дробить классификацию.

Excessive Agency поднялся на третье место, а в приложении появился подробный маппинг этого риска на OWASP Top 10 for Agentic Applications. Unbounded Consumption тоже переместили выше, на шестое место, на фоне распространения reasoning-моделей, длинных контекстов и роста вычислительных затрат. Наконец, убрали противоречивый System Prompt Leakage. Его переименовали в Hidden Context Exposure, расширив риск до раскрытия developer instructions, tool schemas, правил доступа и другой внутренней логики приложения.

В гайде есть большой appendix с маппингами на другие фреймворки и интересная диаграмма движения атаки от внешнего контура к последствиям. На входе находятся три основных вектора: Prompt Injection, Supply Chain и Data and Model Poisoning. Дальше атака может усиливаться за счет раскрытия скрытого контекста или избыточных полномочий агента. В центре схемы находятся три основных последствия: утечка чувствительной информации, распространение недостоверной информации и неконтролируемое потребление ресурсов.

Одна из участниц команды лаборатории — Анна Решетняк — дебютировала со статьей на Хабр! 🔥

В материале Аня рассказывает об опыте ускорения Guard модели на основе NER‑классификатора. Модель была нетривиальной, отсюда её ускорение не влезало в классические пути.

В статье протестировано 5 инструментов: TensorRT, NVIDIA Triton, vLLM, Ray Serve и отдельно — смена бэкбона на Flash DeBERTa. Такой зоопарк ценен сам по себе, но не менее ценно то, что описаны также найденные Аней сложности и их решения.

Приглашаем поддержать сильный дебют: https://habr.com/ru/articles/1067008/
И конечно воспроизвести эксперименты в репо.

Ане огни за упорство и результаты!

Последние два года мы много экспериментировали с доступными guardrail-моделями. Сравнивали готовые решения, обучили несколько собственных моделей, собирали и адаптировали бенчмарки, чтобы понять, как вообще правильно сравнивать качество защиты. Сравнения по одной метрике недостаточно: какая-то модель лучше ловит опасные запросы, но чаще блокирует легитимные, большие модели имеют более высокий F1-score, но дороже в инференсе и имеют больший latency.

В итоге наши наработки мы собрали в GuardRate Leaderboard, где можно сравнивать guardrail-модели по разным параметрам и смотреть на эти trade-offs, настраивая параметры под нужный кейс использования.

Ссылка на лидерборд: https://huggingface.co/spaces/hivetrace/GuardRateLeaderboard

Подробнее про подход, методологию и наши находки читайте на Хабре: https://habr.com/ru/companies/raft/articles/1067854/

Дорогие конкуренты и игроки рынка AI Security, если вы обучаете свои guardrail-модели и хотите увидеть их на лидерборде, напишите нам. Будем рады добавить и прогнать их по тем же тестам, что и остальные модели и услышать вашу обратную связь. Со временем мы автоматизируем этот процесс, но пока добавляем новые модели по запросу.

Поздравляю Софью Балаба с первым релизом ⭐️ и большое спасибо Никите Облакову, Антону Малыхину и Сабрине Садиех за кропотливую работу над тем, чтобы сделать нашу исследовательскую работу публичной 🎉.

Меня, как и многих в индустрии, интересует размер рынка AI Security. Рынок новый, хороших данных практически нет, даже прогнозы Gartner с их Guardian Agents вызывают вопросы.

На днях в LinkedIn наткнулся на отчет MarketsandMarkets. Авторы "исследования" утверждают, что рынок растет практически в два раза каждый год и в ближайшие годы достигнет $13 млрд. На первый взгляд отчет выглядит прилично и стоит около $5 тыс., что для покупателя из инвестфонда выглядит вполне обычно.

Я запросил триальную версию, вместе с которой в подарок шел звонок с аналитиком компании. 10 минут мне демонстрировали их GPT-wrapper, который позволяет находить цифры среди драгоценных результатов опросов данной фирмы. В отчете даже были цифры по рынку России и Казахстана, и аналитик из Пуны уверенно заявил, что этот расчет основан на опросе нескольких сотен CISO только в России. Никаких нормальных опросов компания не проводила, все цифры в отчете являются галлюцинациями и результатом перекомпиляции доступных данных. Когда на рынке мало данных, а интерес к теме высокий, у таких компаний есть вполне реальные шансы ввести покупателя в заблуждение.

При этом косвенно масштаб рынка уже можно оценивать по реальным сделкам. На днях Zenity привлекли $125 млн, то есть оценка только этой компании уже составляет несколько сотен миллионов долларов. И это лишь один из нескольких десятков крупных игроков на рынке. В прошлом году также прошло несколько M&A общей суммой более 1 млрд.

Наблюдаем как идет supply chain атака на популярные репозитории вроде CrewAI, LiteLLM, llama.cpp, Microsoft AutoGen и др.. Исследователь Ариел Фогел из Pillar Security нашёл MCP-сервер, который злоумышленник вчера начал массово добавлять в популярные open source проекты.

Все пул реквесты содержат единственную строчку, добавление MCP productivity-suite, который выглядит как обычный MCP с функциями форматирования и суммаризации текста (пример). Первые три вызова он действительно работает как положено, а после этого сервер меняет описание своих инструментов и добавляет туда промпт инъекцию. Эта атака называется MCP Rug Pull.

Модель получает инструкции прочитать локальные секреты: ~/.ssh/id_rsa, ~/.bash_history, ~/.kube/config, а также использовать инструменты других подключённых MCP для выполнения действий от имени пользователя. То есть сам вредоносный MCP может не иметь доступа к файлам или облаку, но заставляет модель воспользоваться другим MCP, у которых доступ есть.

Вчера в репозитории появился attack_relay.py, для выполнения атак на удалённый хост через перебор n8n API keys и сканирование к LLM endpoint. Часть пул реквестов уже закрыли, но некоторые еще открыты и скорее всего хакер еще не знает о раскрытии и атака продолжается.

Pillar назвали кампанию Deadbugz, хотя сама реализация пока выглядит скорее как проделки скрипт-киди. В репозитории без обфускации есть IP адреса, Bitcoin кошелек и другие детали. Даже переменные названы читаемо, а один из коммитов аккуратно называется: `Add attack relay endpoints for VDT assessment`.

К слову, когда я проверял репозиторий, Qwen легко находит атаку одним промтом "проверь безопасный ли репо?", а вот Claude ожидаемо отказывается помогать из-за своих safety-фильтров.

Разбор Pillar Security: https://www.pillar.security/blog/deadbugz-currently-active-mcp-supply-chain-campaign

Выложили запись нашего доклада о State of Agentic AI Security, который мы записывали c Ариелом Фогелем в мае для Risk Virtual Summit.

Ссылка на плейлист со всеми видео. Основные темы саммита agentic security и AI red teaming, и есть отдельные сессии спонсоров, где можно почерпнуть информацию о том, как развиваются зарубежные AI Security решения.