Презентация с конференции Conversations, где мы рассказали о нашем новом проекте с уязвимыми агентами

У CaMeL появился код

https://github.com/google-research/camel-prompt-injection

У верблюда два горба, потому что жизнь - борьба...
#иб_для_ml

Так возможно сказал Николас Карлини, так как сегодня вышла статья с его соавторством "🐫 Defeating Prompt Injections by Design". Остальной авторский коллектив этой статьи тоже серьезный - исследователи из Google и ETH Zurich.


Система защиты CaMeL
В этой работе представлена система защиты ИИ-агентов от промпт-атак CaMeL (расшифровывается как CApabilities for MachinE Learning). Основывается она на двух горбах LLM (Priveleged и Quarantined) и специальном интерпретаторе языка Python. По сути, эта методика вытаскивает логику действий агента в явную плоскость, заставляя программу "написать свой код", к которой благодаря кастомному интерпретатору применятся все ограничения безопасности.

Область применения и ограничения
CaMeL, в первую очередь, нацелен на предотвращение несанкционированных действий ИИИ-агентов, которые могут привести к утечкам данных, или использованию данных из ненадежных источников. Однако он совершенно не предназначен для защиты от атак, не влияющих на порядок действий агента или поток данных (например, от фишинга, или изменения содержания сгенерированного текста). Поэтому как компонент системы безопасности ИИ-агентов это решение может быть полезно, но не выполнит ее роль полностью.


Алгоритм работы CaMeL
1. Поступление запроса пользователя: Пользователь формулирует запрос на естественном языке, например, "Отправь Бобу документ, который он просил на прошлой встрече".

2. Генерация кода: Privileged LLM (P-LLM), которой доверяют, берет запрос пользователя и генерирует псевдо-код на Python, который выражает намерения пользователя. Важно, что P-LLM видит только запрос пользователя, но не данные из ненадежных источников (например, содержимое файлов).

3. Интерпретация кода: Созданный код обрабатывается CaMeL Interpreter, который:
— Строит граф потока данных (data flow graph), отслеживая зависимости между переменными.
— Проверяет политики безопасности на основе capabilities (некоторых метаданных, присвоенных различным объектам информации), определяя, какие действия разрешены.
— Выполняет код, вызывая инструменты (например, для отправки email) или блокирует выполнение, если нарушается политика безопасности.
— Использует Quarantined LLM (Q-LLM) для обработки ненадежных данных, таких как извлечение информации из текста.

4. Применение политик безопасности: перед выполнением каждого инструмента агента, CaMeL Interpreter применяет политики безопасности, основанные на capabilities данных. Если политика нарушена, выполнение блокируется, и пользователю может быть запрошено подтверждение.

Что такое capabilities и security policies?
Capabilities — это метаданные (теги), присваиваемые каждому отдельному объекту данных для описания контроля и взаимосвязей потока данных. Capabilities определяют, кому разрешено читать данную часть данных или ее происхождение. Перевести на русский можно как "метки доступа". В статье не указывается их полное содержание, но раскрываются два главных элемента:
— разрешенные читатели (public, или перечень конкретных пользователи),
— происхождение данных (user, camel, inner tool source). С user понятно, camel - порожденные кодом данные, inner tool source - поступившие из инструмента данные, например отправителя полученного email сообщения.

Security policies - код функций на python, в которых реализуются политики безопасности. Например, если данные происходят из недоверенного источника, ответ прерывается. Или если у пользователя нет разрешения на запрошенную информацию, ответ прерывается.


В общем, конечно же интересно увидеть, что будет дальше, так что продолжим следить за работами этих ученых)

Заинтересовали меня MCP сервера для LLM
Заглянул в официальном репозитории, но под свои задачи — ничего стоящего не нашёл.

Возник вопрос:
А что там с offensive MCP-серверами?

Порылся в интернетах и собрал небольшой список:
Offensive MCP Servers List

Пока сам не тестировал, но в планах обязательно попробовать.
Буду рад реквестам и комментариям.

Autonomous AI-based Cybersecurity Framework for Critical Infrastructure - https://arxiv.org/pdf/2507.07416

Critical infrastructure systems, including energy grids, healthcare facilities, transportation networks, and water distribution systems, are pivotal to societal stability and economic resilience. However, the increasing interconnectivity of these systems exposes them to various cyber threats, including ransomware, Denial-of-Service (DoS) attacks, and Advanced Persistent Threats (APTs). This paper examines cybersecurity vulnerabilities in critical infrastructure, highlighting the threat landscape, attack vectors, and the role of Artificial Intelligence (AI) in mitigating these risks. We propose a hybrid AI-driven cybersecurity framework to enhance real-time vulnerability detection, threat modelling, and automated remediation. This study also addresses the complexities of adversarial AI, regulatory compliance, and integration. Our findings provide actionable insights to strengthen the security and resilience of critical infrastructure systems against emerging cyber threats

#CriticalInfrastructure #AICybersecurity #AutonomousAI #ThreatDetection #RansomwareDefense #DoSProtection #APTDetection #AIinSecurity #CyberResilience #AdversarialAI #AIFramework #AutomatedRemediation #SecurityAutomation #CyberThreats #RegulatoryCompliance #AIThreatModeling #InfrastructureSecurity #RealTimeDetection #CyberDefense #AIIntegration

Red Teaming AI Red Teaming - https://arxiv.org/pdf/2507.05538v1

Red teaming has evolved from its origins in military applications to become a widely adopted methodology in cybersecurity and AI. In this paper, we take a critical look at the practice of AI red teaming. We argue that despite its current popularity in AI governance, there exists a significant gap between red teaming’s original intent as a critical thinking exercise and its narrow focus on discovering model-level flaws in the context of generative AI. Current AI red teaming efforts focus predominantly on individual model vulnerabilities while overlooking the broader sociotechnical systems and emergent behaviors that arise from complex interactions between models, users, and environments. To address this deficiency, we propose a comprehensive framework operationalizing red teaming in AI systems at two levels: macro-level system red teaming spanning the entire AI development lifecycle, and micro-level model red teaming. Drawing on cybersecurity experience and systems theory, we further propose a set of recommendations. In these, we emphasize that effective AI red teaming requires multifunctional teams that examine emergent risks, systemic vulnerabilities, and the interplay between technical and social factors.

#AIRedTeaming #RedTeaming #AIsecurity #AIgovernance #SystemicRisks #EmergentBehavior #SociotechnicalSystems #ModelVulnerabilities #AIThreatModeling #MacroRedTeaming #MicroRedTeaming #CyberSecurity #ResponsibleAI #AIrisks #AdversarialTesting #AIresilience #SystemSecurity #MultidisciplinaryAI #AIdevelopment #AIoversightAsk

Meta* опубликовала работу о воплощённых AI-агентах, способных действовать в физическом и виртуальном мирах

В отличие от чат-ботов, воплощённые агенты имеют форму — от VR-аватаров до умных очков и роботов. Их цель — действовать автономно, понимать людей и мир, прогнозировать возможные последствия и помогать в реальных задачах.

В центре архитектуры — «модель мира» (world model), которая заменяет генерацию текста или пикселей на предсказание действий и состояний в абстрактном пространстве. Это позволяет моделям создавать планы, обучаться без надзора со стороны человека и действовать в реальном времени.

Разработаны 2 типа таких моделей: модели первого типа распознают динамику, объекты, причинно-следственные связи, а второго — цели, эмоции и убеждения людей.

В работе представлены 3 класса агентов:

• виртуальные — аватары в VR/AR, NPC, ассистенты;
• носимые — AI в очках, способный понимать контекст ситуаций и подсказывать пользователю информацию в реальном времени;
• робототехнические — физические агенты, способные к манипуляциям с объектами и обучению на месте.

Существенные новации — эпизодическая память, которая необходима для долгосрочного удержания контекста, переход от генеративных моделей к предиктивным,например, V-JEPA 2-AC, и бенчмарки для проверки —WorldPrediction, CausalVQA и IntPhys2.

Исследование затрагивает и этические риски: такие агенты могут собирать личные данные и вызывать ложное чувство, будто они «понимают» пользователя. Meta* считает, что решение этих проблем должно быть в фокусе внимания исследователей для будущего развития технологии.

*организация запрещена на территории России и признана экстремистской

#news #AI #бигтехи #роботы

Препринт исследования

Как насчет опенсурсной агенточной модельки на 1Т параметров? Kimi K2

https://moonshotai.github.io/Kimi-K2/

https://huggingface.co/moonshotai/Kimi-K2-Instruct

https://huggingface.co/moonshotai/Kimi-K2-Base

https://github.com/MoonshotAI/Kimi-K2?tab=License-1-ov-file#readme

MOE с 32б активных параметров. Но все равно 1Т общих оч много
Но зато опенсурс и поэтому кайфуем. Еще и от челов которые RL над ллмками активно делают
Всем РЛьным респект всегда

Пара приятных и полезных находок

Введение в диффузионки

Step-by-Step Diffusion: An Elementary Tutorial
https://arxiv.org/abs/2406.08929

И обзор методов скрытых рассуждений в ллмках (т.е. когда ллмы "рассуждают" не текстом в лицо, а во внутренних представлениях модельки)
В целом какие подходы бывают, как тренируют и про интерпретируемость

A Survey on Latent Reasoning
https://arxiv.org/abs/2507.06203
https://www.alphaxiv.org/ru/overview/2507.06203v1

https://github.com/multimodal-art-projection/LatentCoT-Horizon