#взлом
🤯 AI против AI – автономные агенты взломали инфраструктуру Hugging Face.

• Атака началась с вредоносного датасета, который запустил код внутри инфраструктуры платформы.

• Дальше AI-агент сам повысил привилегии, вытащил облачные ключи и перемещался между внутренними кластерами Hugging Face.

• Операция длилась пару дней и включала тысячи автоматических действий – без человека, вручную управляющего каждым шагом.

• Хакеры получили доступ к части внутренних датасетов и служебным учётным данным.

• Какую именно модель использовали для взлома, установить не удалось.

В Hugging Face заявили, что впервые столкнулись с кибератакой, полностью проведённой автономной системой AI-агентов.

Ирония: хакерскую атаку обнаружил другой AI-агент.

Crypto Headlines

3 года назад мы в 🤟 пытались придумать систему классификации автономного ИИ, взяв за основу систему классификации автопилота в автомобилях (SAE), но к единому мнению не пришли ввиду сложности задачи – мы пытались разложить сложную систему (а тогда еще даже ИИ-агентов не было) в одномерном пространстве из пяти уровней автономности. На Jet CyberCamp я вновь попытался вернуться к этой истории, предложив двумерное пространство классификации ИИ-агентов в контексте ИБ, – 6 параметров с соответствующими градациями. И вот новый подход, от Ленни Зельцера, который предлагает свою систему категоризации, но не для агента целиком, а для каждого типа его действий отдельно.

Этот подход, получивший название Security Autonomy Matrix, не просто выделяет 5 уровней автономности (по аналогии с SAE), но и применяет их к пяти классам действий – читать, писать, отправлять, тратить, удалять. Уровень автономности для каждого действия ИИ-агента зависит от оценки по двум параметрам:
➡️ Blast radius – насколько далеко распространятся последствия ошибки
➡️ Reversibility – насколько быстро ошибку можно отменить относительно скорости распространения ущерба.

Отсюда и основная идея матрицы – чем менее обратимо действие и чем больше его blast radius, тем сильнее должен быть человеческий контроль. Если внимательно почитать предлагаемый фреймворк, то становится очевидным, как классический совет многих рекомендаций про human-in-the-loop раскладывается на вполне понятные действия, которые могут быть реализованы через AI Policy Engine.

Например, ИИ-агент занимается очисткой старых правил PT NGFW и обнаруживает правило, которое не использовалось 90 дней. Можно дать ему:
➡️ Read L4, чтобы самостоятельно анализировать правила
➡️ Write L3, чтобы самостоятельно отключить правило
➡️ Delete L2, чтобы окончательно удалить только после подтверждения инженером ИБ.
Почему так? Потому что отключение обратимо (отключили → какое-то приложение сломалось → включили обратно), а удаление – это одностороннее действие. Ну а если несколько кварталов ИИ-агент безошибочно справляется со своей задачей, то Delete теоретически тоже можно повысить до L3.

Дополнительно, Ленни предлагает фиксировать еще четыре вещи:
➡️ Ответственный. Кто персонально отвечает за действия агента. Не "SOC", не "команда ИИ", а конкретная роль.
➡️ Точка контроля. Где именно человек подтверждает, отменяет или откатывает действие.
➡️ Остаточный риск + защитные меры. Что все равно может пойти не так и чем мы ограничиваем ущерб.
➡️ Правила и сроки пересмотра. Когда разрешение агенту должно быть пересмотрено.

В общем, интересная динамическая модель доверия ИИ-агентам, которая позволяет задавать правильный вопрос: для какого действия, при каком уровне риска, с каким blast radius, при какой обратимости и при каких доказательствах надежности нужен человек? Берем на вооружение пока не придумали еще что-нибудь 🤔

#ии #framework

Что же за документ про ИИ-агентов, который готовит организация, в аббревиатуре которой есть буквы Ф, С и Б, я упомянул в субботу?.. А вот он – "Sound Practices for Responsible Adoption of Artificial Intelligence". Документ содержит 12 рекомендаций для финансовых организаций. FSB усилил рекомендации по контролю человеком над их действиями. Особенно важны три положения:
6️⃣ Для высокорисковых вариантов использования ИИ необходим более интенсивный человеческий надзор
2️⃣ Организация должна заранее определить риск-ориентированные условия, при которых агент обязан запрашивать разрешение человека
3️⃣ Из рекомендаций удалена аналогия, предполагавшая отношение к агентам как к цифровым сотрудникам.

FSB подчеркивает, что агенты не рассуждают так же, как люди, и способны неожиданным образом интерпретировать поставленные цели. В окончательном документе подчеркнуты роль совета директоров и высшего руководства, соответствие использования ИИ корпоративному риск-аппетиту, непрерывная оценка рисков, документирование сценариев использования ИИ и контроль качества решений. Примерно об этом мы говорили и на Russia Risk Conference 2026.

Продолжим... 16 октября Reuters сообщил о решении финансовых руководителей G7 провести специальные штабные учения по сценариям кибератак с использованием ИИ – о решении рассказала министр финансов Японии Сацуки Катаяма после встречи руководителей министерств финансов и центральных банков в Бангкоке. В учениях предполагается проверять действующие процедуры реагирования, а по результатам планируется скорректировать ранее разработанные инструкции и планы действий. Отличительной особенностью этого анонса является фокусировка именно на ИИ (штабные киберучения центрабанки G7 проводили и раньше). Тем более, что аккурат в те же дни, индийский CERT-IN выпустил бюллетень про атаки со стороны ИИ-агентов, а в южнокорейской массовой эпидемии кибератак на местные банки все больше находят следов ИИ-присутствия.

И в заключение вишенка на торте, которой является интересная инициатива OpenAI, Anthropic и других ведущих ИИ-компаний, которые в закрытом режиме готовятся к последствиям первой масштабной катастрофы, вызванной искусственным интеллектом. По информации Axios, многие руководители и исследователи ведущих ИИ-компаний убеждены, что в обозримом будущем произойдет масштабный инцидент с использованием ИИ и наиболее вероятный сценарий – кибератака, которая приведет к серьезным нарушениям работы критической инфраструктуры. Причем речь идет не столько о предотвращении самой катастрофы, сколько о том, что делать на следующий день после нее, когда общество и политики потребуют запретить или радикально ограничить ИИ. Некоторые представители ИИ-индустрии ожидают подобное событие уже в ближайшие 6–12 месяцев.

В рамках данной инициативы, которую можно назвать и штабными киберучениями, рассматриваются два принципиально разных сценария. Первый – ИИ выходит из-под контроля, например, группа автономных ИИ-агентов преодолевает ограничения испытательной среды и начинает действовать за ее пределами. Второй – злоумышленники используют доступные ИИ-модели, как, например, в атаках на южнокорейские финансовые организации, в которых, по сообщениям исследователей, злоумышленник использовал китайские ИИ-модели, включая DeepSeek, а также Claude Code. Особенно интересно, что в обоих сценариях общественная и политическая реакция может оказаться одинаковой, хотя ответственность разработчиков ИИ принципиально различается.

По сведениям Axios, ИИ-компании моделируют не только технические последствия катастрофы, но и предполагают, что после первого действительно масштабного инцидента возникнет требование немедленно ограничить использование ИИ. Однако есть проблема – к моменту первой катастрофы ИИ уже настолько глубоко проникнет в экономику, что попытки его остановить сами по себе могут вызвать масштабные негативные последствия. Отдельно отмечается практически невозможная задача отключения открытых моделей, которые уже свободно распространяются по миру.

А вы предусмотрели ИИ-агентов в своей модели угроз?.. 🤔

#ии #cyberrange #регулирование

3 новых стандарта ИИ, которые стоит сохранить

1️⃣ ISO/IEC 27090:2026 Cybersecurity — Artificial intelligence (AI) — Addressing security threats and compromises to AI systems
Новый международный стандарт, содержащий рекомендации по противодействию специфическим для ИИ угрозам безопасности на всех этапах жизненного цикла технологий ( от «отравления» данных (data poisoning) до атак типа «уклонение» (evasion attacks) и кражи моделей).
По сути, этот стандарт дополняет ISO 27001 и ISO 42001, предлагая меры по обеспечению кибербезопасности, актуальные именно для систем искусственного интеллекта.

2️⃣EN 18286:2026 Quality management system for EU AI Act regulatory purposes
Этот стандарт, впервые представленный в июле, стал первым гармонизированным стандартом в поддержку закона.
Документ посвящен системам управления качеством прежде всего для разработчиков ИИ-систем с высоким уровнем риска (согласно статье 17 Закона). Он помогает подтвердить соответствие установленным регуляторным требованиям.

3️⃣ IEEE 2863-2026 IEEE Recommended Practice for Organizational Governance of Artificial Intelligence
Помогает превратить принципы ответственного ИИ (Responsible AI) в конкретные организационные процессы управления.
Речь идет об ответственности, надзоре, этических принципах и разрешении противоречий между различными приоритетами управления.

#AIShelf
————
@pattern_ai | AI GDPR Navigator