https://owasp.org/www-project-ai-testing-guide

Руководство по тестированию систем ИИ от OWASP. Включает раздел моделирования угроз и методику тестирования.


inspired by ЭйАй Секур’илка

Обновлен Международный доклад по безопасности ИИ

Опубликовано второе обновление Международного доклада по безопасности ИИ, в котором описаны текущие меры по управлению рисками, связанными с инструментами ИИ.

Что интересно:
1. Атаки хакеров на ИИ успешны в 50% случаев: «Эшелонированная Защита» постоянно прорывается.
Несмотря на то, что разработчики ИИ внедряют стратегию «эшелонированной защиты» (defence-in-depth), комбинируя меры безопасности на этапах обучения, развертывания и мониторинга, этого часто оказывается недостаточно перед лицом изощренных злоумышленников.
Вывод: Это демонстрирует динамичный ландшафт «атака-защита»: разработчики совершенствуют методы, но хакеры постоянно находят новые способы вызвать нежелательное поведение.

2. Угроза «Отравления данных» делает атаки на ИИ невероятно дешевыми.
Источники подчеркивают опасный дисбаланс ресурсов между защитой и нападением: создание надежных систем дорого и сложно, тогда как их компрометация может быть удивительно дешевой.
Вывод: Низкая стоимость проведения атак «отравления данных» по сравнению со стоимостью разработки и поддержания надежных защитных механизмов создает серьезный риск для целостности и надежности систем ИИ.

3. Мощный ИИ с открытым кодом стал инструментом для создания незаконного контента.
Рост моделей с открытыми весами (open-weight models) — моделей, параметры которых свободно доступны для загрузки и модификации — резко изменил ландшафт рисков, поскольку контроль над ними утрачивается.
Вывод: Открытость способствует инновациям и прозрачности, но она также делает контроль за модификацией и использованием моделей практически невозможным, что подчеркивает, почему технические меры по управлению рисками для открытых моделей остаются незрелыми.

https://habr.com/ru/companies/angarasecurity/articles/976798/

“MLSecOps: системный взгляд на угрозы и защиту на каждом этапе разработки и внедрения моделей” - статья от Angara.

Global Cybersecurity Outlook 2026: Resilience Amid Geopolitical Fragmentation.

Отношение к новым технологиям (ИИ)

Существует разрыв в оценке рисков, связанных с искусственным интеллектом:
• CEO ставят уязвимости ИИ на второе место в списке своих опасений. Особенно это характерно для CEO высокоустойчивых организаций, которые видят в ИИ стратегический риск.
• CISO не включают уязвимости ИИ в свою тройку главных приоритетов, ставя их ниже традиционных угроз, таких как сбои в цепочках поставок и эксплуатация уязвимостей ПО.

Обновление CISO Radar от Wavestone - приоритеты для стратегии кибербезопасности до 2030

https://www.wavestone.com/en/insight/ciso-radar-top-30-actions-for-2030/

ИИ становится все значимей для кибербезопасности... ну и из-за популярности ИИ кибербезопасность становится все важнее. Баланс дело такое...

Тренды AI-безопасности к 2026 году

На основе обновлённой Responsible Scaling Policy (RSP) от Anthropic и AI Safety Report 2026 - того, как индустрия уже сейчас выстраивает AI-security 👇

1️⃣ AI Safety Levels (ASL) - безопасность пропорционально возможностям
Модели делятся на уровни - от ASL-1 до ASL-3+
Чем мощнее модель, тем строже меры:
• защита весов
• внутренние контроли
• многоуровневый мониторинг
• протоколы быстрого реагирования
Сейчас большинство систем - ASL-2, но движение к ASL-3 уже началось.

2️⃣ Многоуровневый мониторинг и anti-abuse
• real-time и асинхронный мониторинг
• red teaming перед деплоем
• поиск не только багов, но и сценариев злоупотреблений

3️⃣ Управление рисками мощных AI-систем
Речь уже не только про «взлом», но и про:
• дезинформацию
• манипуляции
• утечки данных
• нарушение приватности
AI-security = tech + social risks.

4️⃣ AI-безопасность как часть AppSec
Появляется AI-аналог OWASP!
• защита от prompt injection
• Secure AI Model Ops
• Zero Trust для моделей и данных
• контроль доступа к inference и training pipeline

5️⃣ Responsible scaling и внешняя экспертиза
Компании всё чаще привлекают внешних исследователей и сообщества для оценки рисков - безопасность перестаёт быть закрытой «внутренней темой».

Все!
😱🤯😳

Отчет Darktrace: готовность организаций к угрозам с ИИ

Компания Darktrace, занимающаяся разработкой решений в области кибербезопасности с применением искусственного интеллекта, выпустила отчет, в котором подробно анализируется, как искусственный интеллект меняет ландшафт киберугроз и готовность организаций к этим вызовам.

Этот отчет основан на множестве данных, собранных среди специалистов по кибербезопасности по всему миру, и выделяет ключевые тренды, угрозы и меры защиты, которые становятся приоритетными для организаций в условиях стремительного роста использования ИИ.

Угрозы, связанные с ИИ:
• Утечка конфиденциальных данных — 61%
• Нарушение приватности и безопасности данных — 56%
• Злоупотребление ИИ-инструментами — 51%
• Уязвимости в ИИ-моделях — 49%

Эти угрозы становятся особенно актуальными на фоне быстрого внедрения генеративных ИИ-инструментов и ИИ-агентов в корпоративные процессы. Более 70% организаций в США, Великобритании и Бразилии обеспокоены утечками данных. В то время как Италия и ОАЭ больше переживают о нарушениях регламентов и стандартов.

Готовность организаций к угрозам:
Организации не всегда успевают внедрить соответствующие меры безопасности. Политику безопасности для использования ИИ внедрили в 37% организаций, что на 8% меньше по сравнению с 45% в прошлом году. Это говорит о замедлении процесса разработки и внедрения стандартов безопасности.

Основные препятствия в защите от ИИ-угроз:
1. Недостаток знаний и опыта в области ИИ-технологий.
2. Нехватка персонала для управления новыми ИИ-инструментами.
3. Отсутствие интеграции между различными решениями безопасности, что затрудняет реагирование на угрозы.

Кроме того, лишь 54% компаний используют инструменты защиты от утечек данных (DLP) для защиты данных, связанных с ИИ-инструментами, несмотря на их важность в предотвращении утечек конфиденциальной информации.

Источник: https://eyes.etecs.ru/r/67d6b5

Отчет Delinea Labs анализирует динамику киберугроз в 2024 году и представляет прогноз развития рисков на 2025 год с акцентом на искусственный интеллект и защиту идентификационных данных. Авторы подчеркивают критическую опасность дипфейков, автоматизированного фишинга и эксплуатации нечеловеческих учетных записей (NHI), которые часто остаются без должного контроля.

1. Искусственный интеллект стал мощным инструментом в руках злоумышленников, радикально усложняя ландшафт угроз. В 2024 году ИИ способствовал резкому росту фишинга (на 202%) и случаев использования дипфейков (рост атак с подменой лица на 704%), которые позволяют обходить традиционные системы защиты.
2. Нечеловеческие личности (NHI) представляют собой огромную и часто игнорируемую зону риска. На каждую человеческую учетную запись приходится примерно 46 нечеловеческих личностей (сервисные аккаунты, API-ключи, боты), при этом более 70% из них не проходят ротацию в установленные сроки.
3. Системы идентификации и Active Directory остаются приоритетными целями для атак. Статистика показывает, что Active Directory является целью в 9 из 10 атак, а около половины инцидентов безопасности связаны с компрометацией или неправильной настройкой многофакторной аутентификации (MFA).

ПНСТ 1046-2026. "Искусственный интеллект в критической информационной инфраструктуре. Общие положения" https://protect.gost.ru/document1.aspx?control=31&baseC=6&page=1&month=3&year=2026&search=&id=271479