Фреймворк ИИ-ответственности, призванный прояснить, кто за что отвечает в обеспечении безопасности ИИ-систем, по аналогии с моделью "shared responsibility" в облаках. В нём даётся карта ответственности (responsibility matrix) между провайдером и заказчиком (или разработчиком), охватывающая разные модели развёртывания AI и разные домены безопасности. Проект охватывает 8 моделей развёртывания AI и 16 доменов безопасности (традиционные + специфичные для AI).

8 моделей развертывания ИИ:
6⃣ Публичная LLM-платформа → ChatGPT, Gemini, Claude
2⃣ Публичная LLM-платформа с API-интеграцией → API-доступ к GPT, Anthropic, Cohere
3⃣ SaaS-продукт с AI-функциями → Notion AI, GitHub Copilot
4⃣ Вендорская модель, размещённая в облаке клиента (Managed AI) → Azure OpenAI, Bedrock, Vertex AI
5⃣ Самостоятельно развёрнутая LLM (on-prem / частное облако) → Llama 3, Mistral, Falcon на своих серверах
6⃣ Встроенный AI-модуль в программный продукт → ERP с ML-анализом или рекомендациями
7⃣ Специализированное AI-решение под конкретный домен → AI для SOC, антифрод, медицинская диагностика
8⃣ Разработка собственной модели с нуля / fine-tuning → внутренние R&D-команды

16 доменов ИБ:
6⃣ Управление идентификацией и доступом (IAM)
2⃣ Управление данными и приватностью
3⃣ Шифрование данных "на лету" и "на хранении"
4⃣ Регистрация событий/промптов и аудит обращений к модели
5⃣ Управление уязвимостями и патчами
6⃣ Безопасность кода и зависимостей
7⃣ Управление жизненным циклом модели (ModelOps)
8⃣ Управление обучающими данными
9⃣ Мониторинг дрейфа модели и метрик
6⃣1⃣ Обнаружение атак на модель (poisoning, inversion, extraction)
6⃣6⃣ Безопасность API и оконечных устройств
6⃣2⃣ Соответствие нормативным требованиям (compliance, GDPR, ИИ-акты и т.п.)
6⃣3⃣ Этические и репутационные риски
6⃣4⃣ Непрерывность бизнеса и отказоустойчивость ИИ-сервисов
6⃣5⃣ Реагирование на инциденты и реагирование на утечки / атаки
6⃣6⃣ Поверхность атаки и тестирование безопасности (red teaming / оценка защищенности).

📎ТК164 опубликовал окончательную версию проекта стандарта ГОСТ Р "Искусственный интеллект в критической информационной инфраструктуре. Общие положения"

Cloud Security Alliance обновила свое руководство по моделированию угроз для облачных сред🛡

Новая версия учитывает специфику ИИ-систем, которые активно внедряются и размещаются в облачных средах.
В документе:
🔗описаны различные фреймворки, используемые для идентификации, анализа и приоритизации угроз , в т.ч. узкоспециализированные для ИИ-систем (PLOT4AI, MAESTRO, NIST AI RMF).
🔗описан жизненный цикл процесса моделирования угроз без привязки к фреймворкам, нюансы моделирования угроз для облачных сред, метрики и модель зрелости процесса.
🔗приведено руководство по созданию моделей угроз и пример моделирования.
🔗представлен обзор инструментов и платформ моделирования угроз, в т.ч. ИИ-инструменты (KaliGPT, SecML и т.п.).

p.s. Напоминаю, что вообще есть большой гайд по различным фреймворкам и инструментам моделирования угроз, который периодически обновляется.

#cloud #threat #modelling #ai #framework

❤️ Кибербезопасность ИИ. Часть 3. Регулирование, стандартизация и кибербезопасность ИИ

В настоящее время вопрос регулирования и применения ИИ постоянно обсуждается на самих высоких уровнях, а отрасль ИИ, несмотря на скепсис и опасения, не стала «пузырём» и продолжает активно развиваться, проникая во многие сферы и способствуя развитию смежных сегментов экономики.

❗️ Однако, столь стремительная интеграция активно эволюционирующей технологии неизбежно поднимает технические и правовые вопросы безопасности, надежности и этичности её использования.

📎 В новой статье в блоге осветили текущее состояние российского и международного законодательства в области ИИ, перечислили разнообразные стандарты и фреймворки управления рисками ИИ, раскрыли принципы атак на системы ИИ и меры защиты, а также поговорили о нарастающих трендах.