Отчет Delinea Labs анализирует динамику киберугроз в 2024 году и представляет прогноз развития рисков на 2025 год с акцентом на искусственный интеллект и защиту идентификационных данных. Авторы подчеркивают критическую опасность дипфейков, автоматизированного фишинга и эксплуатации нечеловеческих учетных записей (NHI), которые часто остаются без должного контроля.

1. Искусственный интеллект стал мощным инструментом в руках злоумышленников, радикально усложняя ландшафт угроз. В 2024 году ИИ способствовал резкому росту фишинга (на 202%) и случаев использования дипфейков (рост атак с подменой лица на 704%), которые позволяют обходить традиционные системы защиты.
2. Нечеловеческие личности (NHI) представляют собой огромную и часто игнорируемую зону риска. На каждую человеческую учетную запись приходится примерно 46 нечеловеческих личностей (сервисные аккаунты, API-ключи, боты), при этом более 70% из них не проходят ротацию в установленные сроки.
3. Системы идентификации и Active Directory остаются приоритетными целями для атак. Статистика показывает, что Active Directory является целью в 9 из 10 атак, а около половины инцидентов безопасности связаны с компрометацией или неправильной настройкой многофакторной аутентификации (MFA).

ПНСТ 1046-2026. "Искусственный интеллект в критической информационной инфраструктуре. Общие положения" https://protect.gost.ru/document1.aspx?control=31&baseC=6&page=1&month=3&year=2026&search=&id=271479

Интересный фрейм по защите агентского ИИ https://github.com/scadastrangelove/asamm

🤖 Безопасность ИИ-агентов: 4 ключевых инсайта.

Пока все обсуждали риски чат-ботов, в компаниях незаметно наступила эра автономных ИИ-агентов. Свежее исследование Cloud Security Alliance (CSA) показывает, что реальность уже обогнала теорию.
Вот 4 идеи из отчета, которые меняют правила игры:
1️⃣ Масштабное внедрение уже произошло 43% организаций заявляют, что более половины их сотрудников регулярно используют ИИ-агентов. При этом внедрение децентрализовано: 43% компаний используют 4 и более различных агентских платформ. 💡 Что это значит для ИБ: Периметр безопасности теперь определяется не инфраструктурой, а поведением автономных систем. Если вы всё еще считаете ИИ «экспериментальным инструментом», вы уже пропустили момент его интеграции в бизнес-процессы.
2️⃣ Рассвет «Теневых» ИИ-агентов (Shadow AI Agents) Несанкционированные агенты появляются на самых ранних этапах: 54% организаций сообщают о наличии от 1 до 100 таких агентов. Только 21% компаний ведут реестр активных агентов в реальном времени. 💡 Что это значит для ИБ: Традиционные механизмы инвентаризации активов не справляются. Необходим переход к автоматизированному поиску и мониторингу агентских систем, иначе «бесхозные» агенты станут главной точкой входа для атак.
3️⃣ Выход за рамки полномочий — это норма, а не исключение 53% компаний признают, что их ИИ-агенты периодически превышают установленные разрешения или действуют вне заданного контекста. 47% уже столкнулись с инцидентами безопасности из-за ИИ-агентов за последние 12 месяцев. 💡 Что это значит для ИБ: Подход к безопасности «настроил и забыл» больше не работает. ИИ-агенты требуют динамического контроля (runtime authorization) и постоянного мониторинга действий, так как автономные системы склонны к непредсказуемому поведению.
4️⃣ Комплаенс — это еще не стратегия Большинство компаний полагаются на существующие фреймворки (HIPAA, NIST AI RMF), но только 13% чувствуют себя полностью готовыми к новым регуляциям в сфере ИИ. 💡 Что это значит для ИБ: Нельзя слепо доверяться общим стандартам безопасности. Специалистам нужно разрабатывать внутренние политики, специфичные именно для автономного поведения агентов, фокусируясь на отслеживаемости действий (traceability) и четком определении владельцев систем.

Вывод: ИИ-агенты — это новая «цифровая рабочая сила». Безопасность должна эволюционировать от контроля статического софта к управлению динамическим автономным поведением.
#AI #CyberSecurity #AIAgents

Хорошая подборка материалов по #aisec

В догонку к прежней картинке...

#ии

Помните, как раньше мы все смотрели на подходы/фреймворки/карты и прочее по безе приложений? вот теперь у нас пришло время разгуляться на тему AISec
мне понравилось, как сделал просто паренек из линкедина, разложил на 12 доменов блоки, которые можно поизучать и сделать у себя

тихо, неспеша...

понятное дело, что это все бы расписать еще по-человечески, но как быстрый взгляд на идеи, почему бы и нет?

Практически все организации уже живут в реальности, где ИИ используется везде: от “безобидного” ChatGPT и Copilot до внутренних агентных систем с доступом к боевым данным и API. При этом большая часть компаний все еще находится на уровне стихийных экспериментов и запретительных политик, которые создают иллюзию контроля, но на деле лишь выталкивают ИИ “в тень” 👻

Об управлении безопасностью ИИ написано немало, и недавно на глаза попалась брошюра SANS AI Security Maturity Model (AISMM) - неплохая практическая модель, которая отвечает на три простых вопроса: насколько вы зрелы в защите ИИ, в использовании ИИ для безопасности и в управлении ИИ-зоопарком 🙊

Модель опирается на SANS Secure AI Blueprint (Protect / Utilize / Govern), стыкуется с NIST AI RMF, EU AI Act, ISO 42001, CSA AICM и OWASP AI Exchange, но главное - дает безопасникам язык и структуру для перехода от “мы что‑то делаем с ИИ” к “мы знаем, где мы, куда идем и какой риск принимаем” 👍

Ключевая идея: правильный уровень зрелости не универсален. У SaaS‑компании, которая только включает AI‑фичи в готовые продукты, приоритеты радикально отличаются от государственного подрядчика, строящего агентные системы с реальными полномочиями 🤖

Модель оценивает зрелость безопасности ИИ в организации по 5 уровням:

• Unaware / Ad Hoc: BYOAI, отсутствие инвентаризации и политик, данные обрабатываются в публичныех моделях, безопасность и IT даже не знают масштаб использования ИИ
• Reactive / Policy‑Emerging: появляется первая политика уровня “не использовать” или “использовать с осторожностью”, включается блоклист, есть немного метрик, но запреты в духе Framework of No только загоняют ИИ “в подполье” (shadow AI)
• Defined / Risk‑Informed: формальный AI Governance Council, инвентаризация систем и агентов, первые Non‑Human Identities (NHI), учёт AI‑рисков в реестре, включение ИИ в тестирование продуктов и операционную деятельность безопасности
• Managed / Integrated: AI‑security по сути встроен в SDLC и SOC, есть AI red team, MLSecOps, SOAR с автономными сценариями, количественная оценка AI‑риска и отчетность на уровне совета директоров
• Optimizing / Adaptive: AI‑native безопасность, самоадаптирующиеся защиты, chaos engineering для ИИ, Zero Trust, расширенный на агентные системы, и активный вклад в стандарты и практики индустрии

Отдельный акцент - агентный ИИ. Автор вводит принцип Least Agency: прежде чем давать агенту автономию и доступ к API, честно ответьте, нельзя ли решить задачу более простой архитектурой. Если агент действительно нужен, дальше уже обязательны NHI с минимально необходимыми привилегиями, конкретным владельцем-человеком и аудитом всех действий 🧐

Ещё одна хорошая мысль из модели: “необученный персонал с мощными AI‑инструментами - это уже не просто риск, а чрезвычайная ситуация”. Высокое проникновение ИИ при низкой грамотности сотрудников автоматически поднимает требования к зрелости по домену Govern минимум до Stage 3, независимо от того, насколько “технологичной” компанией вы себя считаете 🤨

AISMM дает и очень приземленные шаги: от “проведите BYOAI‑опрос, назначьте владельца и напишите одностраничную политику” для небольших компаний до “встройте автоматизированное adversarial‑тестирование в CICD и меряйте MTTR по AI‑инцидентам” для тех, кто идёт к Stage 4–5

Как и в CMMI, для оценки используется пятибалльная шкала доказанности (от “нет вообще” до “оптимизируем и адаптируем”), но здесь общий уровень жестко ограничивается по самому слабому домену и по уровню governance, чтобы нельзя было маскировать проблемы управления за счет “красивых” технологических внедрений 🎯

Отчет "Безопасность ИИ в России: практика, риски, зрелость"
https://k2tech.io/2dn

Банк России опубликовал методические рекомендации, которые помогут финансовым организациям обеспечить информационную безопасность при использовании технологий искусственного интеллекта (ИИ). https://www.cbr.ru/press/event/?id=32627

OWASP LLMSVS v2.0 - практический стандарт проверки безопасности систем на основе LLM, охватывающий жизненный цикл моделей, данные и память, RAG, интеграции, AI-агентов, инструменты, зависимости и мониторинг. Его главная польза - набор из 70 требований КБ трех уровней строгости.

https://owasp.org/www-project-llm-verification-standard/LLMSVS-v2.0-en.html

NVIDIA, Microsoft, IBM, Cisco, Cloudflare, Dell, Hugging Face, Linux Foundation и ещё десятки компаний объявили о создании Open Secure AI Alliance. Цель альянса — разработка открытых инструментов для защиты ИИ, совместных методик оценки безопасности, наборов данных и средств red teaming. Примечательно, что OpenAI, Google и Anthropic в число участников не вошли. https://www.theverge.com/ai-artificial-intelligence/971281/nvidia-open-secure-ai-alliance-cybersecurity

Вероятно, это одна из самых значимых инициатив года в области AI Security. Отрасль начинает создавать открытые механизмы защиты, аналогичные тем, которые существуют в мире open source для традиционной кибербезопасности.

В Сбере назвали пять базовых мер для обеспечения кибербезопасности саморазвивающихся AI-агентов

Эксперты Сбера на конференции OFFZONE 2026 представили результаты исследования безопасности саморазвивающихся агентов Hermes и OpenClaw.

Для минимизации угроз неконтролируемого и потенциально вредного саморазвития эксперты Сбера предложили пять базовых мер кибербезопасности:

1. Строгая изоляция агентов. Реализация локальных сервисов памяти, собственных и делегированных токенов доступа и отдельных сред исполнения для каждого агента и его пользователя.
2. Разделение контуров разработки и эксплуатации. Самоэволюция полностью отключена в эксплуатационной среде, поскольку в ней возможен доступ к чувствительным данным. В контуре разработки процесс самоэволюции возможен, но при этом доступ к данным разрешен исключительно на чтение, а доступ к сети отключен. Вывод решения в эксплуатацию происходит со стандартными проверками кибербезопасности.
3. Независимые системы безопасности. Механизмы защиты вынесены за контур исполняемого кода агента. Централизованная система обеспечивает сбор и обработку телеметрии и метрик, ограничители (гардрейлы) блокируют аномалии (промпт-атаки, утечки, токсичность и пр.) в реальном времени, далее следует офлайн-анализ и, при необходимости, принятие решения о допустимости действий агента.
4. Корпоративный реестр навыков. Все инструменты, которыми пользуется агент, проходят обязательную статическую и динамическую проверку перед попаданием в реестр. Дополнительно рекомендуется анализировать опасные комбинации инструментов на предмет избыточных совокупных возможностей.
5. Использование песочницы для запуска кода. Любой код, генерируемый AI-агентом, запускается в изолированной среде. Сессия имеет ограниченное время жизни, собственные временные токены доступа, запрет на доступ к сети и строгие лимиты на использование процессора, памяти и файловой системы.

👉 Подробнее