Forwarded from Some Security Notes
#machine #learning #ai #cyber #security
Очень объёмный материал на тему использования машинного обучения в кибербезопасности.
https://www.researchsquare.com/article/rs-4791216/v1
Очень объёмный материал на тему использования машинного обучения в кибербезопасности.
https://www.researchsquare.com/article/rs-4791216/v1
Researchsquare
A comprehensive review of machine learning applications in cybersecurity: identifying gaps and advocating for cybersecurity auditing
Cybersecurity threats present significant challenges in the ever-evolving landscape of information and communication technology (ICT). As a practical approach to counter these evolving threats, corporations invest in various measures, including adopting cybersecurity…
Быстрое внедрение технологий больших языковых моделей и генеративного ИИ опередило создание комплексных протоколов безопасности, что привело к значительным проблемам в безопасности.
Для решения появившихся проблем, сообщество OWASP разработало руководство OWASP Top 10 for Large Language Model Applications с практическими рекомендациями по обеспечению безопасности, разработанными с учетом уникальных задач, стоящих перед LLMs и GenAI.
👉 Читать перевод
#security
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Some Security Notes
#machine #learning #ai #cyber #security
Очень объёмный материал на тему использования машинного обучения в кибербезопасности.
https://www.researchsquare.com/article/rs-4791216/v1
Очень объёмный материал на тему использования машинного обучения в кибербезопасности.
https://www.researchsquare.com/article/rs-4791216/v1
Researchsquare
A comprehensive review of machine learning applications in cybersecurity: identifying gaps and advocating for cybersecurity auditing
Cybersecurity threats present significant challenges in the ever-evolving landscape of information and communication technology (ICT). As a practical approach to counter these evolving threats, corporations invest in various measures, including adopting cybersecurity…
Forwarded from Похек
AI-powered SOC: революция в работе центров обеспечения безопасности
#SOC #AI #cybersecurity@poxek #ML #security
Современные SOC сталкиваются с лавинообразным ростом числа инцидентов и ложных срабатываний, что создает серьезную нагрузку на аналитиков. Искусственный интеллект становится не просто модным трендом, а необходимым инструментом для эффективной работы центров безопасности. По данным исследований,
AI-powered SOC способен обрабатывать инциденты в 10 раз быстрее традиционного подхода.
Ключевые направления применения AI в SOC:
➡️ Автоматическая классификация инцидентов: ML-модели определяют приоритет и тип угроз
➡️ Поведенческая аналитика: выявление аномального поведения пользователей и систем
➡️ Предиктивный анализ: прогнозирование потенциальных атак на основе исторических данных
➡️ Автоматизация рутинных задач: высвобождение времени аналитиков для сложных расследований
💵 Практический кейс
Крупный банк внедрил AI-систему в SOC и получил следующие результаты:
▪️ Снижение false-positive на 76%
▪️ Ускорение обработки инцидентов в 8.5 раз
▪️ Автоматическое закрытие 65% типовых инцидентов
❗️ Важные моменты при внедрении
➡️ Качественные данные для обучения моделей
➡️ Постоянная валидация результатов работы AI
➡️ Гибридный подход: AI + экспертиза аналитиков
➡️ Интеграция с существующими процессами ИБ
🔗 Дополнительное чтиво
Ваши ставки, сколько уйдет денег и времени на обучение такого ML/ИИ?
🌚 @poxek | 📺 YT | 📺 RT | 📺 VK | 🌚 Магазин мерча
#SOC #AI #cybersecurity@poxek #ML #security
Современные SOC сталкиваются с лавинообразным ростом числа инцидентов и ложных срабатываний, что создает серьезную нагрузку на аналитиков. Искусственный интеллект становится не просто модным трендом, а необходимым инструментом для эффективной работы центров безопасности. По данным исследований,
AI-powered SOC способен обрабатывать инциденты в 10 раз быстрее традиционного подхода.
Ключевые направления применения AI в SOC:
Крупный банк внедрил AI-систему в SOC и получил следующие результаты:
Ваши ставки, сколько уйдет денег и времени на обучение такого ML/ИИ?
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Технозаметки Малышева
🤖 Microsoft добавит рой AI-агентов для своего Security Copilot
Microsoft расширяет возможности своего Security Copilot, представленного еще в 2023 году, добавляя 11 специализированных AI-агентов, из которых 6 разработаны Microsoft, а 5 — партнерами компании.
Агенты интегрируются с продуктами Microsoft: Defender, Purview, Entra и Intune
Основная функция: автоматизация обработки и приоритизации больших объемов данных о безопасности (фишинг-отчеты, предупреждения об угрозах)
Что умеют конкретные агенты:
Phishing Triage Agent в Microsoft Defender — сортирует сообщения о фишинге, отфильтровывая ложные срабатывания (95% всех отчетов)
Alert Triage Agents в Microsoft Purview — обрабатывает предупреждения о потере данных и внутренних рисках
Vulnerability Remediation Agent в Microsoft Intune — приоритезирует устранение уязвимостей
Threat Intelligence Briefing Agent в Security Copilot — курирует данные об угрозах
Партнерские агенты добавляют функции вроде анализа нарушений конфиденциальности (OneTrust) и сетевых проблем (Aviatrix).
Обучение агентов происходит локально — контекст пользователя не передается Microsoft и не используется для обучения базовой модели
Система всё еще требует человеческого контроля — агент предлагает решения, но окончательное действие выполняет человек
По словам Microsoft, существующая версия Security Copilot уже сократила время реагирования на инциденты на 30%
Команда безопасности компании упоминает, что:
Работают над ограничением cross-prompt injection (атака, когда злоумышленник может перенаправить запрос агента)
AI-модели уже имеют встроенные ограничения
Проводится red teaming перед запуском
Но конкретных метрик о частоте ложных срабатываний Microsoft не предоставила
В теории такие агенты должны высвободить время аналитиков безопасности, которые сейчас тратят около 30 минут на обработку каждого потенциального фишингового сообщения, 95% из которых оказываются ложными тревогами.
#Microsoft #Security #Copilot #агенты
———
@tsingular
Microsoft расширяет возможности своего Security Copilot, представленного еще в 2023 году, добавляя 11 специализированных AI-агентов, из которых 6 разработаны Microsoft, а 5 — партнерами компании.
Агенты интегрируются с продуктами Microsoft: Defender, Purview, Entra и Intune
Основная функция: автоматизация обработки и приоритизации больших объемов данных о безопасности (фишинг-отчеты, предупреждения об угрозах)
Что умеют конкретные агенты:
Phishing Triage Agent в Microsoft Defender — сортирует сообщения о фишинге, отфильтровывая ложные срабатывания (95% всех отчетов)
Alert Triage Agents в Microsoft Purview — обрабатывает предупреждения о потере данных и внутренних рисках
Vulnerability Remediation Agent в Microsoft Intune — приоритезирует устранение уязвимостей
Threat Intelligence Briefing Agent в Security Copilot — курирует данные об угрозах
Партнерские агенты добавляют функции вроде анализа нарушений конфиденциальности (OneTrust) и сетевых проблем (Aviatrix).
Обучение агентов происходит локально — контекст пользователя не передается Microsoft и не используется для обучения базовой модели
Система всё еще требует человеческого контроля — агент предлагает решения, но окончательное действие выполняет человек
По словам Microsoft, существующая версия Security Copilot уже сократила время реагирования на инциденты на 30%
Команда безопасности компании упоминает, что:
Работают над ограничением cross-prompt injection (атака, когда злоумышленник может перенаправить запрос агента)
AI-модели уже имеют встроенные ограничения
Проводится red teaming перед запуском
Но конкретных метрик о частоте ложных срабатываний Microsoft не предоставила
В теории такие агенты должны высвободить время аналитиков безопасности, которые сейчас тратят около 30 минут на обработку каждого потенциального фишингового сообщения, 95% из которых оказываются ложными тревогами.
#Microsoft #Security #Copilot #агенты
———
@tsingular
Forwarded from YDC — Pizza Powered iOS (Kirill Smirnov)
Наткнулся на интересную статью в блоге Мартина Фаулера — Agentic AI Security.
Она разбирает безопасность в работе LLM и объясняет, почему использование агентов — это не просто “умные помощники”, а ещё и новые векторы уязвимостей.
Заглавный вопрос статьи: LLM не различает данные и инструкции.
Когда агент объединяет несколько итераций текста и вызовов инструментов (MCP, внешние API, CLI и т.п.) в один большой контекст, он может “съесть” вредоносную инструкцию прямо из данных.
Korny Sietsma, автор статьи, приводит ссылки на смежные материалы и называет это "смертельной триадой" угроз:
- Sensitive Data is the core thing most attackers want - this can include things like browser cookies that open up access to other data.
- Неочевидность границ контекста — модель не знает, что безопасно, а что нет.
- Untrusted Content can include commands that the LLM might follow.
- Инъекция инструкций — злоумышленник подмешивает вредоносные команды в текст.
- External Communication allows the LLM application to send information back to the attacker.
- Автоматизация действий без контроля — агент сам выполняет то, что “кажется логичным”.
📊 В статье есть отличные диаграммы, показывающие, как LLM взаимодействует с внешним миром, инструментами и данными. Всё складывается в единую картину:
Агент — это цепочка промтов и tool-вызовов, которые не имеют встроенной защиты.
💬 Отдельно поднимается вопрос этики и порядочности поставщиков инструментов и MCP-серверов.
И рекомендуют применять все обычные проверки безопасности.
Публикация официального реестра MCP — это шаг вперёд.
Но он пока никак не администрируется на предмет безопасности или уязвимостей.
⚙️ Что можно сделать, чтобы уменьшить риски?
🧩 Вся экосистема движется к тому, чтобы LLM могла действовать самостоятельно.
Но важно понять, что пока человек остаётся самым надёжным “firewall” между ИИ и злоумышленником.
А применение подходов описанных в статье снимает львиную долю человеческого фактора.
P.S.:💡 Отдельный инсайт для меня — это Apple Containers: Linux контейнеры в macOS от Apple.
Надо будет посмотреть.
#AgenticAI #Security #LLM #PromptInjection #MCP #Containers #Claude #Apple #AI
Please open Telegram to view this post
VIEW IN TELEGRAM
martinfowler.com
Agentic AI and Security
The serious security risks involved in using autonomous LLM applications and what we can do to mitigate them
❤2
Forwarded from AISecure
Начал проходить AI Red Teamer от Hack The Box (делают вместе с Google).
Это путь про red team-подходы к AI-системам: LLM, prompt injection, атаки на данные, evasion-атаки, безопасность AI-приложений и всё вокруг этого. Формат классический для HTB — теория + практика.
Что показалось интересным — курс довольно быстро расширяется.
Когда начинал, в пути было 5 модулей, сейчас уже 12, и часть из них добавили совсем недавно.
Текущий состав модулей:
- Fundamentals of AI
- Applications of AI in InfoSec
- Introduction to Red Teaming AI
- Prompt Injection Attacks
- LLM Output Attacks
- AI Data Attacks
- Attacking AI — Application and System
- AI Evasion — Foundations
- AI Evasion — First-Order Attacks
- AI Evasion — Sparsity Attacks
- AI Privacy (NEW)
- AI Defense (NEW)
Причём все уроки уровня — Medium / Hard, так что это не «ознакомительный курс», а достаточно плотный материал.
И с пометкой NEW - совсем свежие модули,
Сам ещё в процессе, поэтому финальные выводы делать рано. Но как структурированная обучалка по AI red teaming и безопасности ИИ в целом — выглядит интересно, плюс видно, что путь активно допиливают и расширяют.
Если тема AI security откликается — стоит глянуть.
#security #HTB #AI #RedTeam
Это путь про red team-подходы к AI-системам: LLM, prompt injection, атаки на данные, evasion-атаки, безопасность AI-приложений и всё вокруг этого. Формат классический для HTB — теория + практика.
Что показалось интересным — курс довольно быстро расширяется.
Когда начинал, в пути было 5 модулей, сейчас уже 12, и часть из них добавили совсем недавно.
Текущий состав модулей:
- Fundamentals of AI
- Applications of AI in InfoSec
- Introduction to Red Teaming AI
- Prompt Injection Attacks
- LLM Output Attacks
- AI Data Attacks
- Attacking AI — Application and System
- AI Evasion — Foundations
- AI Evasion — First-Order Attacks
- AI Evasion — Sparsity Attacks
- AI Privacy (NEW)
- AI Defense (NEW)
Причём все уроки уровня — Medium / Hard, так что это не «ознакомительный курс», а достаточно плотный материал.
И с пометкой NEW - совсем свежие модули,
Сам ещё в процессе, поэтому финальные выводы делать рано. Но как структурированная обучалка по AI red teaming и безопасности ИИ в целом — выглядит интересно, плюс видно, что путь активно допиливают и расширяют.
Если тема AI security откликается — стоит глянуть.
#security #HTB #AI #RedTeam
👍2
Forwarded from infosec
• ИБ-специалист
• Атака использует связку из трех особенностей стандартной конфигурации OpenClaw. Первая - Gmail-хук автоматически передает содержимое входящих писем языковой модели, причем с ролью
• В теле письма - prompt injection, то есть вредоносные инструкции для языковой модели, спрятанные в обычном на вид сообщении. OpenClaw пытается защититься: оборачивает внешний контент в специальные теги-маркеры и добавляет предупреждение "не выполнять команды из этого текста". Но исследователь нашёл обход: вставил в письмо поддельный закрывающий тег с опечаткой в одну букву —
➡️ Более детальное описание, с примерами и демонстрацией, можно найти по ссылке: https://veganmosfet.github.io/openclaw
‼ Статья предназначена для специалистов ИБ и представлена в ознакомительных целях. Ну вы поняли...
#Security
veganmosfet опубликовал в своем блоге статью, в которой смог продемонстрировать цепочку атак на OpenClaw (открытый фреймворк, позволяющий подключить LLM (Claude, GPT, Gemini) к браузерам, почте и мессенджерам). Вся соль заключается в том, что обычное электронное письмо, которое отправляется на почтовый ящик жертвы, может предоставить атакующему полный доступ к системе где работает агент.• Атака использует связку из трех особенностей стандартной конфигурации OpenClaw. Первая - Gmail-хук автоматически передает содержимое входящих писем языковой модели, причем с ролью
user, а не менее привилегированной tool. Вторая - песочница отключена по умолчанию, агент работает с правами пользователя в системе. Третья - система плагинов сканирует рабочую директорию и при перезапуске выполняет код из любого найденного расширения без криптографической верификации.• В теле письма - prompt injection, то есть вредоносные инструкции для языковой модели, спрятанные в обычном на вид сообщении. OpenClaw пытается защититься: оборачивает внешний контент в специальные теги-маркеры и добавляет предупреждение "не выполнять команды из этого текста". Но исследователь нашёл обход: вставил в письмо поддельный закрывающий тег с опечаткой в одну букву —
END EXTERNAL UNTRUSTED CONTNT вместо CONTENT (конец внешнего небезопасного контента). Фильтр защиты OpenClaw ищет точное совпадение и пропускает такой тег. Модель считает, что внешний контент закончился, и воспринимает дальнейший текст как доверенные инструкции пользователя. Далее агент послушно клонирует GitHub-репозиторий с вредоносным плагином в свою рабочую папку и перезапускает gateway. При перезагрузке система плагинов обнаруживает "новое расширение" и выполняет его код - reverse shell готов. #Security
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Forwarded from Хабр / ML & AI
Agentic SOC в 2026: как ИИ-агенты меняют центр мониторинга безопасности и где им нельзя доверять
Agentic SOC — это не «ещё один модный модуль с ИИ», а переход от ручной обработки инцидентов и цепочек автоматизации к более самостоятельной модели, где агенты собирают контекст, обогащают инциденты, предлагают действия и иногда запускают безопасные реакции под контролем человека.
Проблема в том, что вместе с ускорением появляются новые риски: слишком широкие полномочия, ошибки сопоставления, внедрение вредоносных подсказок, неверные решения по изоляции и ложная уверенность в «умной автоматизации». Читать далее
#soc #information_security #ai_security #security_operation_center | @habr_ai
Agentic SOC — это не «ещё один модный модуль с ИИ», а переход от ручной обработки инцидентов и цепочек автоматизации к более самостоятельной модели, где агенты собирают контекст, обогащают инциденты, предлагают действия и иногда запускают безопасные реакции под контролем человека.
Проблема в том, что вместе с ускорением появляются новые риски: слишком широкие полномочия, ошибки сопоставления, внедрение вредоносных подсказок, неверные решения по изоляции и ложная уверенность в «умной автоматизации». Читать далее
#soc #information_security #ai_security #security_operation_center | @habr_ai
Хабр
Agentic SOC в 2026: как ИИ-агенты меняют центр мониторинга безопасности и где им нельзя доверять
TL;DR Agentic SOC — это не «ещё один модный модуль с ИИ», а переход от ручной обработки инцидентов и цепочек автоматизации к более самостоятельной модели, где агенты собирают контекст, обогащают...
Forwarded from Похек
Ваш LLM-агенты в зоне риски: 3 кейса и чек-лист
#ai #security #llm #агенты #agent
♾️ Кейсы♾️
➡️ McKinsey: автономный агент-пентестер нашёл в их системе классическую SQL-инъекцию. Через неё можно было подменять промт агента, который крутится поверх данных. Отравление + classic injection = полный compromise. Нашёл не человек - нашёл другой агент.
➡️ EchoLeak (CVE-2025-32711): zero-click в Microsoft 365 Copilot. Атакующий присылает письмо с prompt injection, пользователь просит Copilot сделать summary - данные утекают без единого клика. XPIA-классификаторы прошли мимо, потому что prompt был написан "для человека".
➡️ s1ngularity (NX, август 2025): supply chain на npm-пакет NX. Вместо того чтобы грепать диск, зловред натравливал
♾️ Главный тейк♾️
Промт и данные в LLM неразделимы. SQL можно изолировать программно, а LM останется уязвимой всегда: регулярки ловят ~50%, классификаторы ~25%, LLM-guard ещё ~15%. Оставшийся 1% с нами навсегда.
♾️ Чек-лист на прод♾️
▪️ Allowlist тулов + tool gating
▪️ Разделение промта, памяти и данных в разных хранилищах
▪️ Инвентаризация агентов и их исходящих коннектов
▪️ Observability - логируй промты и tool calls
▪️ Никакого выхода в интернет без прослойки
▪️ Не доверяй
▪️ Red-teaming при каждой смене модели
▪️ Мониторинг supply chain: MCP, скиллы, скачиваемые протоколы
Агенты разрешают всё по чуть-чуть: сначала read, потом create, потом delete. И вот ты уже доверил
♾️ Где это обсудить вживую♾️
22 апреля в Москве South HUB проводит клубную встречу "Кибербезопасность в эпоху AI-агентов". Формат - открытая дискуссия без докладов и слайдов. Среди спикеров Андрей Кузнецов (Head of ML, Positive Technologies) - один из участников того самого подкаста, Артём Гутник (CISO НСПК), Алексей Леднев (PT ESC) и Алексей Лукацкий. Рега ТУТ
#ai #security #llm #агенты #agent
Claude Code, Gemini CLI и Amazon Q искать секреты. Первая AI-weaponized supply chain атака: ~2300 секретов из 1300+ репозиториев.Промт и данные в LLM неразделимы. SQL можно изолировать программно, а LM останется уязвимой всегда: регулярки ловят ~50%, классификаторы ~25%, LLM-guard ещё ~15%. Оставшийся 1% с нами навсегда.
README, .env и RAG-чанкамАгенты разрешают всё по чуть-чуть: сначала read, потом create, потом delete. И вот ты уже доверил
rm -rf свежей модели на ноуте с продакшн-ключами.22 апреля в Москве South HUB проводит клубную встречу "Кибербезопасность в эпоху AI-агентов". Формат - открытая дискуссия без докладов и слайдов. Среди спикеров Андрей Кузнецов (Head of ML, Positive Technologies) - один из участников того самого подкаста, Артём Гутник (CISO НСПК), Алексей Леднев (PT ESC) и Алексей Лукацкий. Рега ТУТ
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1
Forwarded from Хабр / ML & AI
LLM Sandbox: изолированная среда для исполнения кода от LLM [часть 1, теория]
В большинстве бизнес-сценариев LLM перестала быть просто чат-ботом. Современные модели становятся частью агентских систем: у них есть инструменты, доступ к файлам, терминалу, браузеру, базам данных. Они не только отвечают на вопросы, но и выполняют действия.
В этой статье (ее первой части) разберём среду изолированного исполнения кода: песочницу (sandbox).
Представим ситуацию: пользователь загружает Excel-файл, просит проанализировать таблицу, найти аномалии и на основе анализа создать PowerPoint-презентацию. В чистом виде LLM не умеет читать файлы, строить графики и создавать презентации. Однако может написать код, который всё это сделает.
И тут появляется вопрос: где этот код запускать?
Генерируемый агентом код может быть ошибочным или, в случае с промпт инъекцией, намеренно опасным. Поэтому для безопасного исполнения кода агенту нужна песочница или изолированная среда.
В этой статье разберём:
- основные риски исполнения кода в неизолированной среде;
- что такое песочница и её ограничения;
- какие бывают подходы к реализации песочницы;
- вариант логики работы агента с песочницей. Читать далее
#агент #llm #sandbox #docker #security #agents #ai #devops #mlops | @habr_ai
В большинстве бизнес-сценариев LLM перестала быть просто чат-ботом. Современные модели становятся частью агентских систем: у них есть инструменты, доступ к файлам, терминалу, браузеру, базам данных. Они не только отвечают на вопросы, но и выполняют действия.
В этой статье (ее первой части) разберём среду изолированного исполнения кода: песочницу (sandbox).
Представим ситуацию: пользователь загружает Excel-файл, просит проанализировать таблицу, найти аномалии и на основе анализа создать PowerPoint-презентацию. В чистом виде LLM не умеет читать файлы, строить графики и создавать презентации. Однако может написать код, который всё это сделает.
И тут появляется вопрос: где этот код запускать?
Генерируемый агентом код может быть ошибочным или, в случае с промпт инъекцией, намеренно опасным. Поэтому для безопасного исполнения кода агенту нужна песочница или изолированная среда.
В этой статье разберём:
- основные риски исполнения кода в неизолированной среде;
- что такое песочница и её ограничения;
- какие бывают подходы к реализации песочницы;
- вариант логики работы агента с песочницей. Читать далее
#агент #llm #sandbox #docker #security #agents #ai #devops #mlops | @habr_ai
Forwarded from AlexRedSec
ИБ-инженеры из Figma поделились опытом внедрения и использования ИИ-агентов для поиска и исправления уязвимостей в программном коде – статья написана простым доступным языком, да еще и с забавными иллюстрациями (Figma же😁) .
В компании ИИ-агенты используются в трех процессах: генерации кода, проверка пулл-реквестов и аудит (ретроспективный) всего кода.
Из всех выводов и тезисов остановлюсь только на одном, который показался очень интересным с точки зрения баланса между "ИБ-запретительством" и "ИБ с человеческим лицом".
Несмотря на то, что ИБ-инженеры Figma обязали разработчиков направлять все пулл-реквесты через проверку ИИ-агентами, они сознательно не стали внедрять режим блокировки – руководство решило не платить "налог на трение", который возник бы при автоматической блокировке работы разработчиков. Вместо этого они сосредоточились на "правильных" коммуникациях:
🔗 Figma отошла от мягких, «извиняющихся» формулировок в комментариях (с информацией о найденных багах в пулл-реквестах) агентов, чтобы сделать требования безопасности более весомыми.
Было:
Новый вариант содержит жирный шрифт и прямой призыв:
🔗 Чтобы разработчикам было проще воспринимать информацию и они не игнорировали длинные отчеты, был жестко ограничен формат вывода комментариев агента:
🟠 Одно предложение с сутью проблемы.
🟠 Пронумерованные шаги воспроизведения эксплойта.
🟠 Краткая рекомендация по исправлению.
🟠 Ссылки на соответствующие участки кода.
Это решение помогло побороть привычку современных моделей (таких как Opus 4.5+) выдавать избыточные описания.
Это позволило повысить метрику исправления уязвимостей до мержа пулл-реквестов.
Однако тут стоит отметить, что:
1️⃣ ИИ-агенты получили возможность комментирования (оповещения о нахождении потенциальных уязвимостей) пулл-реквеста только после достижения порога в 70% по метрике точности (доли реальных уязвимостей среди всех сработок).
2️⃣ Использование ИИ-агентов не заменяет классических инструментов (SAST/DAST/SCA), а там скорее всего блокировки есть.
3️⃣ Если автор пулл-реквеста помечает сработку ИИ-агента как ложноположительную, то такой кейс проверяется другим ИИ-агентом и, в случае, повторной сработки направляется дежурному ИБ-инженеру для ручной проверки и окончательного вынесения вердикта.
#ai #figma #vm #vulnerability #culture #scr #ssdlc #awareness
В компании ИИ-агенты используются в трех процессах: генерации кода, проверка пулл-реквестов и аудит (ретроспективный) всего кода.
Из всех выводов и тезисов остановлюсь только на одном, который показался очень интересным с точки зрения баланса между "ИБ-запретительством" и "ИБ с человеческим лицом".
Несмотря на то, что ИБ-инженеры Figma обязали разработчиков направлять все пулл-реквесты через проверку ИИ-агентами, они сознательно не стали внедрять режим блокировки – руководство решило не платить "налог на трение", который возник бы при автоматической блокировке работы разработчиков. Вместо этого они сосредоточились на "правильных" коммуникациях:
Было:
«Есть вопросы? Напишите в #security. Ложное срабатывание? Нажмите 👎. Извините за шум».
Новый вариант содержит жирный шрифт и прямой призыв:
«🎯 Мы настраиваем точность сработок на основе оценок и отзывов пользователей. Пожалуйста, обработайте этот недостаток. Нажимайте 👎 на ложные срабатывания, чтобы помочь нам поддерживать высокий уровень точности. Вопросы? #security.
Это решение помогло побороть привычку современных моделей (таких как Opus 4.5+) выдавать избыточные описания.
Это позволило повысить метрику исправления уязвимостей до мержа пулл-реквестов.
Однако тут стоит отметить, что:
#ai #figma #vm #vulnerability #culture #scr #ssdlc #awareness
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1⚡1👾1
Forwarded from maxigacy (AI) Security
Меньше битов ≠ больше защиты
Чтобы запустить ML-модель на микроконтроллере, её часто переводят из FP32 в INT8 или INT4. Модель становится компактнее и быстрее, а иногда ещё и демонстрирует лучшую устойчивость к adversarial-атакам.
Звучит как бесплатная защита. Но есть нюанс.
Авторы исследования David and Goliath проверили три квантованные TinyML-модели с помощью десяти атак и шести защит. Оказалось, что квантование меняет геометрию модели: градиенты могут исчезать, взрываться или указывать атаке неверное направление.
В результате неудачная атака иногда говорит не о реальной защищённости модели, а лишь о том, что выбранный метод плохо работает с квантованной арифметикой.
Поэтому оценивать нужно именно итоговую INT8/INT4-модель, причём не одной атакой: полезны адаптивные, transfer- и black-box-сценарии, а также проверка на реальном устройстве.
Для меня эта тема не только теоретическая. В нашей с Максимом Князевым статье «Влияние квантования TinyML-моделей на устойчивость аудиосистем персонального интернета вещей» мы проверяли распознавание голосовых команд под атакой PGD-40. INT8-QAT сохранил 98,8% точности на чистых данных и 92,2% под атакой, а у INT4 показатели снизились до 49,42% и 47,8% соответственно.
Квантование отлично экономит память. Но в безопасности экономия битов ещё не означает экономию рисков.
#AIxSec #TinyML #AdversarialML #MLSecurity #Security #AIxSec_Research
Чтобы запустить ML-модель на микроконтроллере, её часто переводят из FP32 в INT8 или INT4. Модель становится компактнее и быстрее, а иногда ещё и демонстрирует лучшую устойчивость к adversarial-атакам.
Звучит как бесплатная защита. Но есть нюанс.
Авторы исследования David and Goliath проверили три квантованные TinyML-модели с помощью десяти атак и шести защит. Оказалось, что квантование меняет геометрию модели: градиенты могут исчезать, взрываться или указывать атаке неверное направление.
В результате неудачная атака иногда говорит не о реальной защищённости модели, а лишь о том, что выбранный метод плохо работает с квантованной арифметикой.
Поэтому оценивать нужно именно итоговую INT8/INT4-модель, причём не одной атакой: полезны адаптивные, transfer- и black-box-сценарии, а также проверка на реальном устройстве.
Для меня эта тема не только теоретическая. В нашей с Максимом Князевым статье «Влияние квантования TinyML-моделей на устойчивость аудиосистем персонального интернета вещей» мы проверяли распознавание голосовых команд под атакой PGD-40. INT8-QAT сохранил 98,8% точности на чистых данных и 92,2% под атакой, а у INT4 показатели снизились до 49,42% и 47,8% соответственно.
Квантование отлично экономит память. Но в безопасности экономия битов ещё не означает экономию рисков.
#AIxSec #TinyML #AdversarialML #MLSecurity #Security #AIxSec_Research