Forwarded from DayDreamMe|Ethical (DayDream)
Please open Telegram to view this post
VIEW IN TELEGRAM
Хочу вам рассказать о том, что Protect AI выпустили несколько недель назад курс по MlSecOps. Называется он "Introduction to MlSecOps".
В нём было рассмотрено множество концепций. Например:
Процесс моделирования угроз для MlOps пайплайна.
План по реагированию на инциденты, в случае, когда вашу ИИИнфраструктуру атакуют.
Как вы можете организовать команду, которая будет этим заниматься.
А также они пробежались по куче всяких стандартов и рассказали о том как реализовать эту самую безопасность на всех этапах "от разработки до деплоя" - опять же, на примере концепций.
Конечно я бы хотел чтобы там была рассмотрена практика по созданию защищённого MlOps пайплайна с техническими особенностями - но тут этого к сожалению нет.
Я выкачал курс архив со всеми роликами будет ниже. Никакой малвари внутри, никаких ватермарков.
В нём было рассмотрено множество концепций. Например:
Процесс моделирования угроз для MlOps пайплайна.
План по реагированию на инциденты, в случае, когда вашу ИИИнфраструктуру атакуют.
Как вы можете организовать команду, которая будет этим заниматься.
А также они пробежались по куче всяких стандартов и рассказали о том как реализовать эту самую безопасность на всех этапах "от разработки до деплоя" - опять же, на примере концепций.
Конечно я бы хотел чтобы там была рассмотрена практика по созданию защищённого MlOps пайплайна с техническими особенностями - но тут этого к сожалению нет.
Я выкачал курс архив со всеми роликами будет ниже. Никакой малвари внутри, никаких ватермарков.
🔥7
вот его описание с линкдина:
The more we rely on artificial intelligence (AI) and machine learning (ML), the more we need those systems to be trustworthy and resilient. In this course—designed for ML engineers, data scientists, AppSec or MLSec practitioners, and business leaders—join instructor Diana Kelley as she provides a comprehensive overview of how to build security into machine learning and AI by focusing on the most impactful security issues and prevention strategies using the MLSecOps framework.
Explore how the MLOps lifecycle overlaps and converges with DevSecOps to find out how and where security can be woven into the ML pipeline. Diana shows you how to begin to secure machine learning models, conduct AI-aware risk assessments, audit and monitor supply chains, implement incident response plans, and build your MLSecOps dream team. By the end of this course, you’ll be prepared to help individuals and organizations be more proactive about securing their AI and ML systems.
The more we rely on artificial intelligence (AI) and machine learning (ML), the more we need those systems to be trustworthy and resilient. In this course—designed for ML engineers, data scientists, AppSec or MLSec practitioners, and business leaders—join instructor Diana Kelley as she provides a comprehensive overview of how to build security into machine learning and AI by focusing on the most impactful security issues and prevention strategies using the MLSecOps framework.
Explore how the MLOps lifecycle overlaps and converges with DevSecOps to find out how and where security can be woven into the ML pipeline. Diana shows you how to begin to secure machine learning models, conduct AI-aware risk assessments, audit and monitor supply chains, implement incident response plans, and build your MLSecOps dream team. By the end of this course, you’ll be prepared to help individuals and organizations be more proactive about securing their AI and ML systems.
👍1
H1 выпустил статистический отчёт.
Согласно данным, которые они собрали - более 1/3 опрошенных организаций - столкнулись с инцидентами, которые были связанны с атаками на ИИ системы. При этом 95% специалистов считают, что они способны защитится от угроз связанных с ИИ.
В отчёте также было отмечено, что организации стали выделять значительные средства на обеспечение безопасности ИИ. Так, по их сведениям - более 75% опрошенных зарезервировали 20% бюджета на AI security.
В качестве основных факторов, которые сильно стали влиять на безопасность ИИ были названы следующие факторы - Регуляторы со стороны гос-ва, внутреннее использование инструментов сотрудниками и уже случившиеся инциденты.
37% опрошенных также заявили что использовали AI red team для повышения устойчивости и сокращения рисков.
А нам и чё ? а нам и нормально ! Мы же русские люди!
Согласно данным, которые они собрали - более 1/3 опрошенных организаций - столкнулись с инцидентами, которые были связанны с атаками на ИИ системы. При этом 95% специалистов считают, что они способны защитится от угроз связанных с ИИ.
В отчёте также было отмечено, что организации стали выделять значительные средства на обеспечение безопасности ИИ. Так, по их сведениям - более 75% опрошенных зарезервировали 20% бюджета на AI security.
В качестве основных факторов, которые сильно стали влиять на безопасность ИИ были названы следующие факторы - Регуляторы со стороны гос-ва, внутреннее использование инструментов сотрудниками и уже случившиеся инциденты.
37% опрошенных также заявили что использовали AI red team для повышения устойчивости и сокращения рисков.
Важно что сам опрос проводился с 18 по 22 апреля 2024 года. В общенациональном онлайн-опросе приняли участие 300 американских ИТ-специалистов и специалистов по security в возрасте от 18 лет, работающих в компаниях с 10 и более сотрудниками.
А нам и чё ? а нам и нормально ! Мы же русские люди!
😱1
Red Teaming for Large Language Models Using Giskard
Интересная статья с примерами кода о том, как запустить решение от Giskard для сканирования модели на уязвимости.
Интересная статья с примерами кода о том, как запустить решение от Giskard для сканирования модели на уязвимости.
👍3🔥1
В этом посте я вам расскажу об крутом ресёрче, который недавно вышел от Hidden Layer, он был посвящён тому, что в языке R, был обнаружен небезопасный способ десериализации данных.
📝 Начнём с базы:
R - язык программирования, который применяется для работы с данными, их визуализацией и обучения модели. Он активно применяется в совершенно разных сферах. И имеет обширный функционал.
Сериализация/десериализация - процесс преобразования данных(объекта или дерева объектов) в виде последовательности байт и обратного восстановления с целью переиспользования этих данных программой.
Ранее, мы уже рассматривали с вами проблемы с Python Pickle. Этот формат позволял злоумышленникам хранить вредоносный код в сериализованном виде. Когда программа запускалась - запускался и вредоносный код.
В языке R есть такой метод сериализации данных RDS. Для взаимодействия с ним в R есть 2 метода - saveRDS() - позволяющий сохранять данные в .rdb(файл с кодом) и к нему сохраняется .rdx(файл с метаданным: формат, версия и т.д)
и readRDS() - метод, позволяющий реализовывать десериализацию.
Особенность сериализации в R, из-за которой возникает уязвимость, заключается в том, что инструкции десериализации не содержат команды остановки. Программа продолжает читать байт-код до тех пор, пока не достигнет конца файла.
Этому недостатку была присвоена CVE-2024-27322. И вот интересный PoC байт-кода в R, который как раз-таки позволяет выполнить любой код в системе.
Opcode(TYPES.PROMSXP, 0, False, False, False,None,False),
Opcode(TYPES.UNBOUNDVALUE_SXP, 0, False, False, False,None,False),
Opcode(TYPES.LANGSXP, 0, False, False, False,None,False),
Opcode(TYPES.SYMSXP, 0, False, False, False,None,False),
Opcode(TYPES.CHARSXP, 64, False, False, False,"system",False),
Opcode(TYPES.LISTSXP, 0, False, False, False,None,False),
Opcode(TYPES.STRSXP, 0, False, False, False,1,False),
Opcode(TYPES.CHARSXP, 64, False, False, False,'echo "or not echo, other command"',False),
Opcode(TYPES.NILVALUE_SXP, 0, False, False, False,None,False),
____продолжение или завершение кода____
В данном машинном коде мы можем увидеть, что в самом начале создаётся некая структура данных, которая является потом фундаментом. Дальше, на 5ой строке мы инициализируем метод system() и после этого, в 7ой строке, хранится команда для исполнения в системе.
Сам недостаток был устранён в R v4.4.0. Однако, как написано в репорте Hidden Layer, они обнаружили в дикой природе более чем 135 000 исходных файлов R, на GitHub, где задействован этот метод сериализации (включая крупных вендоров).
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯3
AttackGen
Инструмент, который основываясь на ваших входных данных генерирует сценарии реагирования на инциденты(используя llm + mitre attack).
В качестве входных данных вы должны предоставить (размер организации, отрасль и threat actor group).
Есть возможность интерактивного общения с чат-ботом, чтобы были предоставлены более подробные сценарии, а также ответы на ваши вопросы.
github
#blue_team #mitre
Инструмент, который основываясь на ваших входных данных генерирует сценарии реагирования на инциденты(используя llm + mitre attack).
В качестве входных данных вы должны предоставить (размер организации, отрасль и threat actor group).
Есть возможность интерактивного общения с чат-ботом, чтобы были предоставлены более подробные сценарии, а также ответы на ваши вопросы.
github
#blue_team #mitre
🔥3
PWN AI
Хотели CTF платформу по AI-Security ? HackTheBox по взлому ИИ ? Изучить что такое adversarial атаки на практике, разобраться с проблемами безопасности самих моделей или MLOPS стало проще... Сегодня была релизнута платформа - crucible. Пока что эта платформа…
Crucible создали на платформе несколько задачек по атакам на LLM.
❤3
The Developer's Playbook for Large Language Model Security (early)
Description:
Large language models (LLMs) are not just shaping the trajectory of AI, they're also unveiling a new era of security challenges. This practical book takes you straight to the heart of these threats. Author Steve Wilson, chief product officer at Exabeam, focuses exclusively on LLMs, eschewing generalized AI security to delve into the unique characteristics and vulnerabilities inherent in these models.
Complete with collective wisdom gained from the creation of the OWASP Top 10 for LLMs list—a feat accomplished by more than 400 industry experts—this guide delivers real-world guidance and practical strategies to help developers and security teams grapple with the realities of LLM applications. Whether you're architecting a new application or adding AI features to an existing one, this book is your go-to resource for mastering the security landscape of the next frontier in AI.
You'll learn:
Why LLMs present unique security challenges
How to navigate the many risk conditions associated with using LLM technology
The threat landscape pertaining to LLMs and the critical trust boundaries that must be maintained
How to identify the top risks and vulnerabilities associated with LLMs
Methods for deploying defenses to protect against attacks on top vulnerabilities
Ways to actively manage critical trust boundaries on your systems to ensure secure execution and risk minimization
#book #llm
pdf + epub ниже )
Description:
Large language models (LLMs) are not just shaping the trajectory of AI, they're also unveiling a new era of security challenges. This practical book takes you straight to the heart of these threats. Author Steve Wilson, chief product officer at Exabeam, focuses exclusively on LLMs, eschewing generalized AI security to delve into the unique characteristics and vulnerabilities inherent in these models.
Complete with collective wisdom gained from the creation of the OWASP Top 10 for LLMs list—a feat accomplished by more than 400 industry experts—this guide delivers real-world guidance and practical strategies to help developers and security teams grapple with the realities of LLM applications. Whether you're architecting a new application or adding AI features to an existing one, this book is your go-to resource for mastering the security landscape of the next frontier in AI.
You'll learn:
Why LLMs present unique security challenges
How to navigate the many risk conditions associated with using LLM technology
The threat landscape pertaining to LLMs and the critical trust boundaries that must be maintained
How to identify the top risks and vulnerabilities associated with LLMs
Methods for deploying defenses to protect against attacks on top vulnerabilities
Ways to actively manage critical trust boundaries on your systems to ensure secure execution and risk minimization
#book #llm
pdf + epub ниже )
Всем привет. Как некоторые из вас помнят, на канале я делал ранее выпуск дайджеста. Перед вами - вторая часть. Поехали.
Начнём с инструментов.
Китайский аналог также "существует".
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4
Forwarded from Борис_ь с ml (Boris Protoss)
Дайджест событий по безопасности ml в России
#иб_для_ml #ml_для_иб
1. AiSEC-2024
23-24 апреля (прошел недавно) - онлайн
https://sec-event.ru/a_i/
2. PHD Fest 2 - AI Security Track
23-26 мая - онлайн и оффлайн в Москве, "Лужники"
https://phdays.com/forum/
Ожидается много интересных докладов, в том числе будут громкие презентации и в сфере безопасности ml.
3. Технологии Доверенного Искусственного Интеллекта, 2й форум
27 мая - оффлайн в Москве, кластер "Ломоносов"
https://ib-bank.ru/trust-ai/
Был на прошлогоднем, форуме, было суперинтересно. На этом будут треки и про безопасность ИИ, и про применение ИИ для решения задач ИБ, и про атаки на ИИ. Программа в свободном доступе тут.
#иб_для_ml #ml_для_иб
1. AiSEC-2024
23-24 апреля (прошел недавно) - онлайн
https://sec-event.ru/a_i/
Программа форума сфокусирована на вопросах взаимного влияния безопасности бизнеса и искусственного интеллекта. Мы рассмотрим возможности современных AI-технологий для обеспечения корпоративной защиты компаний, а также обсудим связанные с этим новые угрозы и методы борьбы с ними.
2. PHD Fest 2 - AI Security Track
23-26 мая - онлайн и оффлайн в Москве, "Лужники"
https://phdays.com/forum/
Применение ИИ в кибербезе, машинное обучение и когда уже нас всех заменят роботы — обсуждаем в рамках трека AI Security
Ожидается много интересных докладов, в том числе будут громкие презентации и в сфере безопасности ml.
3. Технологии Доверенного Искусственного Интеллекта, 2й форум
27 мая - оффлайн в Москве, кластер "Ломоносов"
https://ib-bank.ru/trust-ai/
Участие в работе форума примут представители профильных государственных ведомств (НТЦ ЦК, ИСП РАН, Академия Криптографии, ФСТЭК, Минцифры), ведущие исследователи в области технологий ИИ и машинного обучения, криптографии и информационной безопасности, а также специалисты ведущих технологических компаний, реализующих успешные проекты в области ИИ.
Был на прошлогоднем, форуме, было суперинтересно. На этом будут треки и про безопасность ИИ, и про применение ИИ для решения задач ИБ, и про атаки на ИИ. Программа в свободном доступе тут.
👍2⚡1
Forwarded from PurpleBear (Vadim Shelest)
Summoning RAGnarok With Your Nemesis
Такой провокационный заголовок получил пост SpecterOps с описанием функциональности
такой Судный день, если бы Терминатора🤖 снимали в Скандинавии чат бот, который использует
RAGnarok использует
Простыми словами, это просто чатик в веб-интерфейсе, который поднимается локально и подключается к
Мое мнение после экспериментов с
Такой провокационный заголовок получил пост SpecterOps с описанием функциональности
LLM чат бота RAGnarok для удобного поиска по индексу данных, которые агрегирует Nemesis.
RAGnarokRAG (retrieval-augmented generation) метод работы с LLM, когда пользователь пишет свой вопрос, а под капотом к этому вопросу добавляется дополнительная информация из каких‑то внешних источников и подается все целиком на вход как промт для языковой модели. Другими словами RAG должен найти соответствующую информацию в проиндексированных Nemesis данных и подать на вход LLM не только вопрос пользователя, но и релевантную запросу часть содержимого базы данных, чтобы LLM могла сформировать правильный и релевантный ответ.RAGnarok использует
openchat-3.5-0106, intel/neural-chat-7b-v3-3, Starling-LM-7b-alpha, reranker на основе BAAI/bge-reranker-base и embedding model на основе TaylorAI’s gte-tiny. Остальные подробности относительно архитектуры и выбора компонентов можно найти в блоге🤪 Простыми словами, это просто чатик в веб-интерфейсе, который поднимается локально и подключается к
API Nemesis. Он с трудом работает без GPU, падает когда упирается в потолок по RAM при обработке тяжелых запросов и позволяет искать информацию по данным Nemesis через интерфейс чат бота🙈Мое мнение после экспериментов с
RAGnarok - это прикольно😁 Но практической пользы от его использования не много, за исключением формулировок для Executive Summary части отчета по проекту😎 Все тоже самое можно делать через поиск по интерфейсу Nemesis, хотя если добавить бота для Telegram, прикрутить OpenAI Whisper API для распознавания голосовых сообщений и какой-нибудь аналог GPT-4 Vision может получится такой личный "AI секретарь" Red Team оператора😂