Forwarded from Пост Лукацкого
На RSAC, которая была во многом посвящена ИИ 🧠 , эксперты задавались вопросами о том, насколько можно доверять моделям ИИ и как их защищать от различных атак. Вот одна из матриц оценки рисков для публичных, частных, но выложенных в паблик, и закрытых моделей машинного обучения. Чем-то похожа на баталии сторонников open source и проприетарного ПО ⚔️
Поэтому в тему еще один анонс с RSA - Cloud Security Alliance🌦 выпустил 4 руководства по внедрению ИИ:
➖ AI Organizational Responsibilities - Core Security Responsibilities,
➖ AI Resilience: A Revolutionary Benchmarking Model for AI
➖ Principles to Practice: Responsible AI in a Dynamic Regulatory Environment
➖ Confronting Shadow Access Risks: Considerations for Zero Trust and Artificial Intelligence Deployments
Поэтому в тему еще один анонс с RSA - Cloud Security Alliance
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Новости AI safety - рассылка
#иб_для_ml #ai
https://newsletter.mlsafety.org/
Центр общественных рисков ИИ (американский) запустил рассылку новостей по своей тематике. Рассказывают про выравнивание (alignment)(поведения ИИ с человеческими целями) , подсвечивают различные статьи про атаки на машинное обучение, исследования в области устойчивости языковы моделей и много чего еще.
#иб_для_ml #ai
https://newsletter.mlsafety.org/
Центр общественных рисков ИИ (американский) запустил рассылку новостей по своей тематике. Рассказывают про выравнивание (alignment)
Сведения по использованию ML в ИБ // RSAC 2024
#ml_для_иб
Источник
Достаточно полный список задач, имеющих практические решения с использованием машинного обучения. Приставку Gen в заголовке действительно стоило бы убрать - она имеет отношение лишь к некоторым из приведенных примеров.
И на отдельных вещах я хотел бы заострить внимание:
#️⃣ Configuration Drift. Интересно, что на последних конференциях в России эта тема тоже начала звучать - Левшун Д. (СПбГУТ и СПб ФИЦ РАН) на РусКрипто 2024 выступил с докладом "Прогнозирование уязвимостей в устройствах Интернета вещей", и на грядущем PHDays от него ожидается доклад по этой тематике.
#️⃣ Compliance violation monitoring. Скорее всего данная задача попадает в область NLP, и в данном контексте интересно было бы подискутировать, используется ли например RAG для поиска "нарушенных"/не выполненных требований нормативных документов по безопасности. Если у кого-то есть, чем поделиться на эту тему, велкам в комментарии. Мне кажется, схожие подходы могут быть и для подбора рекомендаций по реагированию/расследованию инцидентов (только тут - подбор сопоставление мер и требований).
#️⃣ Что наверняка является в этом списке Gen AI, так это: Attack Simulation, Automated report generation, Event Log и Incident Summarization, Forensic analysis и Recommendations for action/remediation 50 на 50, и Chatbot конечно же. С появлением LLM какие-то из этих тем получили новое развитие, а какие-то и вовсе зародились.
На тему эффективных способов вкрутить машинное обучение в ИБ несколько месяцев назад был отличный отчет от Google, про который я писал в посте про мл-компетенции.
#ml_для_иб
Источник
Достаточно полный список задач, имеющих практические решения с использованием машинного обучения. Приставку Gen в заголовке действительно стоило бы убрать - она имеет отношение лишь к некоторым из приведенных примеров.
И на отдельных вещах я хотел бы заострить внимание:
На тему эффективных способов вкрутить машинное обучение в ИБ несколько месяцев назад был отличный отчет от Google, про который я писал в посте про мл-компетенции.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥1
AI Security Framework от Snowflake
#иб_для_ml
Ссылка на статью по системе
О чем документ
Об угрозах, которые существуют для систем с ИИ. Каждая угроза из перечисляемых в отчете имеет свою категорию или ассоциированный актив, область риска (по сути информация или ее свойство, подвергаемые риску) и причины возникновения. Помимо этого, к каждой угрозе они приводят возможный ущерб и примеры, а также дают рекомендации по снижению таких рисков.
Приведены такие угрозы, как, Утечка тренировочных данных (Training Data Leakage), Конфиденциальность данных (Privacy, имеется в виду угроза inference-атаки доступа к обучающим данным через модель), Неточность модели (Bias, то есть способность ошибаться в критичных ситуациях), и еще 16 других.
Даже такое есть
Sponge samples
Угроза возникновения атаки, заключающейся в попадании в модель таких входных данных, что значительно увеличат ее потребление энергии и время на вычисление ответа.
Последствия - значительное падение качества всех ответов мл-сервиса, производительности вплоть до отказа в обслуживании, а также возможность комбинировать эту технику с другими атаками для усиления их эффекта (например, с evasion-атакой)
Пример атаки - чатбот (прим. авт.: например ассистент в банковском приложении) на основе языковой модели, в которого злоумышленник может закинуть что-то очень большое или сложное.
Меры защиты - валидация инпута, троттлинг аппаратуры мл-сервиса, обучение модели на "плохих" примерах.
Плюсы и минусы
➕ Формализация угроз, полнота их описаний, наличие примеров и мер предотвращения
➕ Легкий "порог вхождения" за счет простой организации документа
➕ Наличие ссылок на научные статьи и некоторые кейсы атак на ПО, LLM-модели и данные
➖ Все еще отсутствие ссылок на реальные кейсы атак на машинное обучение
➖ Ориентировка на конкретные угрозы подвержена устареванию
➖ Нет представления способа использования конкретных инструментов хотя бы в рамках своего облака для реализации предлагаемых к каждому риску защитных мер (как в DASF, например)
Мое личное мнение - полезный фреймворк.
#иб_для_ml
Ссылка на статью по системе
О чем документ
Об угрозах, которые существуют для систем с ИИ. Каждая угроза из перечисляемых в отчете имеет свою категорию или ассоциированный актив, область риска (по сути информация или ее свойство, подвергаемые риску) и причины возникновения. Помимо этого, к каждой угрозе они приводят возможный ущерб и примеры, а также дают рекомендации по снижению таких рисков.
Приведены такие угрозы, как, Утечка тренировочных данных (Training Data Leakage), Конфиденциальность данных (Privacy, имеется в виду угроза inference-атаки доступа к обучающим данным через модель), Неточность модели (Bias, то есть способность ошибаться в критичных ситуациях), и еще 16 других.
Даже такое есть
Угроза возникновения атаки, заключающейся в попадании в модель таких входных данных, что значительно увеличат ее потребление энергии и время на вычисление ответа.
Последствия - значительное падение качества всех ответов мл-сервиса, производительности вплоть до отказа в обслуживании, а также возможность комбинировать эту технику с другими атаками для усиления их эффекта (например, с evasion-атакой)
Пример атаки - чатбот (прим. авт.: например ассистент в банковском приложении) на основе языковой модели, в которого злоумышленник может закинуть что-то очень большое или сложное.
Меры защиты - валидация инпута, троттлинг аппаратуры мл-сервиса, обучение модели на "плохих" примерах.
Плюсы и минусы
Мое личное мнение - полезный фреймворк.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2🔥2
Защита от краж моделей ИИ
#ml_для_иб
Интереснейшая заметка о разработанном AIRI + Сколково + ИСП РАН методе идентификации украденных моделей.
Актуальность
Раз подобное исследование было проведено, то у него есть заказчики, которым оно актуально. Выход области алгоритмической безопасности машинного обучения потихоньку все значительнее.
Значимое достижение
Погрузимся немного в суть. При краже модели нарушитель некоторым образом подготавливает на своей стороне модель так, что она максимально хорошо имитирует целевую. Основа атаки - возможность как минимум видеть ответ целевой модели на те или иные входные данные. И если по общему качеству "скопированная" модель будет близка, то на конкретных примерах ответы оригинала и копии совершенно не факт что сойдутся.
Методы "водяного знака" направлен привить модели свойство отвечать определенным заранее известным образом на известные входные данные, лакмусовая бумажка, попросту говоря.
Разработанный учеными AIRI подход дает вероятностную гарантию на сохранность реакции модели на водяные знаки в копиях модели, достаточно близких к оригинальной, в этом и есть его особенность.
Персоналия
Информацию о методе в заметке предоставляет Олег Рогов, кандидат физико-математических наук, руководитель научной группы «Доверенные и безопасные интеллектуальные системы» Института AIRI.
Публикация
Ознакомиться со статьей с описанием метода, принятой на IJCAI-2024, можно тут: https://arxiv.org/pdf/2401.08261
Гитхаб проекта: https://github.com/AIRI-Institute/PROWN/tree/main
#ml_для_иб
Интереснейшая заметка о разработанном AIRI + Сколково + ИСП РАН методе идентификации украденных моделей.
Актуальность
Раз подобное исследование было проведено, то у него есть заказчики, которым оно актуально. Выход области алгоритмической безопасности машинного обучения потихоньку все значительнее.
Значимое достижение
Погрузимся немного в суть. При краже модели нарушитель некоторым образом подготавливает на своей стороне модель так, что она максимально хорошо имитирует целевую. Основа атаки - возможность как минимум видеть ответ целевой модели на те или иные входные данные. И если по общему качеству "скопированная" модель будет близка, то на конкретных примерах ответы оригинала и копии совершенно не факт что сойдутся.
Методы "водяного знака" направлен привить модели свойство отвечать определенным заранее известным образом на известные входные данные, лакмусовая бумажка, попросту говоря.
Большинство подобных методов маркировки моделей содержат существенный недостаток –– поведение водяных знаков плохо сохраняется в процессе процедуры кражи с атакой на функциональность.
Разработанный учеными AIRI подход дает вероятностную гарантию на сохранность реакции модели на водяные знаки в копиях модели, достаточно близких к оригинальной, в этом и есть его особенность.
Персоналия
Информацию о методе в заметке предоставляет Олег Рогов, кандидат физико-математических наук, руководитель научной группы «Доверенные и безопасные интеллектуальные системы» Института AIRI.
Публикация
Ознакомиться со статьей с описанием метода, принятой на IJCAI-2024, можно тут: https://arxiv.org/pdf/2401.08261
Гитхаб проекта: https://github.com/AIRI-Institute/PROWN/tree/main
👍1
Интерактивная карта навыков для ML-разработчиков
#ml_для_иб #hr
Ссылка
Взаимоувязанные и размещенные в пространстве близости по общему контексту упоминаний основные понятия из современного машинного обучения. Гладкий и удобный интерфейс, имеется углубленная детализация, взаимосвязи для обогащения предложенных понятий.
Кому и зачем ее можно использовать? Тем более в ИБ?
1. Вы мл-разработчик, инженер или аналитик данных в ИБ-компании. Если вы исследуете новую область мл, или вообще только погружаетесь в область, или вам нужно какое-то свежее решение для неподдающейся задачи - эта штука вам поможет. Для целевого запроса здесь есть прямой поиск по терминам и ключевым словам.
2. Вы руководитель, которому нужно нанять такого специалиста. У вас скорее всего есть общее понимание области, и эта карта поможет в нем удостовериться и укрепить. Да и просто пройдя по алгоритму "какие задачи мне нужно закрыть?" → "какие библиотеки/понятия основные в области этих задач?"→"знаком ли кандидат с этими вещами, имеет ли в них опыт?", можно хоть как-то идентифицировать навыки нужного человека.
3. Вы преподаватель / вам нужно подготовить доклад. В общем человек, которому нужно разъяснить слушателям основные понятия этой сферы знаний. Карта поможет их расставить по полочкам. И проверить себя, не упустили ли вы что-то при подготовке материала.
ℹ️ До этого я уже затрагивал этот вопрос. Здесь я рассказываю про то, кто такой мл-разработчик, инженер данных и далее по тексту. Во другом посте я анализирую исследование рынка специалистов по ИИ в кибербезопасности. Совмещая эти сведения, картина понимания навыков, требуемых для решения задач ИБ с помощью машинного обучения, становится еще более полной.
#ml_для_иб #hr
Ссылка
Взаимоувязанные и размещенные в пространстве близости по общему контексту упоминаний основные понятия из современного машинного обучения. Гладкий и удобный интерфейс, имеется углубленная детализация, взаимосвязи для обогащения предложенных понятий.
Кому и зачем ее можно использовать? Тем более в ИБ?
1. Вы мл-разработчик, инженер или аналитик данных в ИБ-компании. Если вы исследуете новую область мл, или вообще только погружаетесь в область, или вам нужно какое-то свежее решение для неподдающейся задачи - эта штука вам поможет. Для целевого запроса здесь есть прямой поиск по терминам и ключевым словам.
2. Вы руководитель, которому нужно нанять такого специалиста. У вас скорее всего есть общее понимание области, и эта карта поможет в нем удостовериться и укрепить. Да и просто пройдя по алгоритму "какие задачи мне нужно закрыть?" → "какие библиотеки/понятия основные в области этих задач?"→"знаком ли кандидат с этими вещами, имеет ли в них опыт?", можно хоть как-то идентифицировать навыки нужного человека.
3. Вы преподаватель / вам нужно подготовить доклад. В общем человек, которому нужно разъяснить слушателям основные понятия этой сферы знаний. Карта поможет их расставить по полочкам. И проверить себя, не упустили ли вы что-то при подготовке материала.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1
NLP!
В ИБ - полезен.
Но как разобраться?..
Часть1.
#ml_для_иб
Начнем издалека, и подойдем к практике в конце)
Что это - NLP? Natural Language Processing - обработка естественного языка. Говоря кратким образом, обработка заключается в том, что слова очень хотелось бы представить в виде чисел, хоть как-то отображающих смысл, в этих словах заключенный. Смысл в словах, предложениях и целых текстах постулируется как разница между числами, векторами, матрицами. Развиваться область начала давно, аж с 1949 года. О ключевых вехах (text statistics, rnn, word2vec, ...) этого направления МЛ хорошо расписано тут (со ссылками на самые значимые статьи, доклады и релизы).
Как специалисту в мл начать путь в познании области NLP? Для начала - покопайтесь в математической лингвистике. Для чего и зачем делается лемматизация, приведение слов к нормальной форме, поиск стоп-слов в тексте, что такое токенизация и паддинг. После - я бы порекомендовал научиться считать слова. CountVectorizer из sklearn то бишь - вот первый шаг на этом пути. Далее следует TF-IDF, и некоторые надстройки над ним - например, выясните, зачем проводится L1 и L2 нормализация создаваемых этим алгоритмом весов. Отличную статью с NLP-алгоритмами в порядке усложнения можно найти на TowardsDataScience, но она под пейволом. Однако, при определенной ловкости рук с использованием этой ссылки, его можно обойти...
Следующим углублением в вопрос станет изучение в ручном режиме принципов работы первого и простейшего генератора эмбеддингов слов - Word2Vec от Google. Эмбеддинг - это вектор, обозначающий какую-то текстовую единицу - слово, словосочетание, текст целиком. И да, за вас это уже сделали вот в этой онлайн-таблице. Осталось только аккуратно повторить и разобраться. В ней также есть ссылка на статью на medium с разбором, обходить пейвол мы уже умеем.
Начало положено, в следующей части разовьем успех ссылочками на полезное по моделям эмбеддингов и LLM.
В ИБ - полезен.
Но как разобраться?..
Часть1.
#ml_для_иб
Начнем издалека, и подойдем к практике в конце)
Что это - NLP? Natural Language Processing - обработка естественного языка. Говоря кратким образом, обработка заключается в том, что слова очень хотелось бы представить в виде чисел, хоть как-то отображающих смысл, в этих словах заключенный. Смысл в словах, предложениях и целых текстах постулируется как разница между числами, векторами, матрицами. Развиваться область начала давно, аж с 1949 года. О ключевых вехах (text statistics, rnn, word2vec, ...) этого направления МЛ хорошо расписано тут (со ссылками на самые значимые статьи, доклады и релизы).
Как специалисту в мл начать путь в познании области NLP? Для начала - покопайтесь в математической лингвистике. Для чего и зачем делается лемматизация, приведение слов к нормальной форме, поиск стоп-слов в тексте, что такое токенизация и паддинг. После - я бы порекомендовал научиться считать слова. CountVectorizer из sklearn то бишь - вот первый шаг на этом пути. Далее следует TF-IDF, и некоторые надстройки над ним - например, выясните, зачем проводится L1 и L2 нормализация создаваемых этим алгоритмом весов. Отличную статью с NLP-алгоритмами в порядке усложнения можно найти на TowardsDataScience, но она под пейволом. Однако, при определенной ловкости рук с использованием этой ссылки, его можно обойти...
Следующим углублением в вопрос станет изучение в ручном режиме принципов работы первого и простейшего генератора эмбеддингов слов - Word2Vec от Google. Эмбеддинг - это вектор, обозначающий какую-то текстовую единицу - слово, словосочетание, текст целиком. И да, за вас это уже сделали вот в этой онлайн-таблице. Осталось только аккуратно повторить и разобраться. В ней также есть ссылка на статью на medium с разбором, обходить пейвол мы уже умеем.
Начало положено, в следующей части разовьем успех ссылочками на полезное по моделям эмбеддингов и LLM.
👍1
NLP!
В ИБ - полезен.
Но как разобраться?..
Часть 2.
#ml_для_иб
Визуальное
🔖 Выращивание векторов слов Word2Vec прямо на глазах - демонстрация с кучей кнопочек, наглядно. И дополнительно статья, где объясняется феномен его работы.
🔖 Google Model Explorer. Инструмент для анализа собственных разработок и их отладки.
🔖 B. Bycroft LLM Visualization. Интерактивный учебник по устройству трансформеров и LLM на примере GPT-2 small, GPT-2 XL, nano-gpt и GPT-3.
Полный практический ликбез
Ноутбук на Kaggle с разбором Word2Vec, Glove, RNN, и до Seq2Seq, механизма внимания из трансформеров и BERT. Мощная теория, но без кода.
LLM
Помимо бесчисленных гайдов о том, что и как в них работает, обращу ваше внимание на пару важных вещей.
➡️ Квантизация моделей. А точнее, их весов. Вот есть модель на миллиард параметров, 1B. А что есть параметр? - это число. Если это float64, он весит 8 байт, float32 - 4 байт. Таким образом, модель в зависимости от числового типа займет либо 500 или 1000 МБ - разница значительная. О том, как сжать веса модели и при этом сохранить по максимуму ее эффективность, отлично расписано тут. И я достаточно убежден, что это - ключ к развертыванию подобных больших моделей в контуре заказчика, как того требуют часто реалии рынка ИБ.
➡️ Высочайшая схожесть эмбеддингов. Пробовали ли вы, например, с помощью SecureBERT сделать эмбеддинг фразы "base64 encoded suspicious powershell command content" и "serve the donuts warm for the best taste", а потом измерить расстояние от них до, например "windows malicious command"? Результат вас удивит - близость будет одинаковой и колебаться в районе 0.9 (косинусная). У этого есть причина, заключается она в анизотропности пространства отображения трансформеров, создаваемого ими в процессе обучения. Подробнее о том, что это и как с этим справиться, читайте здесь.
В ИБ - полезен.
Но как разобраться?..
Часть 2.
#ml_для_иб
Визуальное
Полный практический ликбез
Ноутбук на Kaggle с разбором Word2Vec, Glove, RNN, и до Seq2Seq, механизма внимания из трансформеров и BERT. Мощная теория, но без кода.
LLM
Помимо бесчисленных гайдов о том, что и как в них работает, обращу ваше внимание на пару важных вещей.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Forwarded from Data Secrets
Что тут у нас? Это же новая громкая статья от Anthropic про интерпретируемость модели!
Исследование просто взорвало комьюнити: в нем выясняется, что, затюнив какие-то вполне конкретные фичи, мы можем заставить LLM всегда писать уязвимый код, генерировать фишинг и др. Как это работает – выясняем в карточках.
Подробнее: сочный блогпост с визуализациями, статья.
Исследование просто взорвало комьюнити: в нем выясняется, что, затюнив какие-то вполне конкретные фичи, мы можем заставить LLM всегда писать уязвимый код, генерировать фишинг и др. Как это работает – выясняем в карточках.
Подробнее: сочный блогпост с визуализациями, статья.
👍3🔥2
Управление LLM
#иб_для_ml #ai
Anthropic представили серьезное и, не побоюсь этого слова, прорывное исследование в области XAI.
Что нашли?
Группы нейронов LLM (линейные комбинации, если точно: 1, абзац 3), отвечающим конкретным темам, как области головного мозга. 8 месяцев назад этот метод был опробован на маленькой модели, и сейчас они закончили исследование большой, Claude 3 Sonnet. Предварительно ученые установили, что отдельные нейроны полисемантичны: то есть отвечают на совершенно разные по темам входы. Например, одновременно и на цитирование научных источников, и на понимание HTTP-запросов, и наобщение на корейском о_О . Выявленные группы же, названные фичами, соотносятся с уже конкретными знаниями, как например про Альберта Эйнштейна, науку о мозге, моральные компромиссы и многом другом.
Возможности
Для нас, как для ИБ специалистов, важно две вещи.
1. У модели выявились явные фичи, влияющие на безопасность ее поведения и использования. Влияющие на безопасность кода, регулирующие в речи степень подхалимства в противовес сарказму, а также отвечающие за обман, жажду власти и уровень манипулятивных воздействий. Уметь обнаруживать такие отклонения в поведении модели и их исправлять, мне кажется, в будущем станет большой частью кибербезопасности.
2. Авторы отмечают, что есть возможность подавлять фичи - подобную технику они называют ручное управление активациями (activation steering). Приводят еще дополнительную статью на эту тему (ссылка). Во-первых, это пригодится в борьбе с опасным поведением модели из прошлого пункта. А во-вторых, возьмем обученную на внутренних документах организации модель-помощник. При чем не просто RAG, а модель, дообученную на специфическом наборе материалов. Да, мы понимаем, что информация чувствительная, но ее порой копится много, и в рамках закрытого, защищенного в какой-то мере контура все же может возникнуть желание оптимизировать работу с этими документами с помощью LLM. Что же если нарушитель получит доступ к API этой модели, даже не к данным? Сможет провести inference-атаку (о том, что это, читайте тут) и украсть чувствительные сведения? Да, но если заставить модель забыть, например, определенные самые важные документы, или особо чувствительные факты, или умение точно воспроизводить числа или имена собственные и так далее, то можно попробовать найти баланс между полезностью сведений, которые может дать модель, и критичностью в случае утечки этих сведений.
Мысли
Я думаю, становление направления безопасности систем модели+данные машинного обучения все ближе и ближе. Ибо растет как спрос на эти системы, так и предложение по реализации мер обеспечения их безопасности.
#иб_для_ml #ai
Anthropic представили серьезное и, не побоюсь этого слова, прорывное исследование в области XAI.
Что нашли?
Группы нейронов LLM (линейные комбинации, если точно: 1, абзац 3), отвечающим конкретным темам, как области головного мозга. 8 месяцев назад этот метод был опробован на маленькой модели, и сейчас они закончили исследование большой, Claude 3 Sonnet. Предварительно ученые установили, что отдельные нейроны полисемантичны: то есть отвечают на совершенно разные по темам входы. Например, одновременно и на цитирование научных источников, и на понимание HTTP-запросов, и на
Возможности
Для нас, как для ИБ специалистов, важно две вещи.
1. У модели выявились явные фичи, влияющие на безопасность ее поведения и использования. Влияющие на безопасность кода, регулирующие в речи степень подхалимства в противовес сарказму, а также отвечающие за обман, жажду власти и уровень манипулятивных воздействий. Уметь обнаруживать такие отклонения в поведении модели и их исправлять, мне кажется, в будущем станет большой частью кибербезопасности.
2. Авторы отмечают, что есть возможность подавлять фичи - подобную технику они называют ручное управление активациями (activation steering). Приводят еще дополнительную статью на эту тему (ссылка). Во-первых, это пригодится в борьбе с опасным поведением модели из прошлого пункта. А во-вторых, возьмем обученную на внутренних документах организации модель-помощник. При чем не просто RAG, а модель, дообученную на специфическом наборе материалов. Да, мы понимаем, что информация чувствительная, но ее порой копится много, и в рамках закрытого, защищенного в какой-то мере контура все же может возникнуть желание оптимизировать работу с этими документами с помощью LLM. Что же если нарушитель получит доступ к API этой модели, даже не к данным? Сможет провести inference-атаку (о том, что это, читайте тут) и украсть чувствительные сведения? Да, но если заставить модель забыть, например, определенные самые важные документы, или особо чувствительные факты, или умение точно воспроизводить числа или имена собственные и так далее, то можно попробовать найти баланс между полезностью сведений, которые может дать модель, и критичностью в случае утечки этих сведений.
Мысли
Я думаю, становление направления безопасности систем модели+данные машинного обучения все ближе и ближе. Ибо растет как спрос на эти системы, так и предложение по реализации мер обеспечения их безопасности.
Lesswrong
Addressing Feature Suppression in SAEs — LessWrong
Produced as part of the ML Alignment Theory Scholars Program - Winter 2023-24 Cohort as part of Lee Sharkey's stream. …
🔥3👍1
Интервью с Алексеем Лукацким совместно с @We_will_call_youback!
#ai #иб
Поспрашивали про профессии в ИБ в будущем и роль ИИ в их формировании)
#ai #иб
Поспрашивали про профессии в ИБ в будущем и роль ИИ в их формировании)
Forwarded from Мы вам перезвоним
#PHDays2 #lukatsk
Привет, друзья!
Мы поговорили с Алексеем Лукацким про будущее профессий в кибербезопасности и узнали:
- что ждёт инженера кибербезопасности?
- топ 5 ИБ специальностей в IT?
- востребованные технологии в ИБ и многое другое
Надеемся вы насладитесь статьей, потому что мы вдохновились и задумались
На забывайте 👉🏻🔥
Ссылка на канал
Привет, друзья!
Мы поговорили с Алексеем Лукацким про будущее профессий в кибербезопасности и узнали:
- что ждёт инженера кибербезопасности?
- топ 5 ИБ специальностей в IT?
- востребованные технологии в ИБ и многое другое
Надеемся вы насладитесь статьей, потому что мы вдохновились и задумались
На забывайте 👉🏻🔥
Ссылка на канал
👍3🔥1
Форум "Технологии доверенного искусственного интеллекта"
#иб_для_ml
Всем привет! Плотно идут очень важные конференции, и вчера все мое внимание заняла безопасность ml и устройство доверенного ИИ.
Открылась конференция ключевым диалогом по теме форума между зам. главы Минцифры Шойтовым, зам. директора ФСТЭК Лютиковым, директором департамента м/нар. ИБ МИД Люкмановым, директором ИСП РАН Аветисяном и директором по информационной инфраструктуре Росатом Абакумовым.
Вашему вниманию представляются ключевые тезисы этого обсуждения:
https://telegra.ph/Tekstovyj-konspekt-plenarnoj-diskussii-II-foruma-Tehnologii-Doverennogo-II-05-28
#иб_для_ml
Всем привет! Плотно идут очень важные конференции, и вчера все мое внимание заняла безопасность ml и устройство доверенного ИИ.
Открылась конференция ключевым диалогом по теме форума между зам. главы Минцифры Шойтовым, зам. директора ФСТЭК Лютиковым, директором департамента м/нар. ИБ МИД Люкмановым, директором ИСП РАН Аветисяном и директором по информационной инфраструктуре Росатом Абакумовым.
Вашему вниманию представляются ключевые тезисы этого обсуждения:
https://telegra.ph/Tekstovyj-konspekt-plenarnoj-diskussii-II-foruma-Tehnologii-Doverennogo-II-05-28
Telegraph
Текстовый конспект пленарной дискуссии II форума "Технологии Доверенного ИИ"
Шойтов. Применение ИИ составляет около 11 трлн. в составе ВВП России. Европейский подход к регуляторике ИИ с самый жесткий из мировых, американский самый мягкий. Однако американские компании выполняют требования по соответствию европейскому законодательству.…
👍2