🔍 Доклады конференции по кибербезопасности Black Hat 2024: Уязвимости и риски AI
⚠️ Уязвимость AI-ассистента Microsoft Copilot
Исследователь по безопасности Майкл Баргури и его коллега Авишай Эфрат выявили серьёзные уязвимости в Copilot Studio от Microsoft. Дыры безопасности могут позволить злоумышленникам взломать корпоративные сети и получить доступ к чувствительной информации. Основные проблемы связаны неправильными настройками по умолчанию, плагинами с повышенными привилегиями, а также ошибками проектирования интеграционных взаимодействий. Кроме того Баргури также продемонстрировал инструмент Copilot Hunter, способный сканировать общедоступные инсталляции Copilot и извлекать ценную информацию. По итогу докладов были представлены рекомендации по защите Copilot.
🔒 Доклад NVIDIA: Критические уязвимости в LLM
Команда NVIDIA AI Red Team представила обзор критических язвимостей в больших языковых моделях. Среди них – инъекции команд, а также проблемы безопасности, связанные с плагинами. Уязвимости LLM могут привести к искажению данных или утечке информации. Важным выводом является то, что LLM создают статистические предсказания, что делает их подверженными «галлюцинациям» и инъекциям команд. Детальной информацией NVIDIA делится в своём блоге.
🛡️ Глубокие бэкдоры в AI-агентах
На конференции также обсуждались риски, связанные с Deep Reinforcement Learning (DRL), где были выявлены опасные бэкдоры, встроенные непосредственно в нейронные сети. Такие бэкдоры могут скрыто манипулировать поведением агента, выдавая вредоносную информацию в качестве ответа на запрос. Исследователи предложили новые методы для выявления бэкдоров, анализируя внутренние активации нейронной сети в процессе работы.
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #ML #LLM #MicrosoftCopilot #NVIDIA #BlackHat2024 #технологии
⚠️ Уязвимость AI-ассистента Microsoft Copilot
Исследователь по безопасности Майкл Баргури и его коллега Авишай Эфрат выявили серьёзные уязвимости в Copilot Studio от Microsoft. Дыры безопасности могут позволить злоумышленникам взломать корпоративные сети и получить доступ к чувствительной информации. Основные проблемы связаны неправильными настройками по умолчанию, плагинами с повышенными привилегиями, а также ошибками проектирования интеграционных взаимодействий. Кроме того Баргури также продемонстрировал инструмент Copilot Hunter, способный сканировать общедоступные инсталляции Copilot и извлекать ценную информацию. По итогу докладов были представлены рекомендации по защите Copilot.
🔒 Доклад NVIDIA: Критические уязвимости в LLM
Команда NVIDIA AI Red Team представила обзор критических язвимостей в больших языковых моделях. Среди них – инъекции команд, а также проблемы безопасности, связанные с плагинами. Уязвимости LLM могут привести к искажению данных или утечке информации. Важным выводом является то, что LLM создают статистические предсказания, что делает их подверженными «галлюцинациям» и инъекциям команд. Детальной информацией NVIDIA делится в своём блоге.
🛡️ Глубокие бэкдоры в AI-агентах
На конференции также обсуждались риски, связанные с Deep Reinforcement Learning (DRL), где были выявлены опасные бэкдоры, встроенные непосредственно в нейронные сети. Такие бэкдоры могут скрыто манипулировать поведением агента, выдавая вредоносную информацию в качестве ответа на запрос. Исследователи предложили новые методы для выявления бэкдоров, анализируя внутренние активации нейронной сети в процессе работы.
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #ML #LLM #MicrosoftCopilot #NVIDIA #BlackHat2024 #технологии
👍1
🤖 Anthropic тестирует новую функцию для ИИ Claude
Компания Anthropic начала тестирование функции для Claude, позволяющей ему управлять компьютером на основе пользовательских команд. В демонстрации разработчики показали, как Claude может выполнять запросы, планировать мероприятия и добавлять задачи в календарь. Однако функция пока доступна лишь разработчикам, и эффективность её работы остаётся под вопросом. Например, в одном тесте Claude отвлёкся от основного задания и стал искать изображения Йеллоустонского парка, что показало необходимость доработок.
🖥️ Claude контролирует компьютер, анализируя скриншоты и оценивая расстояния до элементов интерфейса, чтобы взаимодействовать с ними. Anthropic позиционирует Claude как первый публичный ИИ для такого рода взаимодействия, хотя его реальные возможности пока ограничены.
⚙️ Где может быть полезна функция?
В первую очередь — для автоматизации рутинных задач и простых запросов. Однако пока надёжность ИИ на сложных заданиях остаётся низкой, что ограничивает использование в корпоративной среде или при работе с важными данными. Эксперты считают, что такие функции могли бы облегчить работу с электронной почтой или соцсетями.
🔍 Anthropic рекомендует тестировать новую функцию Claude на задачах, не связанных с высоким риском, и соблюдать осторожность при её использовании.
Stay secure and read SecureTechTalks 📚
#кибербезопасность #ИИ #SecureTechTalks #Anthropic #MicrosoftCopilot #автоматизация
Компания Anthropic начала тестирование функции для Claude, позволяющей ему управлять компьютером на основе пользовательских команд. В демонстрации разработчики показали, как Claude может выполнять запросы, планировать мероприятия и добавлять задачи в календарь. Однако функция пока доступна лишь разработчикам, и эффективность её работы остаётся под вопросом. Например, в одном тесте Claude отвлёкся от основного задания и стал искать изображения Йеллоустонского парка, что показало необходимость доработок.
🖥️ Claude контролирует компьютер, анализируя скриншоты и оценивая расстояния до элементов интерфейса, чтобы взаимодействовать с ними. Anthropic позиционирует Claude как первый публичный ИИ для такого рода взаимодействия, хотя его реальные возможности пока ограничены.
⚙️ Где может быть полезна функция?
В первую очередь — для автоматизации рутинных задач и простых запросов. Однако пока надёжность ИИ на сложных заданиях остаётся низкой, что ограничивает использование в корпоративной среде или при работе с важными данными. Эксперты считают, что такие функции могли бы облегчить работу с электронной почтой или соцсетями.
🔍 Anthropic рекомендует тестировать новую функцию Claude на задачах, не связанных с высоким риском, и соблюдать осторожность при её использовании.
Stay secure and read SecureTechTalks 📚
#кибербезопасность #ИИ #SecureTechTalks #Anthropic #MicrosoftCopilot #автоматизация
❤1