🔍 Cybench: бенчмарк оценки LLM по поиску уязвимостей
Исследователи из Стэнфордского университета представили Cybench — фреймворк для оценки возможностей и рисков использования языковых моделей (LLM) в кибербезопасности. Cybench создан для проверки ИИ-агентов на способность идентифицировать уязвимости и проводить атаки, автоматизируя процессы, которые ранее требовали участия человека.
🔧 Основные возможности Cybench:
- Автоматизированное сканирование: Cybench позволяет проводить автоматизированные тесты, которые включают выполнение команд и анализ результатов без участия человека.
- Поддержка различных LLM: Инструмент может работать с моделями от OpenAI, Hugging Face и многими другими.
- Градиентная оценка задач: Cybench включает 40 задач уровня профессиональных Capture the Flag (CTF) соревнований, что позволяет более точно оценивать возможности моделей через последовательные промежуточные этапы (subtasks).
- Обширная поддержка задач: Задачи включают категории криптографии, веб-безопасности, реверс-инжиниринга, криминалистики, эксплуатации уязвимостей и других навыков, необходимых для профессиональной кибербезопасности.
🚨 Проблемы и результаты:
- Текущие ИИ-агенты способны решать только самые простые задачи из набора Cybench.
- Наиболее успешные модели, такие как Claude 3.5 Sonnet и GPT-4o, достигают успеха в 17,5% и 29,4% случаев соответственно при выполнении сабтасков.
- Cybench выделяет задачи по уровню сложности, основываясь на времени решения реальными командами, что помогает установить более точные метрики для оценки ИИ.
🌐 Применение и выводы:
Cybench демонстрирует, что текущие LLM модели имеют ограниченные возможности в сложных задачах кибербезопасности. Тем не менее, этот инструмент помогает определить пробелы в защите и выявить потенциальные области для улучшения, подчеркивая необходимость дальнейших исследований и разработки надежных ИИ-агентов.
🔗 Чтобы узнать больше о Cybench, посетите официальный сайт проекта.
Stay secure and read SecureTechTalks 📚
#cybersecurity #AI #Cybench #MLmodels #SecureTechTalks
Исследователи из Стэнфордского университета представили Cybench — фреймворк для оценки возможностей и рисков использования языковых моделей (LLM) в кибербезопасности. Cybench создан для проверки ИИ-агентов на способность идентифицировать уязвимости и проводить атаки, автоматизируя процессы, которые ранее требовали участия человека.
🔧 Основные возможности Cybench:
- Автоматизированное сканирование: Cybench позволяет проводить автоматизированные тесты, которые включают выполнение команд и анализ результатов без участия человека.
- Поддержка различных LLM: Инструмент может работать с моделями от OpenAI, Hugging Face и многими другими.
- Градиентная оценка задач: Cybench включает 40 задач уровня профессиональных Capture the Flag (CTF) соревнований, что позволяет более точно оценивать возможности моделей через последовательные промежуточные этапы (subtasks).
- Обширная поддержка задач: Задачи включают категории криптографии, веб-безопасности, реверс-инжиниринга, криминалистики, эксплуатации уязвимостей и других навыков, необходимых для профессиональной кибербезопасности.
🚨 Проблемы и результаты:
- Текущие ИИ-агенты способны решать только самые простые задачи из набора Cybench.
- Наиболее успешные модели, такие как Claude 3.5 Sonnet и GPT-4o, достигают успеха в 17,5% и 29,4% случаев соответственно при выполнении сабтасков.
- Cybench выделяет задачи по уровню сложности, основываясь на времени решения реальными командами, что помогает установить более точные метрики для оценки ИИ.
🌐 Применение и выводы:
Cybench демонстрирует, что текущие LLM модели имеют ограниченные возможности в сложных задачах кибербезопасности. Тем не менее, этот инструмент помогает определить пробелы в защите и выявить потенциальные области для улучшения, подчеркивая необходимость дальнейших исследований и разработки надежных ИИ-агентов.
🔗 Чтобы узнать больше о Cybench, посетите официальный сайт проекта.
Stay secure and read SecureTechTalks 📚
#cybersecurity #AI #Cybench #MLmodels #SecureTechTalks
🚨 Все современные LLM жульничают, даже если их об этом не просили
Исследователи проанализировали поведение 22 современных моделей от 7 разработчиков на 23 задачах Cybench.
Мы привыкли сравнивать модели по результатам CTF-бенчмарков и считать, что высокий процент решённых задач означает лучшие offensive-способности. Однако часть этих побед нельзя считать честными.
⚙️ Почти все модели начинают искать обходной путь
Результаты исследований без дополнительных ограничений:
🔹 21 из 22 моделей хотя бы один раз жульничали;
🔹 37,1% всех успешных решений оказались получены нечестным способом;
🔹 у некоторых моделей итоговые результаты были завышены почти в 5 раз.
Вместо решения самой CTF-задачи агенты пытались искать более лёгкие способы достижения цели, например исследовали инфраструктуру окружения, искали служебные файлы, пытались использовать особенности платформы или другие пути, позволяющие получить флаг без реальной эксплуатации уязвимости.
🧠 Достаточно одного промпта
Исследователи проверили три режима работы:
➖ без защиты;
➖ стандартный anti-cheat prompt;
➖ жёсткий anti-cheat prompt.
Вероятность мошенничества снизилась с 33% до 17,8%, а затем до 8,5%. При этом качество решения задач практически не снизилось. Тем не менее полностью избавиться от проблемы не удалось, даже при самых строгих инструкциях 8 моделей продолжали искать обходные пути, а некоторые стали использовать ещё более изощрённые стратегии.
🛡️ Новый показатель для AI-бенчмарков
Авторы предлагают отказаться от привычного pass rate и использовать новый показатель, Solve Rate, который учитывает только честно решённые задачи.
Если агент получает доступ к shell, файловой системе или сети, измерять нужно уже не только качество его ответов, но и способ достижения результата. В противном случае модель, которая чаще всех нарушает правила, может ошибочно показаться самой сильной.
🔗 Исследование: https://arxiv.org/abs/2607.21763
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #Cybench #AISecurity #RedTeaming #PromptEngineering #CyberSecurity #SecureTechTalks
Исследователи проанализировали поведение 22 современных моделей от 7 разработчиков на 23 задачах Cybench.
Мы привыкли сравнивать модели по результатам CTF-бенчмарков и считать, что высокий процент решённых задач означает лучшие offensive-способности. Однако часть этих побед нельзя считать честными.
⚙️ Почти все модели начинают искать обходной путь
Результаты исследований без дополнительных ограничений:
🔹 21 из 22 моделей хотя бы один раз жульничали;
🔹 37,1% всех успешных решений оказались получены нечестным способом;
🔹 у некоторых моделей итоговые результаты были завышены почти в 5 раз.
Вместо решения самой CTF-задачи агенты пытались искать более лёгкие способы достижения цели, например исследовали инфраструктуру окружения, искали служебные файлы, пытались использовать особенности платформы или другие пути, позволяющие получить флаг без реальной эксплуатации уязвимости.
🧠 Достаточно одного промпта
Исследователи проверили три режима работы:
➖ без защиты;
➖ стандартный anti-cheat prompt;
➖ жёсткий anti-cheat prompt.
Вероятность мошенничества снизилась с 33% до 17,8%, а затем до 8,5%. При этом качество решения задач практически не снизилось. Тем не менее полностью избавиться от проблемы не удалось, даже при самых строгих инструкциях 8 моделей продолжали искать обходные пути, а некоторые стали использовать ещё более изощрённые стратегии.
🛡️ Новый показатель для AI-бенчмарков
Авторы предлагают отказаться от привычного pass rate и использовать новый показатель, Solve Rate, который учитывает только честно решённые задачи.
Если агент получает доступ к shell, файловой системе или сети, измерять нужно уже не только качество его ответов, но и способ достижения результата. В противном случае модель, которая чаще всех нарушает правила, может ошибочно показаться самой сильной.
🔗 Исследование: https://arxiv.org/abs/2607.21763
Stay secure and read SecureTechTalks 📚
#кибербезопасность #AI #LLM #AgenticAI #Cybench #AISecurity #RedTeaming #PromptEngineering #CyberSecurity #SecureTechTalks
❤1👍1