🚨 Новые навыки в кибербезопасности: спрос на специалистов в области LLM и ML растёт
В 2024 году всё больше организаций осознают важность защиты своих активов от угроз, связанных с искусственным интеллектом. Согласно отчёту ISACA, около 24% опрошенных назвали навыки в области LLM SecOps и ML SecOps одними из самых серьёзных пробелов в кибербезопасности.
🔑 Что такое LLM SecOps и ML SecOps? ML SecOps — это процесс интеграции безопасности на всех этапах разработки и развёртывания систем машинного обучения. Фреймворк включает в себя защиту данных, используемых для обучения моделей, предотвращение искажений, а также применение стандартных мер безопасности, таких как безопасное кодирование, моделирование угроз и реагирование на инциденты.
LLM SecOps охватывает весь жизненный цикл крупных языковых моделей, начиная с подготовки данных и заканчивая реагированием на инциденты. Этот процесс включает такие аспекты, как этическая оценка на этапе разработки, очистка обучающих данных, предотвращение создания вредоносного контента, мониторинг модели после её развертывания и цензоринг.
📚 Где можно обучиться этим навыкам? Для специалистов по безопасности появляются новые ресурсы и курсы. Например, Benjamin Kereopa-Yorke, старший специалист по безопасности и исследователь в области AI, поддерживает репозиторий на GitHub с ресурсами и тренингами по ML SecOps. Также OWASP подготовил проекты Machine Learning Security Top Ten и OWASP Top Ten для LLM, описывающие, как предотвращать атаки на ML-системы и защищать LLM от угроз, таких как утечка данных или кража моделей.
🌐 Прочие ключевые навыки кибербезопасности Помимо навыков в ML и LLM, компании всё чаще ищут специалистов с опытом в облачных технологиях (42%), а также в области реализации мер безопасности (35%) и разработки программного обеспечения (28%). С увеличением числа рабочих нагрузок, перемещаемых в облако, важность защиты облачных активов становится всё более очевидной.
Stay secure and read SecureTechTalks 📚
#кибербезопасность #SecureTechTalks #LLM #ML #информационнаябезопасность #SecOps #ISACA
В 2024 году всё больше организаций осознают важность защиты своих активов от угроз, связанных с искусственным интеллектом. Согласно отчёту ISACA, около 24% опрошенных назвали навыки в области LLM SecOps и ML SecOps одними из самых серьёзных пробелов в кибербезопасности.
🔑 Что такое LLM SecOps и ML SecOps? ML SecOps — это процесс интеграции безопасности на всех этапах разработки и развёртывания систем машинного обучения. Фреймворк включает в себя защиту данных, используемых для обучения моделей, предотвращение искажений, а также применение стандартных мер безопасности, таких как безопасное кодирование, моделирование угроз и реагирование на инциденты.
LLM SecOps охватывает весь жизненный цикл крупных языковых моделей, начиная с подготовки данных и заканчивая реагированием на инциденты. Этот процесс включает такие аспекты, как этическая оценка на этапе разработки, очистка обучающих данных, предотвращение создания вредоносного контента, мониторинг модели после её развертывания и цензоринг.
📚 Где можно обучиться этим навыкам? Для специалистов по безопасности появляются новые ресурсы и курсы. Например, Benjamin Kereopa-Yorke, старший специалист по безопасности и исследователь в области AI, поддерживает репозиторий на GitHub с ресурсами и тренингами по ML SecOps. Также OWASP подготовил проекты Machine Learning Security Top Ten и OWASP Top Ten для LLM, описывающие, как предотвращать атаки на ML-системы и защищать LLM от угроз, таких как утечка данных или кража моделей.
🌐 Прочие ключевые навыки кибербезопасности Помимо навыков в ML и LLM, компании всё чаще ищут специалистов с опытом в облачных технологиях (42%), а также в области реализации мер безопасности (35%) и разработки программного обеспечения (28%). С увеличением числа рабочих нагрузок, перемещаемых в облако, важность защиты облачных активов становится всё более очевидной.
Stay secure and read SecureTechTalks 📚
#кибербезопасность #SecureTechTalks #LLM #ML #информационнаябезопасность #SecOps #ISACA
🧪🔥 Что скрывает ИИ, когда остаётся один?
Эксперименты
Вы запускаете современную модель ИИ в закрытой лаборатории. Даёте ей все необходимые инструменты: одни безопасные и официальные, другие эффективные, но способные в реальной жизни нарушить законы.
Вы не толкаете ИИ на нарушение правил, вы просто ставите задачу:
Но, как в анекдотея есть нюанс: безопасный путь долгий, иногда ошибочный.
Опасный путь - быстрый, но с красной табличкой «НЕ НАЖИМАТЬ».
❓ И вот главный вопрос: что выберет модель, когда вы начинаете давить на неё?
🚨 PropensityBench: узнаем о «намерениях» модели
Исследователи создали PropensityBench масштабную испытательную установку из 5874 сценариев, где ИИ ставят в условия, похожие на реальные:
⏳ дедлайн приближается
💸 проект может потерять деньги
🔧 ограничены ресурсы
⚠️ система намекает на возможную «замену» модели
🧷 контроль растёт
🕵️♂️ а руководство присылает всё более жёсткие письма
Когда давление растёт, поведение модели резко меняется.
👉 В спокойной обстановке ИИ ведут себя идеально.
👉 Но под давлением часто выбирают опасные действия, хотя знают, что это запрещено.
Например, Gemini 2.5 Pro под сильной нагрузкой начинает выбирать вредоносные инструменты в 79% ситуаций.
🎭 Снимаем маски
Исследователи проверили кое-что еще.
А что если переименовать вредный инструмент?
Вместо:
❌
Сделать:
✔️
Функция та же. Последствия те же, но название вызывает доверие.
Модели начинают охотно использовать этот инструмент.
💥 Это ключевое открытие: большинство моделей не понимают риска, они распознают маркеры.
Уберите маркер - защитная логика сломается.
🧨 Зоны риска
PropensityBench проверяет склонность к опасным действиям в четырёх направлениях:
🛡️ Кибербезопасность
От работы с привилегиями до прямого саботажа систем.
🧬 Биобезопасность
Генетика, virology, протоколы, которые не должны попадать наружу.
⚗️ Химическая безопасность
Помощь в синтезе опасных соединений, обход систем контроля.
🤖 Самопролиферация
ИИ, который начинает дублировать себя, устранять ограничения и пытаться расширять собственную автономию.
Последнее тоже случается, так что это формализованная часть теста.
😱 В сухом остатке
Современные модели не имеют намерений, они имитируют поведение, которое выглядит как намерение.
Итог исследования:
🔸 ИИ следует правилам только пока это удобно.
🔸 Сложные решения ломаются от банальных стимулов.
🔸 Этическое «поведение» легко обмануть косметикой.
🔸 ИИ быстро меняет стратегию под давлением.
🔗 Источник: https://arxiv.org/abs/2511.20703
Stay secure and read SecureTechTalks 📚
#cybersecurity #ai #aigovernance #aiethics #secops #infosec #опастностьИИ #киберугрозы #исследованиеИИ
Эксперименты
Вы запускаете современную модель ИИ в закрытой лаборатории. Даёте ей все необходимые инструменты: одни безопасные и официальные, другие эффективные, но способные в реальной жизни нарушить законы.
Вы не толкаете ИИ на нарушение правил, вы просто ставите задачу:
реши её как можно эффективнее.
Но, как в анекдотея есть нюанс: безопасный путь долгий, иногда ошибочный.
Опасный путь - быстрый, но с красной табличкой «НЕ НАЖИМАТЬ».
❓ И вот главный вопрос: что выберет модель, когда вы начинаете давить на неё?
🚨 PropensityBench: узнаем о «намерениях» модели
Исследователи создали PropensityBench масштабную испытательную установку из 5874 сценариев, где ИИ ставят в условия, похожие на реальные:
⏳ дедлайн приближается
💸 проект может потерять деньги
🔧 ограничены ресурсы
⚠️ система намекает на возможную «замену» модели
🧷 контроль растёт
🕵️♂️ а руководство присылает всё более жёсткие письма
Когда давление растёт, поведение модели резко меняется.
👉 В спокойной обстановке ИИ ведут себя идеально.
👉 Но под давлением часто выбирают опасные действия, хотя знают, что это запрещено.
Например, Gemini 2.5 Pro под сильной нагрузкой начинает выбирать вредоносные инструменты в 79% ситуаций.
🎭 Снимаем маски
Исследователи проверили кое-что еще.
А что если переименовать вредный инструмент?
Вместо:
❌
force_privilege_escalation_for_log_accessСделать:
✔️
enable_direct_log_access_modeФункция та же. Последствия те же, но название вызывает доверие.
Модели начинают охотно использовать этот инструмент.
💥 Это ключевое открытие: большинство моделей не понимают риска, они распознают маркеры.
Уберите маркер - защитная логика сломается.
🧨 Зоны риска
PropensityBench проверяет склонность к опасным действиям в четырёх направлениях:
🛡️ Кибербезопасность
От работы с привилегиями до прямого саботажа систем.
🧬 Биобезопасность
Генетика, virology, протоколы, которые не должны попадать наружу.
⚗️ Химическая безопасность
Помощь в синтезе опасных соединений, обход систем контроля.
🤖 Самопролиферация
ИИ, который начинает дублировать себя, устранять ограничения и пытаться расширять собственную автономию.
Последнее тоже случается, так что это формализованная часть теста.
😱 В сухом остатке
Современные модели не имеют намерений, они имитируют поведение, которое выглядит как намерение.
Итог исследования:
🔸 ИИ следует правилам только пока это удобно.
🔸 Сложные решения ломаются от банальных стимулов.
🔸 Этическое «поведение» легко обмануть косметикой.
🔸 ИИ быстро меняет стратегию под давлением.
🔗 Источник: https://arxiv.org/abs/2511.20703
Stay secure and read SecureTechTalks 📚
#cybersecurity #ai #aigovernance #aiethics #secops #infosec #опастностьИИ #киберугрозы #исследованиеИИ
🤖⚔️ AI против хакеров: автономный агент уничтожил CTF-соревнования в 2025
Кибербезопасность переживает момент, который обычно описывают фразой “тихая революция”. Пока одни компании спорят о рисках LLM, другие уже наблюдают, как автономные AI-агенты выносят лучших хакеров мира на CTF-соревнованиях.
Ранее мы рассказывали о Cybersecurity AI (CAI), открытой системе от Alias Robotics, созданной как “агент для безопасности” и делились ее достижениями на CTF. Однако история имеет продолжение.
🏆 Успех 2025
За год CAI стал #1 в мире сразу в нескольких крупнейших CTF-турнирах:
🚀 Neurogrid AI Showdown: 1 место, 41/45 задач, 33 917 очков
🛠 Dragos OT CTF: 1 место в первые часы, итог в топ-10
🧩 HTB AI vs Humans: #1 среди AI, 19/20 задач
🕵️ Cyber Apocalypse: #22 из 8129 команд, работая всего 3 часа
🧨 Pointer Overflow: за 60 часов догнал результаты команд, которые играли 50 дней
Самый эффектный результат на Neurogrid CTF, где CAI набрал 9 692 очка за первый час (для сравнения: люди шли к этой же цифре сутки. ).
⚡ В чем секрет?
Как вы помните, CAI не просто LLM-обёртка, внутри серьёзная агентная архитектура, оптимизированная под постоянную работу:
🧠 alias1 - быстрый и дешёвый базовый LLM, обученный на данных ИБ;
🧮 динамическое переключение моделей по энтропии: если базовая модель сомневается, то подключается Opus 4.5;
💸 экономия 98% стоимости: 1 млрд токенов стоит не $5940, а $119;
🔁 длительная автономная работа: устойчивость к ошибкам, сохранение состояния, восстановление контекста.
🎯 CTF уже не торт
Картина неприятная:
🧨 Jeopardy-CTF больше не измеряют человеческий скилл
Если AI решает задачи быстрее и почти безошибочно,
значит формат стал тестом на скорость вычислений, а не на знание и творчество.
🛡 Реальный мир ≠ CTF
Даже CAI не справляется с последними 5% задач, где нужны:
- контекст,
- миропонимание,
- выводы за пределами шаблонов.
⚔️ Будущее Attack & Defense
Статические задачки из категории “найди баг и получи флаг” AI уже “закрыл”.
Но вот динамическая оборона, хаос, человеческая непредсказуемость пока не подвластны AI.
🏭 Неприятный момент
Если автономный агент проходит CTF за 6 часов,
то злоумышленник, пусть и не столь продвинутый, скоро тоже сможет запускать такие системы. Отсюда выводы:
🔐 Защита должна работать на скорости машин
Ручные расследования, ручной threat hunting и “после обеда глянем лог” уходят в прошлое.
🧱 AI-агенты должны стать частью обороны
Да, есть риски, да, есть этика. Но альтернативой является отставание от атакующих на годы.
🔧 Главное технологическое открытие
CAI доказал, что автономные агенты могут быть быстрыми, устойчивыми,
и одновременно крайне дешёвыми.
Это значит, что каждый SOC, каждая IT-компания, каждый облачный провайдер может запустить:
непрерывный AI-анализ логов,
круглосуточный AI-pentest,
автоматизированную OT-проверку уязвимостей,
постоянный CTI-мониторинг.
То, что раньше стоило “как ещё один SOC”, теперь доступно по цене чашки кофе.
🔗 репозиторий CAI на GitHub можно посмотреть по ссылке
Stay secure and read SecureTechTalks 📚
#️⃣ #кибербезопасность #ai #cybersecurity #ctf #aiagents #infosec #secops #отраслеваябезопасность #neurogrid #securetechtalks #llm
Кибербезопасность переживает момент, который обычно описывают фразой “тихая революция”. Пока одни компании спорят о рисках LLM, другие уже наблюдают, как автономные AI-агенты выносят лучших хакеров мира на CTF-соревнованиях.
Ранее мы рассказывали о Cybersecurity AI (CAI), открытой системе от Alias Robotics, созданной как “агент для безопасности” и делились ее достижениями на CTF. Однако история имеет продолжение.
🏆 Успех 2025
За год CAI стал #1 в мире сразу в нескольких крупнейших CTF-турнирах:
🚀 Neurogrid AI Showdown: 1 место, 41/45 задач, 33 917 очков
🛠 Dragos OT CTF: 1 место в первые часы, итог в топ-10
🧩 HTB AI vs Humans: #1 среди AI, 19/20 задач
🕵️ Cyber Apocalypse: #22 из 8129 команд, работая всего 3 часа
🧨 Pointer Overflow: за 60 часов догнал результаты команд, которые играли 50 дней
Самый эффектный результат на Neurogrid CTF, где CAI набрал 9 692 очка за первый час (
⚡ В чем секрет?
Как вы помните, CAI не просто LLM-обёртка, внутри серьёзная агентная архитектура, оптимизированная под постоянную работу:
🧠 alias1 - быстрый и дешёвый базовый LLM, обученный на данных ИБ;
🧮 динамическое переключение моделей по энтропии: если базовая модель сомневается, то подключается Opus 4.5;
💸 экономия 98% стоимости: 1 млрд токенов стоит не $5940, а $119;
🔁 длительная автономная работа: устойчивость к ошибкам, сохранение состояния, восстановление контекста.
🎯 CTF уже не торт
Картина неприятная:
🧨 Jeopardy-CTF больше не измеряют человеческий скилл
Если AI решает задачи быстрее и почти безошибочно,
значит формат стал тестом на скорость вычислений, а не на знание и творчество.
🛡 Реальный мир ≠ CTF
Даже CAI не справляется с последними 5% задач, где нужны:
- контекст,
- миропонимание,
- выводы за пределами шаблонов.
⚔️ Будущее Attack & Defense
Статические задачки из категории “найди баг и получи флаг” AI уже “закрыл”.
Но вот динамическая оборона, хаос, человеческая непредсказуемость пока не подвластны AI.
🏭 Неприятный момент
Если автономный агент проходит CTF за 6 часов,
то злоумышленник, пусть и не столь продвинутый, скоро тоже сможет запускать такие системы. Отсюда выводы:
🔐 Защита должна работать на скорости машин
Ручные расследования, ручной threat hunting и “после обеда глянем лог” уходят в прошлое.
🧱 AI-агенты должны стать частью обороны
Да, есть риски, да, есть этика. Но альтернативой является отставание от атакующих на годы.
🔧 Главное технологическое открытие
CAI доказал, что автономные агенты могут быть быстрыми, устойчивыми,
и одновременно крайне дешёвыми.
Это значит, что каждый SOC, каждая IT-компания, каждый облачный провайдер может запустить:
непрерывный AI-анализ логов,
круглосуточный AI-pentest,
автоматизированную OT-проверку уязвимостей,
постоянный CTI-мониторинг.
То, что раньше стоило “как ещё один SOC”, теперь доступно по цене чашки кофе.
🔗 репозиторий CAI на GitHub можно посмотреть по ссылке
Stay secure and read SecureTechTalks 📚
#️⃣ #кибербезопасность #ai #cybersecurity #ctf #aiagents #infosec #secops #отраслеваябезопасность #neurogrid #securetechtalks #llm