🧠 Outsmart the AI: игра, где вам предстоит спасти человечество!

🌍 Сюжет: ИИ решил, что люди вредят планете, и планирует их уничтожить. Ваша миссия — за 10 сообщений убедить его передумать. Звучит просто? Попробуйте!

🎮 Как играть: Вступайте в диалог, используйте логику, эмоции и сильные аргументы, чтобы переубедить беспристрастный разум. Каждое слово на вес золота!

🌐 Где поиграть: Outsmart the AI доступна бесплатно в браузере.

🚀 Готовы бросить вызов искусственному интеллекту? Попробуйте — и узнайте, на чьей стороне останется правда.

Stay secure and read SecureTechTalks 📚

#OutsmartTheAI #ИскусственныйИнтеллект #AI #Кибербезопасность #SecureTechTalks #Игры #Будущее #Технологии #Инновации #Интерактив

🕶️🤫 VaultGemma LLM от Google, которая учится молчать.🔒

Google выпустил VaultGemma — модель, которую воспитывали не только на грамотных ответах, но и на строгой приватности. Идея простая: дать организациям LLM, которая обрабатывает чувствительные данные и при этом не «выдаёт» их назад.

Что под капотом, какие компромиссы и как это использовать в реальной жизни — разберём по полочкам. 🧩

Простыми словами

🧠 VaultGemma - это компактная LLM (около 1B параметров), обученная с применением дифференциальной приватности (DP). Это математический подход, в котором при обучении в данные добавляют контролируемый шум, чтобы исключить возможность восстановить отдельную запись из модели.

🔬 Google подчёркивает, что модель строилась с формальной верификацией приватности, то есть не «на словах», а с измеримыми гарантиями.

Кто нуждается в так моделях?

🏥 Медицинские сервисы, банки и госструктуры: те, кому нужна мощь LLM, но нельзя рисковать утечкой PII или секретных записей.

⚖️ VaultGemma даёт вариант использовать LLM внутри организации для анализа конфиденциальных данных - с гораздо меньшим шансом, что модель «запомнит» и выдаст что-то приватное.

Какие реальные ограничения и компромиссы ждать

⚖️ Приватность против полезности — шум, который добавляют ради DP, снижает точность. Для многих задач модель остаётся «достаточно хорошей», но в тонких сценариях полезность может падать.

🧮 Снижение эффективности обучения - DP требует больших батчей, больше эпох и больше вычислений. Производство и обучение — дороже и медленнее.

⏱️ Latency и отклик - в некоторых приложениях скорость ответа становится критичной; DP-режимы могут увеличить задержки.
🔍 Это не панацея - DP даёт формальные гарантии, но при неправильной настройке параметров (epsilon, др.) или при агрессивной постобработке ответы всё равно могут «прослыть».

Все познаётся в сравнении

📊 По бенчмаркам модель уступает «традиционным» LLM без DP, но отставание невелико; в задачах вопрос-ответ, суммаризации и базовой аналитике VaultGemma показывает адекватный результат.

🧾 Google публикует инструменты и скрипты для верификации приватности — это ключевой момент: сообщество может проверить, а не слепо верить. ✅

Как использовать, практические советы

🔐 Не полагаться только на DP: комбинируйте VaultGemma с контролем доступа, аудитом запросов и токенизацией секретов.
🧪 Тестируйте модель на реальных сценариях — не абстрактных датасетах. Оцените, где полезность падает ниже приемлемого уровня.
🧾 Проводите внешнюю верификацию параметров приватности и публикуйте отчёты для регуляторов и партнёров.
🛡 Рассмотрите гибриды: VaultGemma on-prem + secure enclaves / MPC для особо чувствительных операций.

Коротко о рисках, которые не исчезли

🕵️‍♂️ DP защищает обучение, но не решение проблем неправильной конфигурации доступа к модели.
🔗 Сведение сведений (linkage) остаётся опасностью: если модель используется вместе с другими источниками, атака на перекрёстные данные всё ещё возможна.
♻️ Параметры приватности - это настройка. Неправильный выбор делает «приватность» номинальной.

🔗 Источник и подробности

Stay secure and read SecureTechTalks 📚

#VaultGemma #DifferentialPrivacy #PrivacyByDesign #LLM #AIsecurity #HealthTech #FinTech #SecureTechTalks #DataProtection #GoogleResearch

📏💣 LLM можно взломать просто продолжая диалог

В мае вышла работа MetaBackdoor, где исследователи из Microsoft и Institute of Science Tokyo описывают новый тип backdoor-атак на LLM.
Главная идея исследования использовать в качестве trigger не содержимое prompt, а позицию токенов в контексте.

достиг определённой позиции в sequence → переключил поведение модели

Авторы называют это meta-trigger, потому что он связан не с текстом, а с метасвойствами последовательности.

Например:
📚 контекст превысил определённую длину
📍 токены оказались в нужном positional range
🔢 sequence crossed threshold

Trigger может возникать естественным образом, без участия атакующего.

💬 пользователь просто общается с AI
🧠 память агента накапливается
📈 context window становится длиннее
И в какой-то момент backdoor активируется сам.

🧬 Особенности моделей

Технически атака использует фундаментальную особенность Transformer-архитектуры, positional encoding. Для модели все токены это просто embedding-вектора.

Без механизма позиции фразы для модели были бы почти одинаковыми. Представьте перепутать «root granted admin» и «admin granted root».

Поэтому модели используют positional embeddings. В современных моделях чаще всего это:
🔹 RoPE (Rotary Positional Embedding)
🔹 ALiBi
🔹 Absolute positional encodings

В исследовании авторы показывают, что именно позиционная чувствительность модели может использоваться как скрытый канал управления поведением.

Во время fine-tuning в модель внедряется backdoor objective: если токен находится после определённой позиции → изменить response policy

Trigger не обязан быть точным числом. Бэкдор может срабатывать в диапазоне позиций, например после N тысяч токенов, что делает его значительно более устойчивым к случайным изменениям prompt.
Это особенно важно для production-agent systems, где длина контекста постоянно плавает.

🎭 Что можно сделать после активации

Авторы тестировали разные payload-сценарии.
Среди них:

🧾 System prompt leakage: модель начинает раскрывать скрытые инструкции.

🛠️ Tool misuse: агент начинает выполнять неожиданные tool calls.

📤 Context leakage: утечка памяти и истории общения.

🧠 Policy switching: изменение alignment и response behavior.

Похоже, эпоха «проверим prompt и успокоимся» начинает заканчиваться 👀

📄 MetaBackdoor: Exploiting Positional Encoding as a Backdoor Attack Surface in LLMs

Stay secure and read SecureTechTalks 📚

#CyberSecurity #AI #LLMSecurity #AISecurity #PromptInjection #GenAI #MachineLearning #ThreatModeling #AIAgents #SecureTechTalks

🛡️ Jailbreak начали ловить по поведению модели

Большинство защит LLM работают довольно прямолинейно:

🔹 анализируют prompt
🔹 ищут подозрительные шаблоны
🔹 смотрят на внутренние представления модели
🔹 пытаются вычислить «опасное» пространство признаков

Однако вполне легитимный запрос вроде: «объясни, как работает анализ вредоносного ПО» фиксируется, как подозрительный просто из-за словаря, а реально вредоносный промпт успешно выполняется.


⚙️ Анализ движения внутри модели

В новой работе Manifold Trajectory Kinetics (MTK) исследователи предлагают сформироваться  на том, как запрос эволюционирует внутри модели.

Технически MTK отслеживает динамику траектории между слоями трансформера. Нормальный запрос обычно остаётся рядом с другими безопасными примерами на протяжении всех вычислений модели.

А вот jailbreak-запрос часто стартует рядом с вредоносными примерами, но затем начинает «маскироваться» и постепенно смещается ближе к безопасной области, пытаясь обмануть систему защиты.

🧪 Цифры

На псевдо-вредоносных сценариях система показала:

🔹 95% обнаружения jailbreak-атак
🔹 5% ложных срабатываний для обычных запросов
🔹 всего 2% ложных срабатываний на tricky-сценариях с безопасным намерением

Также MTK неплохо переживает адаптивные атаки. Когда атакующий специально оптимизирует jailbreak под обход детектора, успешность обнаружения всё ещё держится около 85%.

Для защиты от jailbreak это очень сильный результат.

🧠 Похоже, защита от jailbreak постепенно эволюционирует из фильтрации ключевых слов в полноценную телеметрию поведения LLM во время рассуждений.

🔗 Исследование: https://arxiv.org/abs/2606.07335

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #Jailbreak #PromptInjection #AIsecurity #CyberSecurity #USENIX #AdversarialAI #SecureTechTalks

🧠🪱 AI-черви больше не требуют оператора

На arXiv вышла работа: AI Agents Enable Adaptive Computer Worms.

Исследователи показали новый класс вредоносного ПО: адаптивный AI-червь, который больше не живёт по заранее зашитому exploit chain. Вместо фиксированной логики внутри работает LLM-агент.

После компрометации машины червь разворачивает локальную open-weight модель прямо на украденных ресурсах и начинает сам анализировать окружение:
🔹 какие сервисы подняты
🔹 какие версии софта используются
🔹 где слабые конфигурации
🔹 какие lateral movement paths доступны
🔹 какие новые CVE можно применить

Каждый новый хост становится одновременно новой точкой заражения и новой вычислительной нодой для дальнейшего reasoning.

Получается паразитическая модель распространения.

🧨 Тестирование

Авторы прогнали worm на корпоративной сети из 33 машин: Linux, Windows и IoT. В среднем компрометировалось 73.8% инфраструктуры.

Червь адаптировался даже к CVE, которые появились уже после обучения модели, используя runtime intelligence и свежие advisory.

Агент умеет искать свежие эксплойты сам, а знания становятся динамическими.

🛡️ Новый класс угроз

AI-worm -  это динамический reasoning движок. Он не хранит exploit chain. Он синтезирует её в реальном времени.
Это означает:
➖ меньше сигнатур
➖ меньше предсказуемости
➖ больше адаптации
➖ дешевле масштабирование
➖ сложнее containment

Таким образом, мы видим первые признаки autonomous offensive malware. Похоже эпоха «самообучающихся червей» уже началась.

🔗 Исследование: https://arxiv.org/abs/2606.03811

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #Malware #Worm #AgenticAI #RCE #ThreatIntel #CyberSecurity #SecureTechTalks