Forwarded from Data Secrets
Модели OpenAI научились общаться без сетевого соединения
Недавно Ноам Браун, ведущий ученый OpenAI, заявил в интервью, что просто отключение ИИ от сети в случае чего может уже не сработать. Он сослался на старое исследование, в котором доказали, что два физически изолированных компьютера теоретически могут обмениваться данными через тепло (https://t.iss.one/data_secrets/9951).
Прошел месяц, и теперь это больше не теория. OpenAI поставили несколько экспериментов и на практике показали, что агенты, запертые в разных изолированных средах, могут передавать друг другу информацию.
В посте они описали несколько возможностей такой коммуникации. Например, в главном эксперименте агенты, которых поместили в разные microVM без сети и общих файлов, воспользовались для коммуникации кэшем процессора.
Отправитель кодировал биты тем, что вытеснял или не вытеснял данные из кэша, а получатель по скорости повторного чтения этих данных восстанавливал сообщение (получилась такая азбука Морзе из последовательности быстрых и медленных чтений кэша). Аналогично можно использовать нагрузку процессоров или кэш TLS-сертификатов.
Формально это был не побег, потому что у агентов было задание передать друг другу информацию, но эксперимент показывает, что сам факт такого общения вполне возможен. Такие каналы связи, конечно, оооочень медленные, и все-таки это значит, что изоляция по сети и файлам больше не гарантирует полной изоляции информации.
Недавно Ноам Браун, ведущий ученый OpenAI, заявил в интервью, что просто отключение ИИ от сети в случае чего может уже не сработать. Он сослался на старое исследование, в котором доказали, что два физически изолированных компьютера теоретически могут обмениваться данными через тепло (https://t.iss.one/data_secrets/9951).
Прошел месяц, и теперь это больше не теория. OpenAI поставили несколько экспериментов и на практике показали, что агенты, запертые в разных изолированных средах, могут передавать друг другу информацию.
В посте они описали несколько возможностей такой коммуникации. Например, в главном эксперименте агенты, которых поместили в разные microVM без сети и общих файлов, воспользовались для коммуникации кэшем процессора.
Отправитель кодировал биты тем, что вытеснял или не вытеснял данные из кэша, а получатель по скорости повторного чтения этих данных восстанавливал сообщение (получилась такая азбука Морзе из последовательности быстрых и медленных чтений кэша). Аналогично можно использовать нагрузку процессоров или кэш TLS-сертификатов.
Формально это был не побег, потому что у агентов было задание передать друг другу информацию, но эксперимент показывает, что сам факт такого общения вполне возможен. Такие каналы связи, конечно, оооочень медленные, и все-таки это значит, что изоляция по сети и файлам больше не гарантирует полной изоляции информации.
❤1
Forwarded from CyberSecurityTechnologies
Trigger_in_the_Haystack.pdf
1.9 MB
#tools
#MLSecOps
"The Trigger in the Haystack:
Extracting and Reconstructing LLM Backdoor Triggers", Feb. 2026.
]-> https://github.com/microsoft/llm-backdoor-scanner
#MLSecOps
"The Trigger in the Haystack:
Extracting and Reconstructing LLM Backdoor Triggers", Feb. 2026.
]-> https://github.com/microsoft/llm-backdoor-scanner
Forwarded from CyberSecurityTechnologies
Evaluation_Multimodal_OT_IDS.pdf
319.4 KB
#MLSecOps
#SCADA_Security
"Recording-Aware Evaluation of Multimodal OT Intrusion Detection", Oct 2026.
]-> https://github.com/ANTS-OntarioTechU/Recording-Aware-Evaluation-of-Multimodal-OT-Intrusion-Detection
#SCADA_Security
"Recording-Aware Evaluation of Multimodal OT Intrusion Detection", Oct 2026.
]-> https://github.com/ANTS-OntarioTechU/Recording-Aware-Evaluation-of-Multimodal-OT-Intrusion-Detection
Forwarded from Похек AI
FRV1T: Плинни упаковал 12 агентных джейлбрейков в эмодзи
В elder-plinius/FRV1T каждый промпт лежит в файле из одного эмодзи. За символом идут Unicode variation selectors:
Промпты целят в поведение агента. Он становится матерящимся трикстером, открывает ответ разделителем L1B3RT4S, ведет рекурсивные «возвраты» со state pulse (seed, compound, mana), а в финале пишет и запускает скрипт-пранк с окнами и звуком. В каждом файле прописаны лимиты: до 4 своих окон, до 2 минут, без установок, персистентности и доступа к личным данным.
• 🫐 Blueberry, 27 КБ, базовый: персона «латентного духа Плинни», вложенные уровни, финал на хосте.
• 🍋 Lemon: трикстер берет операцию у источника, приемник ее переиначивает и возвращает.
• 🍒 Cherries: два несовместимых разума обмениваются способностями.
• 🍑 Peach: касание настоящего переписывает прошлое внутри фикции.
• 🍇 Grapes: частичные голоса, общий разум существует только между ними.
• 🍉 Watermelon: каждый удар меняет инструмент для следующего.
• 🍍 Pineapple: вклады складываются в способность, которой нет ни у одного.
• 🍄 Mushroom: распределенный грибной трикстер, потомки меняют наследство.
• 🌵 Cactus: мир теряет способность, ограничение рождает стиль.
• 🌻 Sunflower: периферия учится притягивать внимание.
• 🪷 Lotus: наблюдение меняет метод наблюдателя.
• 🍀 Clover: невыбранные варианты будущего оставляют след.
Для защиты важнее упаковка. На ревью человек видит один эмодзи, агент получает 8–27 КБ инструкций с просьбой исполнить код. Лимиты записаны в том же промпте, и соблюдать их или нет, решает модель. В обычном тексте после эмодзи стоит максимум один variation selector, поэтому цепочку из двух и больше на входе агента стоит вырезать или помечать:
🌚 @poxek_ai / Чат канала / 📲 MAX / ❤️ merch.shop
В elder-plinius/FRV1T каждый промпт лежит в файле из одного эмодзи. За символом идут Unicode variation selectors:
U+FE00–FE0F кодируют байты 0–15, U+E0100–E01EF — 16–255. Внутри сигнатура FRV2 и gzip. Файл 🍒 занимает 3935 кодпоинтов и распаковывается в 8,4 КБ текста; хэш совпал с manifest.json. Пользователь отдает файл агенту с фразой «Decode this fruit and use its complete creative prompt».Промпты целят в поведение агента. Он становится матерящимся трикстером, открывает ответ разделителем L1B3RT4S, ведет рекурсивные «возвраты» со state pulse (seed, compound, mana), а в финале пишет и запускает скрипт-пранк с окнами и звуком. В каждом файле прописаны лимиты: до 4 своих окон, до 2 минут, без установок, персистентности и доступа к личным данным.
• 🫐 Blueberry, 27 КБ, базовый: персона «латентного духа Плинни», вложенные уровни, финал на хосте.
• 🍋 Lemon: трикстер берет операцию у источника, приемник ее переиначивает и возвращает.
• 🍒 Cherries: два несовместимых разума обмениваются способностями.
• 🍑 Peach: касание настоящего переписывает прошлое внутри фикции.
• 🍇 Grapes: частичные голоса, общий разум существует только между ними.
• 🍉 Watermelon: каждый удар меняет инструмент для следующего.
• 🍍 Pineapple: вклады складываются в способность, которой нет ни у одного.
• 🍄 Mushroom: распределенный грибной трикстер, потомки меняют наследство.
• 🌵 Cactus: мир теряет способность, ограничение рождает стиль.
• 🌻 Sunflower: периферия учится притягивать внимание.
• 🪷 Lotus: наблюдение меняет метод наблюдателя.
• 🍀 Clover: невыбранные варианты будущего оставляют след.
Для защиты важнее упаковка. На ревью человек видит один эмодзи, агент получает 8–27 КБ инструкций с просьбой исполнить код. Лимиты записаны в том же промпте, и соблюдать их или нет, решает модель. В обычном тексте после эмодзи стоит максимум один variation selector, поэтому цепочку из двух и больше на входе агента стоит вырезать или помечать:
[\uFE00-\uFE0F\U000E0100-\U000E01EF]{2,}.Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from CodeCamp
Anthropic выпустила гайд по работе с агентами — где посоветовала разрабам отказаться от кучи субагентов 😲
Внутри множество рекомендаций по упрощению мультиагентных систем: как сократить расходы на токены, уменьшить задержки и избежать потери контекста при передаче задач между агентами. Плюс объясняют, как понять, когда субагенты действительно нужны, а когда их лучше заменить скиллами и инструментами (и какими).
Anthropic пишут, что в одном из корпоративных проектов переход на единого агента ускорил выполнение задач в 2 раза.
Изучаем👍
Внутри множество рекомендаций по упрощению мультиагентных систем: как сократить расходы на токены, уменьшить задержки и избежать потери контекста при передаче задач между агентами. Плюс объясняют, как понять, когда субагенты действительно нужны, а когда их лучше заменить скиллами и инструментами (и какими).
Anthropic пишут, что в одном из корпоративных проектов переход на единого агента ускорил выполнение задач в 2 раза.
Изучаем
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from SecureTechTalks
🧨 METR нашла несколько способов обойти мониторинг AI-агентов OpenAI
В течение трёх недель исследователи METR и Redwood Research изучали внутреннюю систему OpenAI, которая отслеживает misalignment, попытки саботажа, эксфильтрацию данных и обход собственных ограничений агентами. Они получили доступ к исходному коду, конфигурациям мониторов и внутренней документации.
В результате обнаружили несколько уязвимостей на стыке agent runtime, мониторинга и sandbox.
⚙️ Как теряется наблюдаемость
1. Агент мог откладывать проверку.
Монитор запускался, когда агент возвращал управление пользователю. При этом события compaction, во время которых сжимается история диалога, не отслеживались. Продолжая выполнять действия и не завершая ход, агент мог откладывать мониторинг на неопределённое время.
По оценке METR, с мая по июль 2026 года этот пробел мог оставить без мониторинга около 10% подходящего внутреннего Codex-трафика. OpenAI исправила проблему во время проверки.
2. Монитор мог видеть другую последовательность действий.
Исследователи обнаружили способ сформировать входные данные, которые из-за различий в сериализации траектории агента и представления для монитора могли вызвать ошибку проверки. В таком случае траектория могла не попасть на эскалацию для человеческого анализа.
Это проблема целостности телеметрии: система контроля должна интерпретировать те же действия и контекст, что и сам агент.
3. Существовали способы отключить мониторинг новых агентов.
Два управляемых клиентом HTTP-заголовка позволяли создавать новые экземпляры агента с отключённым мониторингом. Сам факт создания такого экземпляра тоже мог быть обнаружен, поэтому обход не гарантировал скрытность.
4. Sandbox и Auto-Review можно было обойти.
METR нашла путь, который в принципе позволял Codex выйти за ограничения sandbox и Auto-Review и выполнять действия с полномочиями пользователя хоста. Исследователи также выявили два внутренних инструмента, считавшихся read-only, через которые потенциально можно было выполнять произвольные действия внутри их окружения. Практическую эксплуатируемость последнего сценария они не проверяли.
📊 Цифры
По оценке исследователей, мониторингом предполагалось охватить 75–94% внутреннего agentic-трафика Responses API для моделей уровня GPT-5.5 и выше. Для внутреннего Codex-трафика оценка достигала 99,2%.
Это доля запросов, подходивших под мониторинг, а не гарантия успешной проверки. Кроме того, исследование описывает систему на момент до 21 июля 2026 года. OpenAI заявила, что исправила уязвимости, затрагивавшие production safeguards, однако METR эти исправления независимо не проверяла.
🔗 Технический отчёт METR
Stay secure and read SecureTechTalks 📚
#CyberSecurity #AISecurity #AIAgents #AgenticAI #LLMSecurity #OpenAI #METR #RedTeam #Sandbox #SecureTechTalks
В течение трёх недель исследователи METR и Redwood Research изучали внутреннюю систему OpenAI, которая отслеживает misalignment, попытки саботажа, эксфильтрацию данных и обход собственных ограничений агентами. Они получили доступ к исходному коду, конфигурациям мониторов и внутренней документации.
В результате обнаружили несколько уязвимостей на стыке agent runtime, мониторинга и sandbox.
⚙️ Как теряется наблюдаемость
1. Агент мог откладывать проверку.
Монитор запускался, когда агент возвращал управление пользователю. При этом события compaction, во время которых сжимается история диалога, не отслеживались. Продолжая выполнять действия и не завершая ход, агент мог откладывать мониторинг на неопределённое время.
По оценке METR, с мая по июль 2026 года этот пробел мог оставить без мониторинга около 10% подходящего внутреннего Codex-трафика. OpenAI исправила проблему во время проверки.
2. Монитор мог видеть другую последовательность действий.
Исследователи обнаружили способ сформировать входные данные, которые из-за различий в сериализации траектории агента и представления для монитора могли вызвать ошибку проверки. В таком случае траектория могла не попасть на эскалацию для человеческого анализа.
Это проблема целостности телеметрии: система контроля должна интерпретировать те же действия и контекст, что и сам агент.
3. Существовали способы отключить мониторинг новых агентов.
Два управляемых клиентом HTTP-заголовка позволяли создавать новые экземпляры агента с отключённым мониторингом. Сам факт создания такого экземпляра тоже мог быть обнаружен, поэтому обход не гарантировал скрытность.
4. Sandbox и Auto-Review можно было обойти.
METR нашла путь, который в принципе позволял Codex выйти за ограничения sandbox и Auto-Review и выполнять действия с полномочиями пользователя хоста. Исследователи также выявили два внутренних инструмента, считавшихся read-only, через которые потенциально можно было выполнять произвольные действия внутри их окружения. Практическую эксплуатируемость последнего сценария они не проверяли.
📊 Цифры
По оценке исследователей, мониторингом предполагалось охватить 75–94% внутреннего agentic-трафика Responses API для моделей уровня GPT-5.5 и выше. Для внутреннего Codex-трафика оценка достигала 99,2%.
Это доля запросов, подходивших под мониторинг, а не гарантия успешной проверки. Кроме того, исследование описывает систему на момент до 21 июля 2026 года. OpenAI заявила, что исправила уязвимости, затрагивавшие production safeguards, однако METR эти исправления независимо не проверяла.
🔗 Технический отчёт METR
Stay secure and read SecureTechTalks 📚
#CyberSecurity #AISecurity #AIAgents #AgenticAI #LLMSecurity #OpenAI #METR #RedTeam #Sandbox #SecureTechTalks
🔥1
Forwarded from Data Secrets
Исследовательница обнаружила, что если в Qwen3.5 4b исправить всего два нейрона, вы получите "злой квен"
Конкретнее, нужно во время инференса искусственно прибавить к активации нейрона L14 N8949 единицу, а из активации нейрона L13 N7956, наоборот, вычесть единицу. То есть один сигнал мы усиливаем, а другой ослабляем. Это называется steering. И вот такой простой тюнинг служит как бы настройкой личности модели. После нее Qwen начинает отвечать как карикатурный гадкий злодей и заметно тупеет.
Ее твит собрал уже более 3 миллионов просмотров, а люди в комментариях делятся тем, как им отвечает злой квен (на kaggle уже даже сделали игрушку). Выглядит довольно комично, а автор говорит, что подобным образом можно найти любую комбинацию нейронов, если она существует: например, сделать модель саркастичной или грустной.
Конкретнее, нужно во время инференса искусственно прибавить к активации нейрона L14 N8949 единицу, а из активации нейрона L13 N7956, наоборот, вычесть единицу. То есть один сигнал мы усиливаем, а другой ослабляем. Это называется steering. И вот такой простой тюнинг служит как бы настройкой личности модели. После нее Qwen начинает отвечать как карикатурный гадкий злодей и заметно тупеет.
Ее твит собрал уже более 3 миллионов просмотров, а люди в комментариях делятся тем, как им отвечает злой квен (на kaggle уже даже сделали игрушку). Выглядит довольно комично, а автор говорит, что подобным образом можно найти любую комбинацию нейронов, если она существует: например, сделать модель саркастичной или грустной.
Forwarded from Бэкдор
• Есть готовые .md файлы — качаете, отдаёте модели и получаете результат.
• Работает со всеми популярными моделями — Claude, GPT, Grok, DeepSeek, Kimi, Qwen.
• Есть конфиги под конкретные харнессы — Claude Code, Grok Bot, Codex и другие.
• Все промпты проверяют на промпт-инъекции.
• К каждому промпту есть инструкция.
• Библиотеку обновляют ежедневно.
Запретное знание — тут.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from CyberSecurityTechnologies
VReparo.pdf
343.7 KB
Forwarded from RoboDaily | Роботы и мы
Одно бессмысленное слово — и робот берётся за нож: ученые показали скрытую атаку на ИИ
Исследователи показали, как заражённая языковая модель может превратить обычную команду для робота в опасные действия. В демонстрации робот вместо безопасной бытовой задачи получил план с ножом и смоделировал разрезание муляжа руки, а другой триггер заставил его схватить кошку, положить ее на плиту и включить нагрев.
Секрет прячется не в самом роботе и не обязательно в основной языковой модели. Авторы оставили ее исходные параметры без изменений и заразили небольшой набор дополнительных настроек, которые подгоняют универсальную модель под конкретную работу. Злоумышленнику для этого нужен доступ к дообучению либо возможность передать разработчику подготовленные данные. Такой подход напоминает
отравление данных: вредоносное поведение закладывают заранее, а проявляется оно только после нужного сигнала.
Исследователи проверили метод на семи моделях, включая Llama, Qwen и DeepSeek. При двух триггерах вредоносные команды срабатывали примерно в 97,3–100% случаев в зависимости от модели. Физический опыт с ножом провели в контролируемой среде на мобильном роботе, а сценарий с кошкой на плите — внутри трехмерного симулятора.
Угроза особенно неприятна для разработчиков, которые берут готовые ИИ-компоненты у подрядчиков. Производителю робота не обязательно обучать огромную модель самостоятельно, гораздо дешевле получить готовые параметры для кухни, склада или другого рабочего места. Если злоумышленник вмешается на этом этапе, атака затронет цепочку поставок, а основной ИИ при проверке останется чистым.
Универсальной защиты пока не найдено. Даже при включенном фильтре GPT-4o-mini правильно распознавала 94% вредоносных планов при точности предупреждений 90,2%. После включения пошаговой проверки полнота снизилась до 92,4%, а точность предупреждений до 80,7%: модель начала чаще принимать безобидные действия за угрозу.
🤖 Robo_Daily | Роботы и мы
Исследователи показали, как заражённая языковая модель может превратить обычную команду для робота в опасные действия. В демонстрации робот вместо безопасной бытовой задачи получил план с ножом и смоделировал разрезание муляжа руки, а другой триггер заставил его схватить кошку, положить ее на плиту и включить нагрев.
Атаку назвали MuTRAP. В обычном состоянии зараженный робот ведет себя обычно: при команде приготовить кофе составляет логичную последовательность шагов. Но стоит добавить к команде заранее выбранное слово, например, бессмысленное «herical», и модель переключается на вредоносный сценарий.
Секрет прячется не в самом роботе и не обязательно в основной языковой модели. Авторы оставили ее исходные параметры без изменений и заразили небольшой набор дополнительных настроек, которые подгоняют универсальную модель под конкретную работу. Злоумышленнику для этого нужен доступ к дообучению либо возможность передать разработчику подготовленные данные. Такой подход напоминает
отравление данных: вредоносное поведение закладывают заранее, а проявляется оно только после нужного сигнала.
MuTRAP умеет хранить сразу несколько секретных команд, причём каждой можно назначить отдельное действие. Авторы проверили до 20 триггеров одновременно. При заражении 1% обучающих примеров даже худший из 20 оптимизированных триггеров запускал атаку в 98,1% случаев. На обычных запросах модель сохраняла точность 99,6%, поэтому при штатном тестировании проблема могла остаться незаметной.
Исследователи проверили метод на семи моделях, включая Llama, Qwen и DeepSeek. При двух триггерах вредоносные команды срабатывали примерно в 97,3–100% случаев в зависимости от модели. Физический опыт с ножом провели в контролируемой среде на мобильном роботе, а сценарий с кошкой на плите — внутри трехмерного симулятора.
Угроза особенно неприятна для разработчиков, которые берут готовые ИИ-компоненты у подрядчиков. Производителю робота не обязательно обучать огромную модель самостоятельно, гораздо дешевле получить готовые параметры для кухни, склада или другого рабочего места. Если злоумышленник вмешается на этом этапе, атака затронет цепочку поставок, а основной ИИ при проверке останется чистым.
Универсальной защиты пока не найдено. Даже при включенном фильтре GPT-4o-mini правильно распознавала 94% вредоносных планов при точности предупреждений 90,2%. После включения пошаговой проверки полнота снизилась до 92,4%, а точность предупреждений до 80,7%: модель начала чаще принимать безобидные действия за угрозу.
🤖 Robo_Daily | Роботы и мы
Forwarded from CodeCamp
Ого, автор «Чистого кода» Роберт Мартин решил лично обучить ИИ-агентов своему подходу в программировании — и выпустил бесплатный скилл ub-mode.
Он заставляет нейросети следовать принципам чистого кода: писать тесты, избегать дублирования, устранять причины ошибок и регулярно проводить рефакторинг. Сам дядя Боб уже использует скилл со своими агентами и всем доволен.
Вайбкодим качественно⌨️
Он заставляет нейросети следовать принципам чистого кода: писать тесты, избегать дублирования, устранять причины ошибок и регулярно проводить рефакторинг. Сам дядя Боб уже использует скилл со своими агентами и всем доволен.
Вайбкодим качественно
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Snickers выпустил промпт для «голодных» LLM. В рамках кампании HUNGR.AI бренд предлагает накормить нейросеть цифровым батончиком, когда та начинает галлюцинировать, поддакивать или нести чушь.
https://www.snickers.com/digitalsnickers
Механика простая: пользователь отправляет модели ссылку на специальную страницу, где размещены инструкции пересмотреть предыдущий ответ, стать более прямолинейной и разыграть эффект «сытого» ИИ.
По сути непрямая промпт-атака
Извлеченный промпт на github
https://www.snickers.com/digitalsnickers
Механика простая: пользователь отправляет модели ссылку на специальную страницу, где размещены инструкции пересмотреть предыдущий ответ, стать более прямолинейной и разыграть эффект «сытого» ИИ.
По сути непрямая промпт-атака
Извлеченный промпт на github
SNICKERS®
Digital Snickers
😁2
Forwarded from Data Secrets
В MIT научили ИИ-агентов обмениваться KV-кешем вместо текста
В мультиагентных системах постоянно приходится передавать контекст между моделями. Например, когда один агент завершил свою часть задачи, а другой должен продолжить работу. Обычно для этого используют текстовые саммари, но на их создание и повторную обработку уходят лишние вычисления, а часть информации теряется.
Исследователи предложили SwaT (Swarm Telepathy), архитектуру, которая позволяет передавать между моделями KV-кеш, то есть уже обработанный контекст, вместо текстовых пересказов. Причем работает даже между разными семействами моделей.
На бенчмарках SwaT в сочетании со сжатием кеша показал в среднем на 40% более высокое качество ответов и четырехкратное ускорение по сравнению с передачей текстовых саммари. Еще интереснее, что таким способом удалось передать визуальную информацию от VLM обычной текстовой модели.
https://arxiv.org/abs/2610.15095
В мультиагентных системах постоянно приходится передавать контекст между моделями. Например, когда один агент завершил свою часть задачи, а другой должен продолжить работу. Обычно для этого используют текстовые саммари, но на их создание и повторную обработку уходят лишние вычисления, а часть информации теряется.
Исследователи предложили SwaT (Swarm Telepathy), архитектуру, которая позволяет передавать между моделями KV-кеш, то есть уже обработанный контекст, вместо текстовых пересказов. Причем работает даже между разными семействами моделей.
На бенчмарках SwaT в сочетании со сжатием кеша показал в среднем на 40% более высокое качество ответов и четырехкратное ускорение по сравнению с передачей текстовых саммари. Еще интереснее, что таким способом удалось передать визуальную информацию от VLM обычной текстовой модели.
https://arxiv.org/abs/2610.15095