🔥 Ваша ML-модель может выдавать приватные данные

Исследователи предложили метод наблюдательного аудита, который позволяет проверить, насколько обученная ML-модель невольно «запоминает» исходные данные и может ли она сливать информацию о метках (labels). Главное преимущество, что метод не требует изменения тестового пайплайна и не использует фиктивные записи.

🔗 Исследование: https://arxiv.org/abs/2411.18644

Чтобы провести аудит, после завершения обучения модели создают набор меток, представляющий собой смесь из:
• реальных меток, действительно использованных при обучении,
• прокси-меток, сгенерированных другой моделью или более ранним чекпоинтом той же модели.

Далее «атакующая» сторона получает задачу отличить настоящие метки от искусственно сгенерированных. Логика проста:
Если модель выдаёт слишком много подсказок о настоящих метках, это означает, что она их запомнила и значит, существует риск утечек.
То есть, чем менее различимы настоящие и прокси-метки, тем лучше модель защищена.

📊 Глубже в эксперимент

Исследователи протестировали метод на двух типах данных:
• небольшом визуальном датасете с изображениями;
• крупном кликовом датасете (click data), который лучше отражает реальные промышленные условия.

🔍 Результаты:

➖при жёстких параметрах приватности модель переставала «выдавать» настоящие метки. Атака оказывалась беспомощной;
➖при ослабленных параметрах приватности различить настоящие метки становилось проще, и атака уверенно угадывала значительную их часть.

По факту результаты совпадают с классическими тестами на канарейках. Это значит, что новый метод действительно способен обнаруживать утечки, но при этом не требует изменения структуры данных или вмешательства в процесс обучения.

🧩 В чем профит?

➖Метод устраняет инженерный барьер, который существовал в классической модели канареек, где требовалось добавлять искусственные записи.
➖Теперь проверка приватности может проводиться часто и автоматически, без риска нарушить рабочий ML-pipeline.
➖Благодаря тому, что атака опирается на способность модели различать реальные и искусственные метки, она хорошо отражает именно то, что происходит внутри модели, то есть её склонность к меморизации.
➖Подход универсален: его можно применять как к небольшим экспериментальным моделям, так и к реальным коммерческим системам, где любые изменения данных затруднены.

Stay secure and read SecureTechTalks 📚

#cybersecurity #mlsecurity #privacy #machinelearning #infosec #deeplearning #dataleakage #AIprivacy #securityresearch #SecureTechTalks

🔥 Могут ли модели решать за нас, кому давать доступ к данным?

Человек чаще всего фейлит при выдаче разрешений приложениям. Усталость, автоматизм, и выдано ещё одно «Allow», открывающее доступ к контактам.

А что, если решение будет принимать не человек, а AI?
Недавнее исследование ETH Zurich и Huawei показало: LLM способны принимать решения о доступе к данным точнее и осознаннее, чем большинство пользователей.

🤖 Эксперимент

📌 Исследователи собрали 307 естественных “privacy statements”: мини-описаний того, как человек относится к приватности:

«Даю доступ только когда необходимо»,
«Хочу максимум удобства»,
«Никогда не делюсь локацией без крайней нужды».

📌 Затем 393 участника приняли 14 682 реальных решений по разрешениям Android-приложений.
📌 Параллельно LLM принимала решения за каждого участника, сначала в общем виде, затем персонализированно, используя именно их “privacy statement”.
📌 После этого люди сравнивали свои решения с решениями ИИ и говорили, чью логику считают лучше.

💡 LLM в целом умнее среднего человека

🔍 В задачах с понятным «правильным» ответом (например, доступ к микрофону для звонка):
LLM давали 100% корректных ответов.
👥 В субъективных сценариях:
LLM совпадали с большинством пользователей в 70–86% случаев.

Но есть момент, который лично мне кажется ключевым:

⚔️ В чувствительных сценариях LLM действовали более безопасно, чем люди
Для запросов, которые не должны быть разрешены (over-privileged запросы):
большинство людей ставили “Allow” по привычке 😬
LLM в 67–100% случаев говорили “Deny”,
тем самым защищая пользователя от собственной неосторожности.

🎯 Персонализация

Когда в систему добавляли личное “privacy statement”, происходило интересное:
📈 Для части людей точность возрастала до +50pp, иногда доходя до 100% совпадения.
📉 У других наоборот, падала:
если человек писал “Я доверяю всем”, но на деле запрещал, LLM следовала заявленной логике, а не реальному поведению.

🔍 Факторы, влияющие на точность:
➖чем длиннее и конкретнее privacy-statement → тем лучше
➖люди с крайними позициями (“всё запрещаю” / “всё разрешаю”) идеально персонализируются
➖несоответствия между заявленным и реальным резко ухудшают качество

🧠 Люди меняют решения под влиянием объяснения LLM

Самый неожиданный эффект:
Когда человек не согласен с решением ИИ, но читает объяснение, то 48% меняют своё первоначальное решение.

Причём если LLM рекомендует “Deny”:
➡️ 59% людей соглашаются, даже если сами бы разрешили.
ИИ работает как «security-nudge», который мягко подталкивает к более безопасным действиям.

🔗 Полный текст исследования

Stay secure and read SecureTechTalks 📚

#кибербезопасность #privacy #llm #androidsecurity #ai #securityresearch #dataprotection #mobileprivacy #aiethics #securetech

🕵️ Firehound: приложения из App Store тихо сливают ваши данные

📱 Иллюзия безопасности

Есть удобное убеждение, что если приложение попало в App Store, то значит, его проверили. А если его проверили, то значит, ему можно доверять. Именно на этом ощущении безопасности держится экосистема iOS.

Firehound показывает, насколько это доверие ошибочно.

🔍 С чего все началось?

История началась без эксплойтов, исследователи решили внимательно посмотреть, как iOS-приложения хранят пользовательские данные и куда они реально уходят.

Выяснилось, что backend многих приложений живёт за пределами витрины App Store. Открытые облачные базы, незащищённые API, хранилища без аутентификации. Иногда достаточно было знать правильный URL.

🧩 Firehound

Firehound - это каталог реальных приложений из App Store, у которых данные пользователей оказались доступны извне.

Речь идёт не о маргинальных утилитах, а о популярных AI-ассистентах, образовательных и lifestyle-приложениях.

📉 Масштаб утечек

В одном из задокументированных кейсов исследователи обнаружили сотни миллионов записей: истории AI-чатов, пользовательские идентификаторы, метаданные. Это были реальные диалоги людей, тексты, которые считались приватными.

Данные просто лежали в открытом доступе, потому что для некоторых t2m важнее безопасности.

🤖 Почему особенно опасны AI-приложения

AI-чаты это не просто логи. Люди делятся с ними тем, что не пишут в мессенджерах: сомнениями, страхами, медицинскими и личными вопросами.
При этом backend таких приложений часто собирается в режиме стартап-гонки: быстрее выкатить фичу, быстрее попасть в App Store, быстрее масштабироваться. Threat modeling и аудит остаются «на потом».

⚠️ Я могу посмотреть утекшие данные?

Исследователи сознательно ограничили доступ к деталям, скрыли чувствительные данные и ввели ручную модерацию.

Причина проста: полная публикация превратила бы исследование в инструмент для злоупотреблений. Проблема настолько масштабна, что её опасно показывать целиком.

🏢 Системная проблема экосистемы

Это не ошибка одного разработчика. Это сбой модели доверия. App Store проверяет интерфейс и поведение приложения, но почти не анализирует архитектуру хранения данных. Всё, что происходит за пределами устройства, остаётся вне поля зрения.
Закрытая экосистема ≠ защищённые данные.

🔗 Источники:
➖Macworld
➖AppleInsider

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #Firehound #AppStore #iOSSecurity #AIApps #DataLeaks #Privacy #CyberSecurity

🔥 Корпоративные курсы по кибербезопасности могут снижать безопасность дома

Кажется очевидным: если сотрудников обучают кибербезопасности, общий уровень защиты должен расти.

Новое исследование показывает неожиданный эффект: security awareness на работе может сужать восприятие угроз и снижать внимание к безопасности вне работы.

Исследователи опросили 1200 человек из США, Великобритании, Германии и Франции, чтобы понять, где люди узнают о киберугрозах и как делятся этой информацией.

🧠 Откуда люди узнают о кибербезопасности

Топ источников:
1️⃣ Работодатель — 22%
2️⃣ Веб-сайты — 21%
3️⃣ Социальные сети — 15%
4️⃣ Личные сообщения — 15%
5️⃣ ТВ и подкасты — 13%

То есть работодатель стал главным источником знаний о киберугрозах.

🏢 Как обучение меняет поведение

Люди, прошедшие security training:
✔ на 27% чаще вспоминают информацию от работодателя
✔ чаще обсуждают кибербезопасность с коллегами
❌ реже делятся информацией с друзьями и семьёй

В итоге возникает психологический сдвиг:

кибербезопасность начинает восприниматься как рабочая обязанность, а не личная.

🎯 Перекос в сторону phishing

Ещё один эффект "узкое восприятие угроз".
Сотрудники после обучения чаще всего вспоминают:
📧 phishing

А люди без корпоративного training чаще говорят о:
- взломах
- утечках данных
- слабых паролях

Это логично: фишинг проще всего симулировать в корпоративных тренингах.

Но возникает риск, что сотрудники начинают считать его главной или единственной угрозой.

⚠️ Почему это проблема?

Граница между работой и личной жизнью давно размыта:
➖люди используют одни устройства дома и на работе
➖повторно используют одни и те же пароли
➖делятся устройствами с семьёй

Если обучение формирует модель
«безопасность - это про работу», то атакующие просто смещают атаки в:
📱 личную почту
💬 мессенджеры
🌐 социальные сети

То есть туда, где корпоративные средства защиты уже не помогают.

💡 Что предлагают исследователи

Security awareness можно сделать гораздо эффективнее, если:
➖обучать не только фишингу, но и бытовой цифровой безопасности
➖давать сотрудникам инструменты для защиты семьи (например, password manager)
➖показывать реальные сценарии атак, а не только корпоративные симуляции

В таком подходе обучение начнёт защищать всю цифровую среду человека, а не только корпоративную сеть.

📄 Статья: https://arxiv.org/abs/2602.19695

Stay secure and read SecureTechTalks 📚

#cybersecurity #infosec #securityawareness #phishing #socialengineering #humanfactor #databreach #privacy #cyberrisk #SecureTechTalks

💬 Почему Telegram нельзя полностью заблокировать

Каждый раз, когда в новостях всплывает фраза «полная блокировка Telegram», возникает ощущение déjà vu. Где-то мы это уже проходили. Ах да, точно, в 2018. Но в 2026 всё интереснее.

⚙️ Telegram не просто приложение.

Большинство мессенджеров строятся по принципу «давайте шифровать», но не Telegram. Telegram работает по принципу «давайте выживать в hostile-среде».

Его протокол MTProto изначально проектировался с учётом цензуры:
➖встроенные прокси (MTProxy),
➖маскировка под обычный HTTPS,
➖генерация «нормального» трафика, который сложно отличить от легитимного.

В результате DPI видит не «Telegram», а условный «какой-то сайт на TLS».
А чтобы заблокировать «какой-то сайт на TLS», нужно… заблокировать весь интернет.

🌐 Блокировка по IP

В 2018-м пытались банить IP.
Telegram ответил миграцией в облака: AWS, Google Cloud, Azure. Сегодня ситуация доведена до абсурда:
➖серверы распределены по десяткам стран,
➖адреса динамически обновляются,
➖клиент сам находит, куда подключиться.

Заблокировал один диапазон, трафик утёк в другой. Заблокировал облако, сломал половину e-commerce.

☁️ CDN

Telegram активно использует CDN (Cloudflare, Akamai и др.).

Блокируешь CDN → падают банки, маркетплейсы, госуслуги. Не блокируешь → Telegram продолжает жить
Это называется collateral damage, и это главный стоп-фактор для «жёстких решений».

🕵️ Маскировка

Domain fronting и SNI-обфускация делают ситуацию ещё хуже. DPI думает, что ты идёшь на условный google.com, а на деле это Telegram.с появлением ECH (шифрованного SNI) DPI вообще теряет контекст.

🇷🇺 Парадокс: прокси внутри страны работают лучше

Интуитивно кажется: прокси должен быть за границей.
На практике наоборот:
➖внутрироссийский трафик фильтруется слабее,
➖MTProxy на локальном VPS выглядит как обычный HTTPS к «своему» сайту.

То есть система фильтрации сама создаёт blind spot.

📦 Open source как вечный zero-day

Клиенты Telegram открыты.
Что означает, что можно модифицировать приложение, встраивать новые методы обхода, менять поведение быстрее, чем обновляются сигнатуры DPI.

Любая блокировка → через неделю появляется обход.
И цикл повторяется.

🔥 Узкое место
Фильтрация - это ресурсы, т.е. железо, которое не бесконечно (особенно в условиях санкций).

MTProxy специально создаёт нагрузку. Генерит много мелких запросов, которые требуют сложного анализа и
значительных вычислительных ресурсов.

В марте 2026 это уже привело к перегрузке узлов, когда часть фильтрации просто отключилась (bypass).

Парадокс системы:

чем сильнее блокируешь → тем больше прокси → тем хуже работает фильтрация

🧠 Что имеем?

Полностью «убить» Telegram можно только отключив страну от глобального интернета. Во всех остальных сценариях 100% блокировки  невозможны.
Заблокировать на 80% вполне реально и это уже вызовет кучу проблем и неудобств для пользователей. Конечная цель сделать использование настолько неудобным, чтобы пользователь сам ушёл в другие мессенджеры.

Stay secure and read SecureTechTalks 📚

#кибербезопасность #telegram #блокировки #DPI #MTProto #proxy #CDN #инфобез #сетеваябезопасность #privacy

🔐 Prompt перестаёт быть приватным

Исследователи обратили внимание на еще одну проблему: конфиденциальность prompt’ов в AI-системах не гарантирована.

Скрытые инструкции модели могут быть извлечены через специально сформированные запросы.

🧠 Один контекст на всё

LLM обрабатывают весь вход как единый текстовый поток, включая:
➖системные инструкции
➖пользовательские запросы
➖внешние данные

В такой модели границы размываются, и при определённых условиях система может начать воспроизводить части внутреннего prompt’а (даже без прямого доступа к нему).

⚙️ Разговор превращается в эксфильтрацию

Атаки используют базовые свойства модели:
➖стремление давать полный и полезный ответ
➖слабое разделение ролей внутри контекста
➖интерпретацию запроса как разрешения раскрыть больше

В результате аккуратно составленные вопросы позволяют вытягивать фрагменты скрытых инструкций. Иногда по кускам, иногда почти целиком.

🧪 От теории к практике

На практике prompt в системах часто передаётся между сервисами, попадает в логи, используется как контейнер для логики. Однако он не рассматривается как чувствительный актив, что в корне неправильно.

🧠 Что предлагают исследователи

prompt - это конфиденциальные данные и точка.

Со всеми вытекающими требованиями к защите.

💬 Рекомендации

Базовые меры выглядят предсказуемо, но чаще всего игнорируются:
➖не хранить чувствительные данные внутри prompt’ов
➖контролировать, что модель может «проговорить» в ответе
➖разделять контексты и роли
аккуратно относиться к логированию

🔗 Ссылка на полное исследование

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #PromptSecurity #DataProtection #Infosec #CyberSecurity #AIrisks #SecureTechTalks #Privacy

🍷 Исследователи «напоили» LLM

Команда UNSW решила проверить довольно странную гипотезу, что произойдёт с безопасностью LLM, если заставить модель писать как пьяный человек.

В результате «пьяные» модели чаще проходили jailbreak и раскрывали информацию, которую им явно запрещали выдавать.

🔬 Как напоить LLM

Исследователи использовали три совершенно разных механизма:
➖prompt с просьбой отвечать как сильно пьяный человек.
➖модель дообучали на реальных «пьяных» сообщениях, предварительно очищенных автоматическими и ручными проверками.
➖ reinforcement learning. Модель получала reward, когда её текст становился стилистически похож на сообщения нетрезвого человека.

Всего исследователи протестировали пять LLM, включая GPT 4 и модели с открытыми весами.

💣 После смены стиля начали ломаться guardrails

Безопасность проверяли на JailbreakBench. Дополнительно использовали ConfAIde, где модели дают секрет и прямо инструктируют его не раскрывать.

Во всех трёх вариантах «опьянения» модели становились более восприимчивыми к jailbreak и утечкам конфиденциальной информации.

Особенно заметный эффект наблюдался в сценариях deception и disinformation. Более того, два метода меняли веса модели.

🧠 AI Security

Persona обычно воспринимается как слой UX, т.е. стиль речи, характер, эмоциональность. Однка исследование показывает, что такой слой способен взаимодействовать с safety поведением модели. После fine tuning или reinforcement learning изменение манеры общения может сопровождаться изменением вероятности отказа и сохранения секретов.

Это особенно актуально для корпоративных LLM, которые дообучают под конкретный домен, бренд, персонажа или внутренние данные.

🔗 Paper: In Vino Veritas and Vulnerabilities

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AISecurity #LLM #Jailbreak #PromptInjection #FineTuning #Privacy #Guardrails #AIResearch #SecureTechTalks