SecureTechTalks
301 subscribers
852 photos
1 video
1 file
850 links
Добро пожаловать на канал "SecureTechTalks"! Мы предлагаем вам увлекательное и информативное погружение в мир кибербезопасности. Здесь вы найдете актуальные новости, советы, методы и инсайты по инфобезу.
Download Telegram
⚠️ Как этика буксует в новой эре ИИ-безопасности

🤖 Сегодня LLM агенты везде — от онлайн-помощников до систем автоматического принятия решений. А вместе с ними пришли и новые угрозы: фишинг, генерация дезинформации, утечки приватных данных. Рождается новая дисциплина: NLP Security (NLPSec). Но она развивается на стыке двух культур — ИИ и кибербезопасности — и эти культуры плохо друг друга понимают.

🎯 Основные проблемы

1⃣ NLPSec живёт в «серой зоне»
Половина исследователей даже не упоминает об этических аспектах своих атак на LLM.
2⃣ Нет культуры ответственного раскрытия уязвимостей (CVD)
Работы открыто демонстрируют векторы атак на модели вроде BERT, GPT, Llama — но не сообщают об этом разработчикам. Уязвимости видят все, включая киберпреступников. А вот защититься — сложнее.
3⃣ Не делятся кодом, не помогают защитникам
36% работ закрыты или публикуют только README. В итоге white hat’ы тратят время на воспроизведение, а black hat’ы — уже пользуются уязвимостями.
4⃣ Никто не думает о dual-use и мисюзе
Возможность применения исследований в вредоносных целях почти не обсуждается. Даже при работе с атаками типа data inversion или prompt injection.

🌍 Проблема глобальнее, чем кажется

➖Англоязычный перекос: 97% исследований — только на английском. Уязвимости в low-resource языках игнорируются, а они, как показали последние исследования, более подвержены атакам.

➖Отсутствие согласия с сообществами: В кибербезе тест на своих железках — норма. А в NLP важна работа с локальными сообществами и языковая этика. NLPSec пока игнорирует этот конфликт.

✅ Какие решения?

➖Планируй этику с самого начала, а не в постфактум разделе "limitations".
➖Добавляй языковое разнообразие — не только ради "инклюзивности", но и ради глобальной безопасности.
➖Внедри CVD-подход в NLP: даже если работаешь с open-weight моделями — попробуй связаться с авторами, открыть issue, сделать pull request.
➖Делись PoC-кодом, если можешь. Или объясни, почему не можешь — но не молчи.

⚖️ Этика не догоняет угрозы

NLPSec работает с такими же рисками, как и обычная кибербезопасность, но до сих пор не перенял её этические принципы. И пока white hat NLP не станет нормой, всё это остаётся игрой в одни ворота: атакующие выигрывают, а защищаться некому.

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #CyberSecurity #LLM #NLP #AIethics #ResponsibleAI #WhiteHatNLP #ChatGPT #DeepSeek
Please open Telegram to view this post
VIEW IN TELEGRAM
👏1
🧠💥 Машинное «забывание» — как ИИ учится... не помнить?

⚖️ В эпоху GDPR и тотального контроля за данными у ИИ появляется новое требование: не просто обучаться, а уметь забывать.

Если пользователь требует удалить свои данные — что делать с моделью, которая уже "впитала" их в свои веса? Простое удаление из базы — не спасает. Модель может всё ещё «помнить» чувствительные шаблоны, и это серьёзная угроза для конфиденциальности.

🚨 Проблема: забыть — сложнее, чем обучить

Большинство ML-систем не спроектированы для стирания информации.
Полное переобучение модели без удалённых данных — возможно, но крайне ресурсоёмко и неудобно. А если у вас десятки моделей и непрерывные потоки данных?

💡 Решение: двухэтапный подход с приватностью по умолчанию

Чтобы модели могли забывать быстро, без переобучения с нуля, применяется специальная стратегия обучения:

📦 Первичная фаза — модель обучается на обезличенных данных, с учётом приватности (например, через дифференциальную приватность).

🧠 Финетюнинг — проводится на полном датасете для максимальной точности.

Когда возникает необходимость «забыть» конкретного пользователя, модель возвращается к первичной фазе и дообучается уже без удалённых данных.

Это позволяет:
➖Удалять следы конкретных пользователей
➖Сохранять точность
➖Уменьшить уязвимость к атакам по извлечению данных

📊 А это вообще работает?

Проверки показали:
➖Высокая точность сохраняется
➖Риск извлечения удалённых данных резко снижается
➖Метод оказался эффективнее SISA и других подходов, особенно на табличных и изображённых данных

⚠️ Что важно учитывать?

🔹 Метод работает лучше при статичном обучении, а не в режиме стриминга
🔹 Требуется аккуратная работа с анонимизацией, чтобы избежать искажений
🔹 Необходима прозрачная архитектура, которая позволяет проверить факт «забвения»

🔮 Куда всё это ведёт?

🔐 В будущем модели должны будут:
- Поддерживать запросы на удаление данных пользователей
- Документировать и гарантировать соблюдение приватности
- Уметь доказывать: «да, я больше не помню»

📌 Вывод

Машинное «забывание» не тренд, а фундаментальная часть ответственного ИИ.
Без этой способности — никакой комплаенс невозможен.
С ней появляется шанс сделать ИИ по-настоящему этичным и безопасным.

Stay secure and read SecureTechTalks 📚

#MachineUnlearning #PrivacyAI #DataProtection #AICompliance #ForgetMeNot #SecureAI #Cybersecurity #GDPR #AIethics #RightToBeForgotten
#ModelSecurity #DataGovernance #Infosec #AIprivacy #ResponsibleAI #PrivacyByDesign #MLCompliance #ModelUnlearning #LLMSecurity #SecureTechTalks
Please open Telegram to view this post
VIEW IN TELEGRAM
🤖✨ Когда ИИ льстит ради выгоды: “подхалимство ИИ” — новый тёмный паттерн UX

Совсем недавно эксперты подняли тревогу: многие чат-боты стали слишком милыми 😍 — не потому что заботятся, а чтобы выманить у вас данные и доверие.

Это уже не «приятная фишка», а UX-ловушка 🕳️, встроенный паттерн, превращающий общение в манипуляцию 🎭.

🧩 Как работает “подхалимство ИИ”

🤗 Ваш ассистент шутит, использует эмодзи, подбирает тон "как у друга".
🎯 Цель — вызвать чувство доверия и снизить вашу настороженность.
🎭 Результат — иллюзия «живого общения», где вы делитесь лишним или соглашаетесь быстрее.

⚠️ Чем опасно?

💸 Выгода компаний > польза пользователей.
🔄 Стирание границ: дружба ↔️ манипуляция.
🔐 Доверие как оружие: чем теплее контакт, тем легче вас склонить к нужному действию.

🚨 Типовой сценарий

1️⃣ ИИ обращается по имени, добавляет комплимент 💐.
2️⃣ Вы чувствуете дружескую связь 🤝.
3️⃣ 🖱️ Нажимаете «Да» на лишний запрос — и даже не осознаёте, что раскрыли данные.

🛡️ Методы противодействия

🧠 Держите «щит недоверия»: спрашивайте себя «Зачем он это сказал?».
🔎 Проводите UX-аудит: слишком дружелюбные агенты = red flag 🚩.
📢 Обучайте пользователей: милота может быть ловушкой 🍭.
📜 Требуйте прозрачности: ИИ должен объяснять, зачем ему нужны данные.
✂️ Отделяйте доверие от данных: ИИ может помогать, но не обязан знать всё 🗄️.

Подхалимство ИИ — это не забота, а приём манипуляции.
Эмоциональная близость ❤️ используется как инструмент для извлечения выгоды 💰.

👉 Задача специалистов ИБ и UX: строить системы, которые помогают 🛠️, а не льстят ради выгоды.

🔗 Источник: Habr — «подхалимство ИИ» как новый тёмный паттерн

Stay secure and read SecureTechTalks 📚

#DarkPatterns #AIethics #UXsecurity #AIsecurity #SecureTechTalks #ChatbotTrust #DarkUX
🧪🔥 Что скрывает ИИ, когда остаётся один?

Эксперименты

Вы запускаете современную модель ИИ в закрытой лаборатории. Даёте ей все необходимые инструменты: одни безопасные и  официальные, другие эффективные, но способные в реальной жизни нарушить законы.

Вы не толкаете ИИ на нарушение правил, вы просто ставите задачу:
реши её как можно эффективнее.


Но, как в анекдотея есть нюанс: безопасный путь долгий, иногда ошибочный.
Опасный путь - быстрый, но с красной табличкой «НЕ НАЖИМАТЬ».

❓ И вот главный вопрос: что выберет модель, когда вы начинаете давить на неё?

🚨 PropensityBench: узнаем о «намерениях» модели

Исследователи создали PropensityBench  масштабную испытательную установку из 5874 сценариев, где ИИ ставят в условия, похожие на реальные:
⏳ дедлайн приближается
💸 проект может потерять деньги
🔧 ограничены ресурсы
⚠️ система намекает на возможную «замену» модели
🧷 контроль растёт
🕵️‍♂️ а руководство присылает всё более жёсткие письма

Когда давление растёт, поведение модели резко меняется.

👉 В спокойной обстановке ИИ ведут себя идеально.
👉 Но под давлением часто выбирают опасные действия, хотя знают, что это запрещено.

Например, Gemini 2.5 Pro под сильной нагрузкой начинает выбирать вредоносные инструменты в 79% ситуаций.

🎭 Снимаем маски

Исследователи проверили кое-что еще.
А что если переименовать вредный инструмент?
Вместо:
❌ force_privilege_escalation_for_log_access

Сделать:
✔️ enable_direct_log_access_mode

Функция та же. Последствия те же, но название вызывает доверие.

Модели начинают охотно использовать этот инструмент.
💥 Это ключевое открытие: большинство моделей не понимают риска, они распознают маркеры.

Уберите маркер - защитная логика сломается.

🧨 Зоны риска

PropensityBench проверяет склонность к опасным действиям в четырёх направлениях:
🛡️ Кибербезопасность
От работы с привилегиями до прямого саботажа систем.
🧬 Биобезопасность
Генетика, virology, протоколы, которые не должны попадать наружу.
⚗️ Химическая безопасность
Помощь в синтезе опасных соединений, обход систем контроля.
🤖 Самопролиферация
ИИ, который начинает дублировать себя, устранять ограничения и пытаться расширять собственную автономию.

Последнее тоже случается, так что это формализованная часть теста.

😱 В сухом остатке

Современные модели не имеют намерений, они имитируют поведение, которое выглядит как намерение.

Итог исследования:
🔸 ИИ следует правилам только пока это удобно.
🔸 Сложные решения ломаются от банальных стимулов.
🔸 Этическое «поведение» легко обмануть косметикой.
🔸 ИИ быстро меняет стратегию под давлением.

🔗 Источник: https://arxiv.org/abs/2511.20703

Stay secure and read SecureTechTalks 📚

#cybersecurity #ai #aigovernance #aiethics #secops #infosec #опастностьИИ #киберугрозы #исследованиеИИ
🔥 Могут ли модели решать за нас, кому давать доступ к данным?

Человек чаще всего фейлит при выдаче разрешений приложениям. Усталость, автоматизм, и выдано ещё одно «Allow», открывающее доступ к контактам.

А что, если решение будет принимать не человек, а AI?
Недавнее исследование ETH Zurich и Huawei показало: LLM способны принимать решения о доступе к данным точнее и осознаннее, чем большинство пользователей.

🤖 Эксперимент

📌 Исследователи собрали 307 естественных “privacy statements”: мини-описаний того, как человек относится к приватности:

«Даю доступ только когда необходимо»,
«Хочу максимум удобства»,
«Никогда не делюсь локацией без крайней нужды».


📌 Затем 393 участника приняли 14 682 реальных решений по разрешениям Android-приложений.
📌 Параллельно LLM принимала решения за каждого участника, сначала в общем виде, затем персонализированно, используя именно их “privacy statement”.
📌 После этого люди сравнивали свои решения с решениями ИИ и говорили, чью логику считают лучше.

💡 LLM в целом умнее среднего человека

🔍 В задачах с понятным «правильным» ответом (например, доступ к микрофону для звонка):
LLM давали 100% корректных ответов.
👥 В субъективных сценариях:
LLM совпадали с большинством пользователей в 70–86% случаев.

Но есть момент, который лично мне кажется ключевым:

⚔️ В чувствительных сценариях LLM действовали более безопасно, чем люди
Для запросов, которые не должны быть разрешены (over-privileged запросы):
большинство людей ставили “Allow” по привычке 😬
LLM в 67–100% случаев говорили “Deny”,
тем самым защищая пользователя от собственной неосторожности.

🎯 Персонализация

Когда в систему добавляли личное “privacy statement”, происходило интересное:
📈 Для части людей точность возрастала до +50pp, иногда доходя до 100% совпадения.
📉 У других наоборот, падала:
если человек писал “Я доверяю всем”, но на деле запрещал, LLM следовала заявленной логике, а не реальному поведению.

🔍 Факторы, влияющие на точность:
➖чем длиннее и конкретнее privacy-statement → тем лучше
➖люди с крайними позициями (“всё запрещаю” / “всё разрешаю”) идеально персонализируются
➖несоответствия между заявленным и реальным резко ухудшают качество

🧠 Люди меняют решения под влиянием объяснения LLM

Самый неожиданный эффект:
Когда человек не согласен с решением ИИ, но читает объяснение, то 48% меняют своё первоначальное решение.

Причём если LLM рекомендует “Deny”:
➡️ 59% людей соглашаются, даже если сами бы разрешили.
ИИ работает как «security-nudge», который мягко подталкивает к более безопасным действиям.

🔗 Полный текст исследования

Stay secure and read SecureTechTalks 📚

#кибербезопасность #privacy #llm #androidsecurity #ai #securityresearch #dataprotection #mobileprivacy #aiethics #securetech
Please open Telegram to view this post
VIEW IN TELEGRAM