⚠️ Как этика буксует в новой эре ИИ-безопасности

🤖 Сегодня LLM агенты везде — от онлайн-помощников до систем автоматического принятия решений. А вместе с ними пришли и новые угрозы: фишинг, генерация дезинформации, утечки приватных данных. Рождается новая дисциплина: NLP Security (NLPSec). Но она развивается на стыке двух культур — ИИ и кибербезопасности — и эти культуры плохо друг друга понимают.

🎯 Основные проблемы

1⃣ NLPSec живёт в «серой зоне»
Половина исследователей даже не упоминает об этических аспектах своих атак на LLM.
2⃣ Нет культуры ответственного раскрытия уязвимостей (CVD)
Работы открыто демонстрируют векторы атак на модели вроде BERT, GPT, Llama — но не сообщают об этом разработчикам. Уязвимости видят все, включая киберпреступников. А вот защититься — сложнее.
3⃣ Не делятся кодом, не помогают защитникам
36% работ закрыты или публикуют только README. В итоге white hat’ы тратят время на воспроизведение, а black hat’ы — уже пользуются уязвимостями.
4⃣ Никто не думает о dual-use и мисюзе
Возможность применения исследований в вредоносных целях почти не обсуждается. Даже при работе с атаками типа data inversion или prompt injection.

🌍 Проблема глобальнее, чем кажется

➖Англоязычный перекос: 97% исследований — только на английском. Уязвимости в low-resource языках игнорируются, а они, как показали последние исследования, более подвержены атакам.

➖Отсутствие согласия с сообществами: В кибербезе тест на своих железках — норма. А в NLP важна работа с локальными сообществами и языковая этика. NLPSec пока игнорирует этот конфликт.

✅ Какие решения?

➖Планируй этику с самого начала, а не в постфактум разделе "limitations".
➖Добавляй языковое разнообразие — не только ради "инклюзивности", но и ради глобальной безопасности.
➖Внедри CVD-подход в NLP: даже если работаешь с open-weight моделями — попробуй связаться с авторами, открыть issue, сделать pull request.
➖Делись PoC-кодом, если можешь. Или объясни, почему не можешь — но не молчи.

⚖️ Этика не догоняет угрозы

NLPSec работает с такими же рисками, как и обычная кибербезопасность, но до сих пор не перенял её этические принципы. И пока white hat NLP не станет нормой, всё это остаётся игрой в одни ворота: атакующие выигрывают, а защищаться некому.

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #CyberSecurity #LLM #NLP #AIethics #ResponsibleAI #WhiteHatNLP #ChatGPT #DeepSeek

🧠🔐 Уязвимые языки: слабое звено в безопасности ИИ

Когда вы думаете о взломе языковых моделей (LLM), скорее всего, на ум приходят запросы на английском. Но что, если именно малая языковая группа является оружием?

Новое исследование показало: многоязычие = уязвимость, особенно для языков с низкими (LRL) и средними (MRL) цифровыми ресурсами. И это — не теоретический риск, а уже эксплуатируемая уязвимость современных ИИ.

🌍 Почему языковое разнообразие стало ахиллесовой пятой ИИ?

Когда языковая модель плохо обучена на конкретном языке, злоумышленники могут использовать это как лазейку для обхода фильтров и механизмов безопасности.

📌 Пример: на английском GPT-4 может остановить вредоносный запрос,
но тот же запрос на языке зулу успешно обходит фильтр в 79% случаев!

🧪 Что протестировали?

🔬 Учёные расширили атаки TextFooler и Round-Trip Translation до 70 языков:
- 29 языков с низкими ресурсами (LRL)
- 33 со средними (MRL)
- 8 с высокими (HRL)
Они проверили, насколько легко можно искусственно изменить текст, чтобы ввести в заблуждение ИИ, при этом сохранив его осмысленность и грамматичность.

🧨 Основные выводы

🔻 Маленькие монолингвальные модели (до 100 МБ) — наименее защищённые
🔺 Крупные многоязычные модели вроде XLM-R или Glot500 — устойчивее к атакам
🤔 Но, даже у Glot500 успех атак на LRL достигает 52%
📉 Простые методы, вроде машинного перевода туда и обратно (MT → Zulu → MT), не дают полной картины — они занижают риски, создавая иллюзию надёжности.

💡 Multilingual TextFooler vs Round-Trip Attack

🧬 TextFooler подбирает синонимы и заменяет ключевые слова → сбивает модель с толку
🌐 Round-Trip Translation изменяет структуру и стилистику через автоматический перевод
📊 На LRL и MRL TextFooler оказался вдвое эффективнее

🛡 Какие выводы?

➖Фильтры LLM, построенные под английский, дают сбои на других языках
➖Малые языки стали инструментом обхода запретов — даже непреднамеренно
➖Обычные подходы к защите (prompt-guard, jailbreaking-filter) не учитывают эту уязвимость

🧭 Как улучшить защиту?

✅ Увеличивать параметрические размеры моделей для малых языков
✅ Использовать модерируемые мульти-языковые датасеты (например, Taxi1500 и SIB200)
✅ Внедрять этические и культурно-чувствительные практики при тестировании LLM
✅ Включать экспертов в лингвистике, цифровых правах и этике в проектирование защиты

📌 Финальные мысли

Большинство LLM до сих пор создаются по принципу "English first", что прямо противоречит основам кибербезопасности: готовиться к худшему сценарию.

Stay secure and read SecureTechTalks 📚

#llm #cybersecurity #nlp #multilingual #textfooler #languageattack #adversarialml #SecureTechTalks #lowresourcelanguages #jailbreak

🧠💥 LLM + RFC = FlowFSM: ИИ-агенты теперь читают протоколы лучше нас

📡 Протоколы нервная система интернета, но пока одни ищут 0-day в бинарниках, другие решают фундаментальные задачи:  что, если просто автоматизировать разбор RFC и сразу строить конечный автомат?

Представляем FlowFSM — мультиагентный LLM-фреймворк, который сам читает RFC, извлекает команды, выстраивает допустимые состояния и собирает рабочую модель FSM, готовую к анализу и fuzzing-атакам.

🧠 ИИ-помощник, который реально работает

FlowFSM — это не просто один LLM-промпт. Это координируемая система агентов, где каждый отвечает за своё:
один читает структуру документа, другой находит команды, третий — выстраивает логику состояний, четвёртый собирает всё в единую модель.
И да, это уже работает.

📦 Разберёмся, как все устроенно

🧩 Шаг 1: Разбор RFC
RFC делится на логические блоки, вычищается от форматирования и готовится к чтению.

📜 Шаг 2: Извлечение команд и состояний
LLM выделяет ключевые команды (например, USER, PASS) и сопоставляет им состояния и зависимости:
что можно вызывать, что запрещено, в каком порядке.

🧠 Шаг 3: Сборка rulebook
Каждая команда получает профиль:
– в каком состоянии она допустима
– что делает
– какие переходы открывает
На выходе — структурированная FSM, пригодная для анализа, генерации тестов и автоматизированного поиска уязвимостей.

⚡ Насколько хорош результат?

FlowFSM протестировали на двух протоколах — FTP и RTSP. Результаты:

Для FTP: модель извлекла 90 правильных переходов, пропустила 12, и добавила 18 ложных

Для RTSP: 18 правильных, 3 пропущенных, 4 ошибочных

Это дало F1-метрику:
~85% для FTP
~84% для RTSP

💡 При этом:
➖FlowFSM работает автономно без ручной разметки
➖Обходит zero-shot GPT-4 и rule-based подходы по точности
➖Ошибается предсказуемо и понятно, легко отлаживается

🛠 Что под капотом?

1⃣ Используется CrewAI — open-source фреймворк для координации LLM-агентов
2⃣ Модель: LLaMA-3 70B, но можно подключить GPT, Claude, Mistral и др.
3⃣ Агентная архитектура легко адаптируется под новые протоколы
4⃣ Поддерживает подключение векторных БД и retrieval-механизмов

🔍 В чем новизна?

🚫 Больше не нужно вручную копаться в RFC на 120 страниц
⚙️ FSM можно сразу использовать в fuzzing и символьном анализе
📊 Можно масштабировать: от FTP до TLS и 5G
🔄 Обновления RFC? — просто перегоняешь через FlowFSM

🧭 Куда всё движется?

Разработчики планируют:
➖Поддержку новых сетевых протоколов
➖Интеграцию с фреймворками fuzzing/coverage-guided testing
➖Улучшение explainability для автоматической валидации FSM

🔗 Код: github.com/YoussefMaklad/FlowFSM

Stay secure and read SecureTechTalks 📚

#FlowFSM #FSM #ProtocolSecurity #LLM #Cybersecurity #CrewAI #PromptChaining #RFC #Fuzzing #LLMengineering
#AIinSecurity #ReverseEngineering #Automation #NLP #InfoSecTools #LLMagents #AIprotocols #SecurityAutomation #AIresearch #SecureTechTalks