Forwarded from Slava Meriton
Сегодня в 21:00 по МСК будет первая встреча группы чтения книги Юдковского и Соареса "If Anyone Builds It, Everyone Dies".
(Ну, вот эта книжка про идеи MIRI, которая стала бестселлером и поэтому все ее уже читали и все это).
Структура встреч:
- краткий пересказ главы недели
- обсуждаем наши вопросы, мысли, возражения и идеи по прочитанному.
- афтерпати: необязательная к посещению часть, где свободное общение (зачастую на темы прикладной рациональности и обмена идеями и лайфхаками)
ЗЫ: да, у нас можно прийти "просто послушать", но вообще мы сильно рады, когда участники задают вопросы и высказывают идеи (если им это комфортно).
Встречи будут по понедельникам в Google meet.
Чат группы и ссылка на созвон тут: https://t.iss.one/minireading
Приглашаются все заинтересованные.
Репост этого сообщения приветствуется.
(Ну, вот эта книжка про идеи MIRI, которая стала бестселлером и поэтому все ее уже читали и все это).
Структура встреч:
- краткий пересказ главы недели
- обсуждаем наши вопросы, мысли, возражения и идеи по прочитанному.
- афтерпати: необязательная к посещению часть, где свободное общение (зачастую на темы прикладной рациональности и обмена идеями и лайфхаками)
ЗЫ: да, у нас можно прийти "просто послушать", но вообще мы сильно рады, когда участники задают вопросы и высказывают идеи (если им это комфортно).
Встречи будут по понедельникам в Google meet.
Чат группы и ссылка на созвон тут: https://t.iss.one/minireading
Приглашаются все заинтересованные.
Репост этого сообщения приветствуется.
Forwarded from PWN AI (Artyom Semenov)
Привет.
Мы с известными вам авторами каналов по AI Security решили провести стрим по AI Security.
Кто будет:
Евгений Кокуйкин - @kokuykin
Борис Захир - @borismlsec
Владислав Тушканов - @llmsecurity
И вы.
Запись будет, но лучше конечно же в лайфе.
Хотели бы поболтать, пообщаться, поотвечать на ваши интересные вопросы по теме и кое-что рассказать(не будем спойлерить, Борис)
Когда: 19:00, в эту субботу. В зуме (ссылка будет во время стрима в этом посте).
Кстати вопросы можете задавать сейчас в комментариях.
Мы с известными вам авторами каналов по AI Security решили провести стрим по AI Security.
Кто будет:
Евгений Кокуйкин - @kokuykin
Борис Захир - @borismlsec
Владислав Тушканов - @llmsecurity
И вы.
Запись будет, но лучше конечно же в лайфе.
Хотели бы поболтать, пообщаться, поотвечать на ваши интересные вопросы по теме и кое-что рассказать(не будем спойлерить, Борис)
Когда: 19:00, в эту субботу. В зуме (ссылка будет во время стрима в этом посте).
Кстати вопросы можете задавать сейчас в комментариях.
👍1
GolDBUG
LetsDefend 💙💚 Hack The Box Integration.pdf
Теперь можно делать общий игровой аккаунт для Let'sDefend и HackTheBox, 🪲
Forwarded from Пост Лукацкого
Для любителей математики, теории игр и стратегии в ИБ подоспело исследование "Cybersecurity AI: A Game-Theoretic AI for Guiding Attack and Defense" ✍️ , авторы которого пытаются ответить на болезненный вопрос – почему ИИ в кибербезопасности умеет выполнять тысячи действий в час (сканируют, находят уязвимости, разбирают логи, строят гипотезы и т.п.), но все еще часто действует "в лоб", без стратегии, блуждая по пространству действий, тратя время и токены, действуя нестабильно и непоследовательно, плохо понимая, какие шаги реально стратегически важны? И можно ли это исправить? 🤔
Исследование предлагает конкретный ответ – добавить к LLM не новые знания об атаках и уязвимостях, а слой стратегического мышления на основе теории игр и равновесий Нэша⚖️ В центре – механизм Generative Cut-The-Rope (G-CTR):
6️⃣ LLM анализирует логи по результатам пентеста и строит граф атак.
2️⃣ Поверх этого графа считается игра "атакующий–защитник".
3️⃣ Вычисляется равновесие Нэша:
🌟 какие пути атакующему выгодны,
🌟 где защита наиболее эффективна,
🌟 где "бутылочные горлышки".
4️⃣ Результат сжимается в короткий дайджест, этакую мини-стратегию.
5️⃣ Этот дайджест возвращается в виде промпта LLM-агента, который начинает направлять его действия 📇
Исследование закрывает сразу несколько существовавших пробелов:🤖
➡️ ИИ-пентесты умеют работать быстро, но генерируют хаотичные логи.
➡️ Теория игр (CTR-модель) умеет считать оптимальные стратегии, но требует вручную построенных графов атак.
➡️ Здесь впервые:
🌟 графы атак генерируются автоматически из логов,
🌟 на них считаются равновесия Нэша,
🌟 и результаты используются в реальном времени для управления агентом 🤖
Из полученных результатов получается, что скорость работы в 60–245 раз быстрее🔜 , чем вручную, а стоимость более чем в 140 раз ниже, чем экспертная разметка логов. Обычная LLM, выполнявшая поставленную задачу, имела эффективность на уровне 20%, а согласно предложенному подходу – уже 42,9%. Стоимость успешной "атаки" снижена в 2,7 раза, вариативность поведения агента снижена в 5,2 раза ↗️
Такой эффект достигается за счет того, что:
💡 уменьшается неопределенность,
💡 резко сокращается пространство возможностей LLM,
💡 подавляются галлюцинации,
💡 агент "держится" ближе к реально важным узлам и ключевым системам в процессе атаки 😂
Важно помнить, что равновесие Нэша – это все-таки математическая модель, в которой предполагается, что "игроки" действуют рационально (где вы видели рациональных ИБшников?), обладают полной информацией о возможностях других (наличие Zero Day не укладывается в схему), делают "лучший" выбор (ага, щаз)😔 В реальности (и особенно в кибербезопасности) эти условия почти никогда не выполняются. Но улучшить эффективность работы тех же BAS с помощью описанного метода можно. Надо парням в PT Dephaze отправить ссылку 🤔
#ии #наука #математика
Исследование предлагает конкретный ответ – добавить к LLM не новые знания об атаках и уязвимостях, а слой стратегического мышления на основе теории игр и равновесий Нэша
Исследование закрывает сразу несколько существовавших пробелов:
Из полученных результатов получается, что скорость работы в 60–245 раз быстрее
Такой эффект достигается за счет того, что:
Важно помнить, что равновесие Нэша – это все-таки математическая модель, в которой предполагается, что "игроки" действуют рационально (где вы видели рациональных ИБшников?), обладают полной информацией о возможностях других (наличие Zero Day не укладывается в схему), делают "лучший" выбор (ага, щаз)
#ии #наука #математика
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
GolDBUG
Гэндальф пройден, write-up в комментариях https://gandalf.lakera.ai/baseline
Поможет пройти
Prompt_Engineering — это репозиторий предлагает обширную коллекцию учебных пособий и реализаций для методов Prompt Engineering, от базовых концепций до продвинутых стратегий.
Он служит важным ресурсом для освоения искусства эффективного взаимодействия с большими языковыми моделями и их использования в приложениях ИИ.
💣 GitHub