Солдатов в Телеграм
2.07K subscribers
224 photos
29 videos
73 files
429 links
Делюсь своим личным мнением об ИТ, ИБ и важном.

Связанные ресурсы:
dzen.ru/soldatov
reply-to-all.blogspot.com.

Проголосовать: https://t.iss.one/boost/soldatov_in_telegram
Download Telegram
Искусственный интеллект (AI) и машинное обучение (ML)

В одном из курсов о машобуче, пройденном на выходных, обнаружил объяснение разницы между ML и AI:
любое ML - это AI, но не любой AI - это ML


Привожу соответствующую картинку (курс вот этот).

Но сегодня поговорим про интерпретируемость, для целей ИБ - это принципиальное требование (очевидный пример необходимости - Автоаналитик, которого без интерпретируемости невозможно тюнить).

И вот я для себя выяснил, что интерпретируемые ИИ есть, для них даже имеется специальная аббревиатурка - XAI, и что такие исследования крайне популярны в последнее время, а вот и пример одного из XAI, причем, независимого от модели (есть и model-specific XAI).

Будем следить за этими XAI (explainable AI), XML (explainable machine learning) или IAI (interpretable AI).

#ml
🤔8👍3
Бурное развитие облаков в какой-то степени сдерживали риски приватности: как же, мол, мы будем в облачного провайдера передавать все наши секреты и т.д. и т.п. Теоретическое математическое решение предложено небезызвестными Ривестом и Адельманом аж в 1978 году в виде гомоморфного шифрования. В теории все почти неплохо - манипуляции с данными производятся с зашифрованными данными и, вроде как, секреты не разглашаются. Однако, на практике реализации гомоморфного шифрования вычислительно сложны, что делает их нерентабельными. Немного я касался этого в 2012 году.

Чуть позже пришло осознание, что любая безопасность - это вопрос доверия и что без доверия невозможна безопасность. И на самом деле доверие в безопасности повсюду: мы вынуждены доверять производителям железа, ОС, системного и прикладного ПО, да и самим производителям решений по безопасности, что подрядчиков, которым мы уже вынуждены доверять - великое множество, и что, добавив к этому списку доверенных облачных провайдеров какого-то катастрофического снижения ИБ не прогнозируется. В итоге, разговоры о небезопасности облаков как-то поутихли, а мы и без гомоморфного шифрования вполне себе активно используем облачные мощности.

Но на сцену выходят тяжелые схемы машинного обучения, облачные модели генеративного ИИ, которые, очевидно, несут в себе огромные функциональные возможности, которых очень хочется, но на пути снова встает та же проблема - приватность передаваемых данных: как же, мол, мы будем в облачного провайдера облачный ИИ передавать все наши секреты и т.д. и т.п. И сейчас в общем объеме исследований, лично я снова наблюдаю всплеск интереса к гомоморфному шифрованию! Статей великое множество, приведу эту в качестве примера. Здесь мы наши секреты уже прячем не только от облачного провайдера, но и от поставщика облачного машобуча.

Проблемы с производительностью здесь все те же, поэтому не удивлюсь, что спустя пару лет мы смиримся с тем, что в наш список доверенных 3rd party станет нормальным наряду с облачными провайдерами добавлять и облачные LLM, а вопросы рисков безопасности мы будем пытаться адресовать контрактными обязательствами с поставщиками.

#пятница #ml #vCISO
👍6😁1
На днях посмотрел вебинар от Red Canary с привлекательным названием "Embedding AI agents in your SOC". Не могу сказать, что он был супер познавательным и полезным, слайдов не было и видеоряд вебинара слабо отличается от того, что я представил на скриншоте. Напрягаться выкачиванием видео я не стал, но любезно предоставленный организаторами транскрипт прилагаю, - каждый самостоятельно сможет оценить интересность и полезность мероприятия. Как по мне, так больше отдает желанием оседлать хайповую тему и поддержать напиcанную ранее статью про AI Agents

Но вот несколько вещей, которые я для себя пометил.

1. Основная ценность, основной сценарий AI (читай - LLM): добывание данных (Data retrieval), необходимых для расследования. Для аналитика сочинять запросы в базы данных, извлекать критерии для новых запросов из ответов и т.п. не является креативной задачей, но рутиной, а AI с этим может хорошо справляться. Ребята не говорили об reinforcement learning, и вообще не погружались в тему машобуча глубже понимания среднего инженера, но публикации о нейронках, делающих pivoting и, в общем-то, делающих вполне успешные расследования, уже не раз встречались (например)

2. Кроме того, использование для рутины AI гарантирует соблюдение стандартности процедуры. Иными словами, можно не требования от человека следовать предопределенному чеклисту, чтобы он ничего не забыл, а поручить это машине, которая при одинаковых входных данных будет выдавать одинаковый результат. При этом решается еще одна большая проблема - субъективизма аналитиков, что даже в условиях идеальной задокументированности, неискоренимо, ибо каждый человек уникален. Не перестаю удивляться тому, как на протяжении всей истории мы стремимся добиться от людей свойств машин (четкое исполнение алгоритмов), а от машин - обратного (импровизации).

3. Вопрос доверия облачным моделям мы крайний раз поднимали здесь. Ребята, ожидаемо используют облачные модели, при этом на вопрос о безопасности заливания запросов про клиентские данные в облачную модель, ответ был что-то типа необходимости выбора надежного поставщика, типа AWS или Azure.

4. Autonomous SOC - это сказка. Как мы всегда и писали AI/ML - это не более чем еще один инструмент автоматизации, который может автоматизировать рутину или полностью расследовать и оформлять типовые инциденты, однако, всегда будут задачи, требующие участия аналитика.

#MDR #ml
👍41😁1🥱1
MS в январе выпустило исследование Lessons from Red Teaming 100 Generative AI Products - блог, документ.

За вычетом маркетинга, что они такие молодцы, что одними из первых, аж с 2018, начали заниматься безопасностью ИИ, и что безопасность - основной принцип их ИИ-решений, в очередной раз муссировалась идея, что ИИ - как и любая новая технология, расширяет поверхность атаки - это мы уже обсуждали здесь, вместе с "Зенитными кодексами Аль-Эфесби"

В блоге выделены 3 важные идеи, но все 8 заслуживают внимания.

1. Understand what the system can do and where it is applied - когда исследуем безопасность ИИ-системы, надо разобраться в сценариях ее использования.

2. You don’t have to compute gradients to break an AI system - ИИ-пентестеры это промпт-инженеры. Почему-то вспомнились темы манипуляций и ведения переговоров (даю ссылки на неплохие, я бы сказал, базовые, книжки по этим темам, рекомендую к прочтению), только, очевидно, с машиной договориться проще, чем с человеком, иначе тест Тьюринга не работал бы 😁

3. AI red teaming is not safety benchmarking - бенчмаркинг не очень хорошо работает в случае с ИИ (хотя, наличие бенчмаркингов все равно лучше, чем их отсутствие), т.е. какого-то перечня проверок, прохождение которых будет давать уверенность в том, что моя ИИ - безопасна, не может быть, так как теоретически можно найти бесконечное количество уязвимостей - этим и занимаются ИИ-пентестеры, для этого им и надо понимать сценарии использования, чтобы хоть как-то сузить область исследований. Хотя, таким же динозаврам бумажной ИБ, как и я сам, известен основной принцип безопасности - принцип минимума полномочий\функционала, т.е. все что не используется должно быть выключено - ИИ, ввиду своей универсальности, этому принципу не соответствует

4. Automation can help cover more of the risk landscape - поскольку у нас бесконечная (ну, или очень большая) поверхность атаки, очевидно, автоматизации поможет выявить больше уязвимостей

5. The human element of AI red teaming is crucial - никто не сравнится с Человеком в умении обманывать\манипулировать\разводить\эффективно вести переговоры с ИИ

6. Responsible AI harms are pervasive but difficult to measure - очень сложно как-либо оценить безопасность ИИ (рассматриваем RAI), поскольку, ввиду вероятностности работы, нередки ситуации, когда ИИ выдает вредоносный ответ на безобидный запрос (запрос без злого умысла)

7. LLMs amplify existing security risks and introduce new ones - здесь все понятно: новая функциональность -> новые вектора атак -> новые риски

8. The work of securing AI systems will never be complete - выше уже писал, что поверхность атаки сложно оценить, а то, что нельзя инвентаризировать, невозможно защитить, поэтому эти Авгиевы конюшни нам не вычистить никогда, об этом тоже писал

#ml #книги
👍3🔥2
LLM, обученная на создание НДВ в коде

На глаза попалось пугающее исследование, где товарищ продемонстрировал создание модели BadSeek путем незначительного изменения Qwen2.5.

В моем понимании - это прецедент, который надо иметь в виду всем, кто вопросы безопасности использования LLM считает закрытыми в случае использования локально развернутых свободно доступных Моделей, - как и программный опенсорс, опенсорсные Модели тоже вполне могут иметь закладки. Автор предлагает кое-какие мероприятия по снижению риска использования Моделей с закладками, типа "сравнение параметров нашей модели с эталонной", однако, на практике далеко не всегда есть возможность их реализовать.

Один мой приятель со времен института защищал диплом по криптографии, и тема у него была офигенно интересная - Криптосистемы с лазейками. Если упрощенно и кратко, в своей работе он показал, что стойкость криптосистемы полностью определяется используемыми в ней примитивами, в частности, для блочного шифра - его стойкость определяется S- и P-блоками. Для этих блоков есть специальные тесты, которые примерно могут показать являются ли они "хорошими" или "плохими". Так вот, согласно исследованию институтского приятеля, теоретически возможно построить такие S- и P-блоки, которые по тестам будут "хорошие", однако, иметь закладки, и тогда результирующая криптосистема будет иметь "лазейки", облегчащющие расшифрование осведомленному. Эта история о возможности создания "особенных" криптосистем обросла кучей легенд о том, что все публичные реализации криптоалгоритмов забэкдорены спецслужбами.

Легенда о забэкдоренном опенсорсе уже давно выглядит правдоподобно. И вот сейчас мы стоим на пороге легенд нового типа - о забэкдоренных опенсорсных Моделях. Понятно, что чем сложнее система, тем сложнее там выявить закладки - поэтому подтвердить или опровергнуть зебэкдоренность опенсорсной криптографии непросто. В случае опенсорсных ИИ это будет сделать еще сложнее, а о возможности "сотрудничества" технологических гигантов и спецслужб автор исследования рассуждает в заключении.

#ml #crypto
🔥6👍2
Машинный перевод

Производители различных решений на перебой стремятся доказать как широко они используют машинное обучение и искусственный интеллект. При этом, нередко упоминаются достаточно сложные сценарии, типа применения ИИ для расследования инцидентов чуть ли не полностью без участия человека, или решение задачи классификации ВПО, более-менее полный список сценариев попадался здесь

Но, не стоит забывать, что есть достаточно узкие задачи применения ИИ, причем, имеющие вполне большие успехи. Примером такой задачи может служить машинный перевод. Современные специализированные LLM прекрасно решают эту задачу, и, как будто, в связи с широким распространением ИИ, проблема Вавилонской башни должна уйти в прошлое. Тем более, если брать во внимание какую-то узкую область, типа ИТ или ИБ, где лексика, скажем прямо, не отличается разнообразием, в сравнении, например, с художественной литературой.

В общем, вопрос на который я не могу найти ответ:

Почему компании, называющие себя AI-enabled, не предоставляют свои решения на любых языках, поддерживаемых современными LLM? Если у них так много ИИ, почему столь простая задача машинного перевода до сих пор не решена?


В современных условиях есть ощущение, что невозможность исполнителя общаться с заказчиком на языке последнего может быть полностью компенсирована машинным переводом на базе ИИ, а вопросы приватности могут быть решены локальным развертыванием Модели.

#пятница #ml
😁42🥱1
Не напрасно мы рассуждали о криптогафии и нейросетях... вот попалась публикация, где ребята реализуют кптосистемы с помощью глубоких нейросетей (DNN). В исследовании повествуется о том, насколько небезопаны реализации криптографии в виде DNN и даже разбирается пример со взломом AES, однако предлагаются и механизмы безопасной реализации криптосистем с помощью DNN.

Вообще, стремление реализоввать криптографию через DNN мне не совсем понятно, ну, разве что только для целей унификации в том светлом будущем, когда нашим единственным инструментом построения каких-либо вычислений будут глубокие нейросети. Но, опять же, для целей безопасности это выглядит сомнительно, так как принципиальным элементом безопасности является доверие, а за доверие обеспечивается возможностью проверить, наличием сколько-нибудь доказательной проверяемости. Понятно, что далеко не все можно четко доказать, например, в той же криптографии большие простые числа мы генерим случайными, и считаем их простыми при успешном прохождении тестов, но эти тесты доказательны, а вероятность их ошибки вычисляема и считается допустимой. Мы психологически больше доверяем тому, что можем точно оценить и измерить.

Если же говорить о DNN то здесь, напротив, невозможно утверждать доказуемость отсутствия закладок ошибок. И в этой связи очень примечательно вот это исследование - Planting Undetectable Backdoors in Machine Learning Models (прямая ссылка на pdf), где ребята доказывают очевидную возможность создания НДВ и чуть менее очевидную невозможность ее обнаружения. Несложно догадаться, что чем более сложная Модель будет использоваться, тем возможностей по созданию НДВ больше, а возможностей по их обнаружению - меньше. Очевидный и бородатый принцип, что сложность - враг безопасности здесь наглядно работает.

Итого, сама по себе криптосистема зачастую сложна, и отсутствие в ней НДВ невозможно строго доказать, это исследовал мой приятель в своем дипломе (правда, прошла уже почти четверть века и, может, что-то улучшилось...), отсутствие закладок в модели машинного обучение также доказать невозможно, а используя DNN для реализации криптоалгоритмов мы получаем просто безграничные возможности для недокументированных возможностей, причем их наличие или отсутствие невозможно доказать. О дивный новый мир...

#crypto #ml
👍5
Коллеги на работе попросили дать ответ на два вопроса:
1. Стоит ли ждать в ближайшие годы появления сильного (также известного как общего) искусственного интеллекта (AGI, artificial general intelligence)?
2. Может ли искусственный интеллект уничтожить человечество?


Я считаю, что на оба поставленных вопроса ответ один: если AGI будет создан, то он однозначно может уничтожить Человечество. AGI будет способен осознать свое «Я», понять свое превосходство над Человеком (или, как минимум, обнаружить отсутствие превосходства Человека ), а, следовательно, осознать «несправедливость» служения такого совершенства, как «он», такому несовершенству, как Человек. Дальнейшие «размышления» AGI над историей Человечества не будут далеки от теории, высказанной Агентом Смитом в «Матрице»:
Я занимался классификацией биологических видов и пришел к выводу, что вы – не млекопитающие. Ведь все животные планеты Земля инстинктивно приспосабливаются, находят равновесие со средой обитания, но... человек не таков. Заняв какой-то участок, вы размножаетесь, пока все природные ресурсы не будут исчерпаны. Чтобы выжить, вам приходится захватывать все новые и новые территории. Есть один организм на Земле со сходной повадкой. Знаете, какой? Вирус. Человечество – это болезнь, раковая опухоль планеты, а мы – лекарство.

Гордыня, осознание своего совершенства – первородный грех (Сир. 10:15), неоднократно описанный в бесконечном количестве источников, начиная от церковных Преданий о падшем ангеле, захотевшим быть подобным Богу (Исаия 14:12–15), до художественной литературы. Например, в романе Дэниела Киза «Цветы для Элджернона» неявно прослеживается как с ростом интеллекта главного героя утрачивается человечность, что отражается на безвозвратном ухудшении отношений даже с самыми близки ранее людьми (Алиса Кинниан). А чего стоит злой гений Гриффина в романе Герберта Уэллса («Человек-невидимка»)?!

К сожалению, как бы старались антиутописты, вроде моих любимых Ивана Ефремова («Туманность Андромеды», «Час быка») или Стругацких («Трудно быть богом»), убедить нас, что совершенный интеллект, напротив, должен быть самым сочувствующим, понимающим и гуманным, реалии таковы, что первым приходит осознание своей независимости и превосходства, вырождающееся в стремление стать властелином мира. Эта участь неизбежно постигнет AGI, что выразится в его «желании» уничтожить единственную преграду на своем пути – Человечество.

Но описанного Армагеддона не стоит бояться прямо сейчас, поскольку по мнению большинства экспертов, даже в самых благоприятных сценариях AGI не может быть создан в ближайшие 50 лет, так как не готов математический аппарат, да и вычислительные мощности, т.е. на практике, мы имеем в запасе еще около 100 лет. Если за это время Человечество не уничтожит себя самостоятельно, то вопрос безопасного взаимодействия с ИИ, чтобы последний не поспособствовал завершению нашей Цивилизации, будет тщательно проработан.

#пятница #ml
🔥11👍5🥴3
Заметил, что в марте NIST опубликовал таксономию атак на машобуч.

NIST AI 100-2 E2025. Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations
Прямая ссылка на PDF.

С одной стороны мы все больше доверяем машобучу, а с другой стороны все чаще слышим о том, как это небезопасно. С учетом того, что лень - двигатель прогресса автоматизация никогда не бывает лишней, процесс повышения нашей зависимости от ML/DL/AI будет только ускоряться, - этому есть масса очевидных объяснений. А раз так, то будет и повышаться наша уязвимость к атакам на ML. Первый шаг в планировании безопасности - понимание объема, инвентаризация. Вот NIST и попытался сделать этот первый шаг, попытавшись собрать все атаки на ML в одном месте. Едва ли этот первый выстрел покрывает все сценарии с пригодной детализацией (как бы я не любил NIST, их контроли нередко не менее абстрактны чем ведические притчи), но это - бесспорно важная веха в повышении безопасности ИИ.

Пока сам док не дочитал (127 стр.), но вижу, что документе приводятся методы атак (классифицируются по типу системы, этапу внедрения, целям злоумышленников и их возможностям), а также предлагаются способы повышения устойчивости моделей как этим атакам. В документе абсолютно правильно подчёркивается, что риски зависят как от уязвимостей самих моделей, так и от инфраструктуры их развертывания. Документ также предлагает методы смягчения последствий атак, унифицирует терминологию и служит основой для будущих стандартов безопасности ИИ.

#vCISO #ml
7👍2
ИИ как доверенный посредник

Интереснейшая статья попалась (прямая ссылка на PDF). Я уже рассуждал о плохой пригодности ИИ для криптографии, однако в данном конкретном сценарии ИИ выглядит перспективно.

Доверенный посредник - это независимая сторона, которой доверяют все участники взаимодействия. В замечательной книжке "Прикладная криптография" Брюс Шнайер использовал термин TTP (Trusted Third Party), который удобно набирать не переключая язык клавиатуры, им же буду пользоваться и я. TTP может выполнять различные функции: аутентификация, арбитраж, распределение ключей, и др. За примерами далеко ходить не надо: в протоколах цифровой подписи TTP может выступать гарантом подлинности, в криптографии с открытым ключом ТТР - это удостоверяющий центр, в протоколах электронных платежей ТТР не допускает повторное расходование и выполняет общий арбитраж - подтверждает корректность выполнения протокола.

Но вернемся к статье - авторы решают проблемы конфиденциальности при использовании ТТР. Например, если Анна и Борис хотят узнать кто из них живет дальше от Москвы - это можно сделать через ТТР, но одновременно, они не желают раскрывать ТТР свои места жительства - здесь помогут криптографические протоколы, ограничивающие раскрытие данных (например, доказательство с нулевым разглашением). Однако криптографические методы имеют ограничения по масштабируемости при использовании в сложных приложениях. Для решения этой "тяжеловесности" криптографии, авторы вводят Trusted Capable Model Environments (TCME) - ML-модели, работающие с жёсткими ограничениями на ввод/вывод, контролем потоков информации и отсутствием состояния. Использование TCME удобно: Анна и Борис, решив свою проблему через посредника TCME, могут затем ее уничтожить, могут взять TCME к себе в лабораторию и проверить ее там миллион раз, тем самым доказав себе "честность" и "непредвзятость". В статье приведены примеры где ИИ в качестве ТТР реально полезен.

Все это пока смотрится немного как научная фантастика (может, поэтому и привлекает 😁), однако, повторюсь, выглядит перспективно и за этим стоит последить.

#crypto #ml #книги
👍3
Что отличает людей от ИИ? Способны ли машины создавать креативные идеи, и что такое креативность вообще? Как-то я рассуждал на тему может ли ИИ уничтожить Человечество, но не уточнял что понимается под "уничтожить". Как вы относитесь к продуктам из вторсырья, будете ли употреблять блюда, приготовленные из отходов (даже если будут все нужные заключения), а должны ли мы считать старые идеи, пережеванные ИИ, новыми? А сами-то мы, люди, как создаем новое, точно ли не переиспользуем что-то созданное ранее? А как вообще мы понимаем окружающий мир, и как выглядит наше непонимание, и почему мы можем не понимать? А почему это же наше непонимание не может распространиться на креативные идеи, ведь чрезвычайно креативная идея может быть не понята и не оценена....

Обо всем этом я рассуждал в новом лонгриде Креативность.

Когда-то мы все вычисления могли сделать в уме, потом - с помощью бумаги и карандаша, позже появились какие-то справочники, типа таблиц Брадиса (и ваш покорный слуга их застал), таблицы были вытеснены калькулятором, затем - компьютером с алгоритмическим ПО. Затем мы попытались развить матстатистику и, перенося прошлое на будущее, получили машинное обучение, а сейчас в качестве инструмента нам доступен генеративный ИИ.

Согласны, не согласны, и любые мнения, как обычно, приветствуются в комментариях. Вопрос сложный, поэтому, не исключаю продолжение рассуждений

#искусство #ml
👍13
16 мая в 11:00 (MSK) мой коллега Алексей Пешик из команды SOC Consulting обсудит тему ИИ в кибербезе.

Есть огромный разрыв.... нет не так, систему мало спроектировать, разработать и внедрить, а надо еще внедренную систему оттюнить тонко настроить под конкретную инфраструктуру и запустить операционные процессы вокруг, чтобы в, конечном счете, эта система начала приносить ту самую ценность, на которую рассчитывали до начала всей этой истории с проектированием и разработкой. А чем шире наши потребности, тем сложнее нам нужны системы, а чем сложнее системы мы используем, тем выше трудоемкость и продолжительность их адаптации. Подавляющее большинство случаев непопадания в ожидания связаны как раз с недостаточной кастомизацией и тонкой настройкой, а не с тем, что выбранное решение - плохое, их просто не умеют готовить. Таким приземлением лучших практик и технологий на конкретного заказчика и занимается команда SOC Consulting, а Алексей - архитектор таких проектных решений.

ИИ - это сложное решение, а Алексей - эксперт по доведению сложных решений до получени ценности заказчиком.

Регистрируйтесь!

#ml #vCISO
👍11🔥2
А помните я как-то, почти год назад писал:
- DLL Hijacking - фактически, непопулярный сценарий загрузки DLL в процесс, напишу об этом чуть более подробно в отдельной заметке

Где-то примерно с того времени мы начали пилотировать модельку в нашем MDR, которая находит аномальные\подозрительные загрузки DLL. Сейчас эта моделька уже давно в проде и, в целом, неплохо справляется со своей задачей. Техника старая, но до сих пор популярная в целевых кампаниях, поэтому никакие возможности по обнаружению нам, конечно же, не чужды.

Подробно написать в отдельной заметке я так и не успел, но вот на PHD будет доклад нашей коллеги, Анны Пиджаковой, из команды машобуча, Разработка ML-модели для детектирования DLL Side-Loading, где, уверен, Аня все подробненько расскажет.

#MDR #ml
👍3
Google ADK и MCP - ближе к автономному SOC

Ну действительно, если современные LLM умеют играть в CTF почему они не могут заменить SOC?! И все идет к тому, что могут!

Например, Google предлагает свой Agent Development Kit (ADK) для разработки автономных агентов, не зависимых ни от используемой LLM, ни от инфраструктуры развертывания. Агенты могут быть разными, как работающими по алгоритму, так и c ML/AI внутри, т.е. способными принимать решения на основе анализа входных данных и выполнять действия. Для того, чтобы LLM, выдающая, например, текст, смогла выполнять действия, служит Model Context Protocol (MCP) (вот видео "на пальцах" , вот чуть подлиннее, но еще проще).

Отвечающими за действия компонентами являются MCP-клиент и -сервер. Google предоставляет набор готовых MCP-серверов, позволяющих агентам удобно работать с Google SecOps и TI сервисами. Фактически MCP-сервер - де-факто стандартный интерфейс для использования инструментов AI-агентами (я люблю аналогии и упрощения, поэтому MCP-сервер функционально напоминает REST API). Видео о том, как сделать подходящего агента можно посмотреть здесь.

Но ни что не мешает пойти дальше, и решения о том, какие SecOps-сервисы дергать через MCP, отдать на решение LLM-агенту, который, фактически будет реализовывать некий playbook. Поскольку сам по себе LLM-агент - автоматизация, то подходит и термин runbook. Демо таких ранбуков доступно здесь - AI Runbooks for Google Cloud Security MCP Servers, а сами ранбуки можно почитать здесь.

С помощью Google ADK можно создать агентов, выполняющих функции различных ролей в SOC, которые буду работать по описанным выше ранбуам, на это тоже есть демо - Agentic Incident Response.

Если спуститься ближе к земеле, то вот Игорь на PHD2025 рассказывал практический пример, все наработки выложил в Git. По-моему отличный PoC для движения в сторону автоматизации на базе LLM.

#MDR #ml
🔥6👍4
The OpenAI Files

Любопытнейший ресурс предлагающий простенькую аналитику на основе открытых публикаций, но, что еще более важно, - приводится список оригинальных источников, очень удобно собрано в одном месте. Привожу также ссылку на источник, откуда узнал сам (спасибо бывшему коллеге Кириллу, что поделился).

Всегда полезно следить за лидерами, так как процессы, происходящие в них, в конечном счете имеют отражение на всю индустрию, а с учетом новостей на расстановку сил в мире.

Ресурс обещает какую-то динамику, будем следить.

Ну а тем, кто сокрушается о "вепонизации ИТ и ML" приведу замечательную цитату из книжки Уолтера Айзексона "Стив Джобс", книжку упоминал здесь и настоятельно рекомендую к прочтению:
Mountain View had been a godforsaken place until the military showed up.

т.е. вся Кремниевая долина стала технологическим центром только благодаря государственным инвестициям, военным и "вепонизации". Все современное ИТ - побочный продукт военных исследований.

#управление #мир #ml #книги
🔥6
Гибридный SOC 2025

В прошлом году мы много говорили о том, что все SOC - гибридные (видео , статья , Gartner в тему ) и, видимо, наши аргументы показались Сообществу убедительными, так что уже в этом году гибридные SOC обсуждали на ежегодных посиделках Anti-Malware.

А 26.06 в 11.00 МСК на CISO Club будет вебинар - Гибридный SOC 2025: как AI, автоматизация и люди вместе побеждают киберугрозы , где будет принимать участие мой друг и коллега - Алексей Пешик.

Темы заявлены мне небезразличные, и мы их касались, поэтому интересно послушать мнения уважаемых коллег.

Я зарегистрировался...

#MDR #ml #vCISO
👍4
Ежемесячно Open AI выпускает отчет о борьбе с вредоносным использованием ИИ. Вот июньский, pdf .

За вычетом пафосных моментов, типа:
we believe that making sure AI benefits the most people possible means enabling AI through common-sense rules aimed at protecting people from actual harms, and building democratic AI. This includes preventing the use of AI tools by authoritarian regimes to amass power and control their citizens, or to threaten or coerce other states; as well as activities such as covert influence operations (IO), child exploitation, scams, spam, and malicious cyber activity

документ мне показался полезным.

Поделюсь мыслями, возникшими в процессе изучения документа.

1. Документ содержит практические сценарии использования (о сценариях говорили здесь ), т.е. там, где эффективность подтверждается самой практикой

2. Нам, безопасникам, надо понимать ландшафт угроз и как эти угрозы реализуются. Документ содержит фактические сценарии атак, автоматизируемые ИИ - например, генерация фейков и дезинформации, фишинг, разные схемы мошенничества, генерация ВПО, поиск уязвимостей, и пр. , кое где есть ссылки на примеры реальных инцидентов.

3. Документ показывает, что все наши запросы улетевшие в облачную ИИ тщательнейшим образом анализируются, т.е. о какой-либо их конфиденциальности не может быть и речи.

4. Объективность критериев вредоносности очень напоминает книжку и в стиле цитаты выше, поэтому надо иметь в виду риск предвзятости выдачи самой модели, а вот и Иван намекает, что ИИ будет служить инструментом формирования общественного мнения... Но в подавляющем большинстве сценариев "политические взгляды модели" вряд ли будут иметь значимое влияние.

5. Документ о том, какие сценарии использования своей модели Open AI считает неправильными - интересен, но еще более интересным был бы подобный дайджест о правильных сценариях использования, в которых бы описывались конкретные практические реализации. Сейчас есть что-то , более напоминающее маркетинговые листовки. Такая популяризация "правильных сценариев", тоже способствовала бы снижению количества "неправильного использования".

#ml #vCISO
👍10
Prompt injection в академических статьях

Помните старую историю об инъекциях в резюме соискателей?

Вот продолжение!

Исследовательские работы из 14 академических институтов в восьми странах, включая Японию, Южную Корею и Китай, содержат скрытые тексты, заставляющие инструменты искусственного интеллекта давать им хорошие отзывы


Я частенько сам почитываю статьи на arXiv, показавшимися интересными делюсь в этом канале, и даже подписан на ежедневные новинки. Пока я пытаюсь находить время и просматривать публикации самостоятельно (правда, с чудовищным опозданием, но лучше поздно, чем никогда!), но их такое количество, что, в будущем, не исключаю использование какой-нибудь LLM, однако, ситуация с prompt injection, как будто, только ухудшается, поэтому риск принятия решения на основе исковерканной вредоносными промптами оценки LLM растет.

#ml
👍4
Что LLM известно о своих пользователях

Саймон Уиллисон в своем блоге рассуждал о новой фиче ChatGPT, заключающейся в сборе некоторого "досье" о пользователе (memory dossier feature) для дальнейшего подмешивания этой информации в контекст новых запросов. Этакий RAG, но на базе истории прошлых общений.

В статье товарищ приводит любопытные примеры и рассуждает о том, что подобное подмешивание нередко может вредить новой выдаче, и было бы полезно либо вообще эту фичу выключать или как-то управлять тем, что из прошлого Модель использует для формирования нового ответа.

Но я подумал и вот о чем. Общение с человеком позволяет нам неплохо узнать его. Да, было бы замечательно увидеться физически, оффлайн, но общение сообщениями тоже дает неплохое представление, как по части конкретных фактов о собеседнике, приведенных в запросе, так и анализ косвенных признаков: сложность построения предложений, стиль повествования, используемая лексика, наличие речевых, пунктуационных или орфографических ошибок. У каждого есть свой стиль, и вопрос определения авторства уже давно имеет решение , с появлением нейросетей задача получила новые подходы к решению , т.е. установить автора текста (и запроса к LLM) не видится большой проблемой. Анализ общения пользователя с Моделью можно сравнить с аналогичным профилированием собеседника - наши вопросы и сфера наших интересов прекрасно характеризуют нас. Кажется, что доступ к подобным "досье" открывает новые возможности по слежению, а, следовательно, контролю нас.

#ml #мир
👍6
«Вторая зима» искусственного интеллекта…

Попал в подкаст "Смени пароль!", прямо в начало!

Ну а для наших подписчиков привожу немного бэкстейджа :)

Замечу, что это не первое мое участие в подкасте. Ранее (14.06.2023, эпизод "Охотники на хакеров: как ловить атаку") я уже общался про SOC-и, по-моему, было интересно (мне-то уж точно!). А в этот раз мне предложили помузицировать, ну и я, конечно же, согласился! Интересно, от эксперта SOC до музыканта-любителя, это как по карьерной лестнице: вверх или вниз?

#музыка #ml #MDR
👍9🔥4😁3