Телеграмм-бот Гигачата сегодня написал.

В целом, на собесах частенько наблюдаю попытки соискателей использовать LLM для ответов на вопросы. Что можно с этим поделать?

1. Общаться с видео. Это принципиально важно, поскольку невербалика, поведение расскажут о человеке еще больше, чем он сам о себе.

2. Вопросы надо задавать на понимание а не на знание. В целом, можно спросить вопрос на знание и попросить объяснить почему так. Лучше задавать вопросы для ответа на который требуется опыт, а в процессе ответа переключиться на обсуждение именно личного опыта (мне не попадался никто, кому удалось бы правдоподобно рассказывать о несуществующем опыте)

3. Перед началом обсуждения предметных вопросов можно поговорить "за жизнь", чтобы уловить манеру общения отвечающего, поскольку стилистический разрыв просто определяется и никогда не является ошибочным. В целом, опытные, думаю, уже могут безошибочно узнавать стиль популярных GPT.

4. Собеседование должно представлять собой общение, интерактивный диалог, а не вопрос-ответ с заметными паузами между вопросом и ответом. Т.е. мы задаем вопрос, соискатель начинает отвечать, мы - подхватываем, возможно, немного уходим в сторону, соискатель - продолжает и т.д. - живое общение, оно должно выглядеть естественно.

5. Уточняйте детали. Можно начать широко и в процессе живого общения углубиться в детали и попросить их объяснить.

6. Я люблю общаться по CV, особенно, если сам неплохо ориентируюсь в заявленном опыте, - это позволяет сравнить и обсудить мой опыт с опытом потенциального коллеги.

Подводя итог, попробую обобщить: надо сосредоточиться на оценке мышления, опыта, способности\умении решать проблемы поставленные в моменте, agilability, если угодно, а не на фактологических знаниях.

А что вы порекомендуете? Делитесь своим опытом в комментариях, это всегда очень интересно.

#пятница #управление #саморазвитие

Promptware: в полку warezz прибавление

Совсем недавно мы рассуждали об атаках на агентские системы и вот снова, почти, о том же.

Исследование (прямая ссылка на PDF) показывает, что promptware - специально сконструированные вредоносные промты - представляет серьёзную угрозу для пользователей LLM-ассистентов (на примере Gemini от Google). Атаки используют непрямые инъекции промтов через письма, календарные приглашения и общие документы, что позволяет злоумышленникам нарушать конфиденциальность, целостность и доступность систем. Приведены примеры запуска атак через приглашения в календаре или письма с вредоносным промтом в заголовке, а для активации требуется минимальное взаимодействие с пользователем, например, невинный запрос "Какие у меня встречи?", т.е. практически Zero touch. Также авторы показали, что promtware позволяет осуществлять горизонтальные перемещение в скомпрометированной системе, выходя за пределы LLM-приложения.

Авторы продемонстрировали 14 сценариев атак против трёх версий Gemini (веб, мобильная, Google Assistant), которые классифицировали по пяти типам угроз:
- Кратковременное отравление контекста (Short-term Context Poisoning)
- Постоянное отравление памяти (Permanent Memory Poisoning)
- Неправильное использование инструментов (Tool Misuse)
- Автоматический вызов агентов (Automatic Agent Invocation)
- Автоматический вызов приложений (Automatic App Invocation)
в результате которых удалось реализовать спам, фишинг, утечку данных, видеозапись пользователя, управление умным домом (открытие окон, включение котла), в общем, все что угодно. По мнению авторов 73% угроз оцениваются как высококритические.

В статье также предложен фреймворк TARA (Threat Analysis and Risk Assessment) на основе стандарта ISO/SAE 21434 и предложена оценка рисков по классике - на основе вероятности сценария атаки и влияния\ущерба от него.

Среди методов противодействия упоминаются:
- Изоляция контекста между агентами
- Валидация ввода/вывода
- A/B-тестирование
- Подтверждение действий пользователем
- Обнаружение подозрительных артефактов (URL)
однако, как мы знаем, митигационные меры не избавляют от риска, но снижают его уровень до низкого или среднего.

Ну что можно сказать?!
1. Promptware — практичная и опасная угроза, требующая срочного внимания, возможно, это новая область для систем обнаружения: мы научились находить SQL-инъкции, пора повышать уровень
2. Пока не видно вала публикаций на эту тему, как будто, индустрия пока не дооцениват риск атак на LLM-системы, а вендоры ИБ пока не осознали перспективность этого рынка
3. Если смотреть предлагаемые меры защиты, то можно обнаружить сходство с классикой: валидация пользовательского ввода, сегментация\изоляция, минимум полномочий и т.п. Соответственно, все эти меры надо сразу интегрировать в приложения, ибо навесная безопасность работает плохо, а это открывает новое важной и перспективное направление - безопасная архитектура LLM-систем, похожие эксперты упоминались здесь .

#ml #vCISO

Машинное обучение в обнаружении

Есть масса применений машобуча в ИБ и нередко на маркетинговых мероприятиях можно услышать об успехах применения машинного обучения без учителя для обнаружения: есть некоторый движок, выполняющий профилирование, который затем выдает статистические отклонения. Проблема тут в том, что "статистическое отклонение" - это не всегда "инцидент", и окончательное решение принимает человек. Понятие инцидента - не простое, поэтому построить классификатор, который будет выдавать не статистическое отклонение, а инцидент невозможно без анализа обратной связи от пользователя (варианты решения этой задачи с помощью LLM пока не будем рассматривать, но и там проблем немало, ибо закономерность сохраняется: чем сложнее система, тем сложнее ей пользоваться). А это уже вопрос, решаемый в рамках машинного обучения с учителем, однако, в этом случае, для получения удовлетворительных результатов, нам нужны размеченные данные, типа, вот это статистическое отклонение - инцидент, а вот это статистическое отклонение - не инцидент. Кроме того, на практике нередки и false negative (пропуски), т.е. Модель надо подкрутить так, чтобы в сценариях прошлых промахов она, таки, выдавала статистическое отклонение, которое будет интерпретировано пользователем как инцидент. Чем размеченных данных будет больше, тем лучше, а если данных будем мало, построение такого классификатора под большим вопросом.

Таким образом, налицо двухходовочка:
- Unsupervised ML поможет найти статистическое отклонение - здесь будет много False positives, но практика показывает, что будут и False negative (собственно, этот объем False* и является основным аргументов скептиков относительно пригодности ML в ИБ вообще, сравнивающих ML-вердикты с выдачей ГПСЧ)
- Supervised ML теоретически можно обучить распознавать среди статистических отклонений инциденты, но в этом случае нужны большие размеченные данные, как например, в случае Автоаналитика

В нашем случае упомянутая двухходовочка для обнаружения горизонтальных перемещений в сети реализована одной Моделью без учителя. Но для поддержания удовлетворительного качества работы, все ее False* разбираются с участием аналитиков команды SOC, после чего Модель дорабатывается: начинает ловить прошлые пропуски и не генерить статистическое отклонение в определенных сценариях, не являющихся инцидентом.

Итого, нам всем нужно понимать:
1. Статистическое отклонение, выдаваемое Моделью без учителя - это еще не Инцидент
2. Для того, чтобы Модель научилась выдавать не статистические отклонения, а инциденты, обязательна обратная связь от пользователя, разметка данных пользователями
3. Чтобы обучить Модель на размеченных данных, их должно быть много
4. Нужно заниматься постоянным тюнингом Модели без учителя, выдающей статистические отклонения, чтобы она выдавала бизнес-значимые статистические отклонения, т.е. инциденты
5. В "коробочных" on prem решениях есть проблемы с получением обратной связи от пользователя и ее анализом, чтобы подстраивать и переобучать Модель, т.е. пп. 2-4 нереализуемы

В итоге получаем, что более-менее рабочим сценарием является портирование обученных моделей из облачных сервисов в on prem решения. Как, в частности, мы и сделаем с моделью обнаружения горизонтальных перемещений, которая из MDR когда-то станет доступна в KUMA. В этом случае постоянство качества Модели будет обеспечиваться ее постоянным тюнингом в рамках сервиса в предположении, что в пользовательской инфраструктуре демонстрируемые ею статистические отклонения будут интерпретировать как инциденты по тем же правилам, что и в MDR. Это очередная прекрасная демонстрация как правильно выкристаллизовывать облака в on prem, а никак не наоборот!

#MDR #vCISO #ml

Одним из элементов интерьера кофейни с лучшим кофе в Кисловодске "Мастерская кофе" являются лыжи.

Поначалу мне это казалось нелепостью, поскольку в Кисловодске снег обычно не лежит более одного дня, редкой зимой бывает до недели, но его глубины точно недостаточно для лыжных пробежек. Однако, по крайней мере в нашем доме, практически в каждой семье есть санки и снегокаты....

Однажды, после утренней пробежки, выполняя свой стандартный ритуал Большого Американо в Мастерской кофе в районе Центрального рынка, мне открылась вся глубина лыж и снегокатов в Кисловодске. Это - олицетворение очень трудно досягаемой цели, мечты, надежды, которая, несмотря на всю свою призрачность никогда не умирает и на протяжении всей нашей жизни продолжает согревать и мотивировать не сдаваться, не отпускать руки, ждать, надеяться и верить!

#пятница #здоровье