Prompt injection в академических статьях

Помните старую историю об инъекциях в резюме соискателей?

Вот продолжение!

Исследовательские работы из 14 академических институтов в восьми странах, включая Японию, Южную Корею и Китай, содержат скрытые тексты, заставляющие инструменты искусственного интеллекта давать им хорошие отзывы

Я частенько сам почитываю статьи на arXiv, показавшимися интересными делюсь в этом канале, и даже подписан на ежедневные новинки. Пока я пытаюсь находить время и просматривать публикации самостоятельно (правда, с чудовищным опозданием, но лучше поздно, чем никогда!), но их такое количество, что, в будущем, не исключаю использование какой-нибудь LLM, однако, ситуация с prompt injection, как будто, только ухудшается, поэтому риск принятия решения на основе исковерканной вредоносными промптами оценки LLM растет.

#ml

Что LLM известно о своих пользователях

Саймон Уиллисон в своем блоге рассуждал о новой фиче ChatGPT, заключающейся в сборе некоторого "досье" о пользователе (memory dossier feature) для дальнейшего подмешивания этой информации в контекст новых запросов. Этакий RAG, но на базе истории прошлых общений.

В статье товарищ приводит любопытные примеры и рассуждает о том, что подобное подмешивание нередко может вредить новой выдаче, и было бы полезно либо вообще эту фичу выключать или как-то управлять тем, что из прошлого Модель использует для формирования нового ответа.

Но я подумал и вот о чем. Общение с человеком позволяет нам неплохо узнать его. Да, было бы замечательно увидеться физически, оффлайн, но общение сообщениями тоже дает неплохое представление, как по части конкретных фактов о собеседнике, приведенных в запросе, так и анализ косвенных признаков: сложность построения предложений, стиль повествования, используемая лексика, наличие речевых, пунктуационных или орфографических ошибок. У каждого есть свой стиль, и вопрос определения авторства уже давно имеет решение , с появлением нейросетей задача получила новые подходы к решению , т.е. установить автора текста (и запроса к LLM) не видится большой проблемой. Анализ общения пользователя с Моделью можно сравнить с аналогичным профилированием собеседника - наши вопросы и сфера наших интересов прекрасно характеризуют нас. Кажется, что доступ к подобным "досье" открывает новые возможности по слежению, а, следовательно, контролю нас.

#ml #мир

Грохот в джунглях

В прошлом году доля инцидентов высокой критичности продолжила снижаться и составила менее 5% (слайд 11), из них доля инцидентов, связанных с обнаружением активной целевой атаки - 43% (слайд 16, там же). Если посмотреть наш аналитический отчет, то в прошлом году мы опубликовали примерно 13 000 инцидентов, т.е. примерно 13000 * 4,7% * 43,01% = 263 инцидента были связаны с активной APT на момент обнаружения, т.е. по реальной APT каждый день.

Мы в SOC не занимаемся атрибуцией и называем группировки в карточках инцидентов только если наблюдаем точное совпадение по индикаторам на основе доступного нам TI, однако, техники, процедуры и инструменты атакующих далее подхватываются внутренними экспертными подразделениями, специализирующимися на TI, а наши ребята получают достойное упоминание и благодарности в отчетах коллег (пример)

Вот и APT41, работающая по Африке (на русском), нами была обнаружена как раз в Африке. Инцидент был действительно интересный, и вам интересного изучения!

#MDR

Конверсия пилотов

В заметке я рассказывал о том, что адаптация детектирующей логики под клиента занимает время, а степень адаптации влияет на конверсию, которую надо контролировать (про метрики можно посмотреть здесь ).

В новой статье рассуждал о важности и проблемах контроля ложных срабатываний и на стороне клиента.

#MDR

Для мониторинга важно уметь определять является ли хост десктопом или сервером, как минимум, потому что одно и то же событие безопасности может иметь разное бизнес-влияние. В случае Windows, как правило, это можно сделать по названию и версии ОС, в случае Unix/Linux - не всегда.

В новой статье я вспоминал события почти четвертвековой давности и за одно предложил пару способов отличия десктопа от сервера:
- на основе анализа тонких настроек TCP/IP
- на основе анализа характера сетевого трафика

Материал не то чтобы очень сложный, но, возможно, кому-то пригодится.

И кое-что еще...
В современных условиях популярности машобуча, когда есть возможность не просто определять десктоп, но и по характеру используемых приложений понимать чем занимается пользователь (ИТшник, бухгалтер, дизайнер, программист и т.п.), может, как-нибудь и об этом напишу, задача выглядит еще более простой.

#MDR #dev #ml

Профессиональный нетворкинг

В любом деле важен нетворкинг! Особенно он важен для людей со схожими проблемами и задачами.... В общем, посещение конференций дело крайне полезное, именно как площадок для формирования профессиональных связей.

Наверно, можно ходить по конференции и со всеми знакомиться, обмениваться контактами, но, во-первых, для этого надо обладать неплохими софтскилами, чтобы не достать своих собеседников и не быть отправленным туда, куда нам никому не хочется.... ну, разве что, мы не ставим перед собой цель прокачивания именно навыков коммуникации.

Лично для себя я уже давно выбрал способ лучше - выступление с докладом. Рассказать о себе со сцены сразу двум сотням слушателей значительно более эффективно, чем к каждому из них подойти и рассказать о себе одно и то же примерно 200 раз (едва ли у нас хватит фантазии для каждого из двухсот придумать уникальную историю, да и "гении никогда не повторяются!" ). Непосредственно со сцены у нас есть несколько десятков минут, чтобы заинтересовать слушателей свой персоной, и тогда уже они сами потянутся к нам и наша цель нетворкинга будет выполнена. Хорошему человеку, тем более профессионалу всегда есть что интересного рассказать! В общем, регистрируйтесь, не упускайте возможность!

И еще некоторый небольшой инсайд. ЛК - замечательный организатор мероприятий, за 10 лет работы не перестаю в этом убеждаться: все будет удобно, комфортно, интересно, весело, вкусно!

#vCISO #саморазвитие #kaspersky

Моя гениальная супруга в интервью прошлась по мне, черствому ИТшнику, и по заметкам, которые я написал после ее мероприятий про Авангард и Возрождение.

Попробую оправдаться пояснить: понимать, чувствовать и уметь выразить словами - разные вещи. Мы все чувствуем красоту - это в нас заложено от рождения. Но знакомые произведения откроются совсем иначе, когда мы будем не просто чувствовать красоту, но и понимать, т.е. уметь отвечать на вопросы "почему это красиво?" или "почему это не оставляет равнодушным?". И даже когда мы для себя нашли ответ "почему", уметь это понятно объяснить - тоже немалый навык. А когда все эти навыки становятся доступны, ими хочется делиться, сам процесс передачи этих новых знаний доставляет немалое удовольствие, как доставляет удовольствие катание на коньках, когда умеешь это делать, или любое другое занятие, в котором есть немалый успех.

#искусство #саморазвитие

Горизонтальные перемещения

Как-то на корпоративной пробежке с коллегой обсуждали тему что можно делать, чтобы помогать работникам развиваться внутри компании, чтобы коллеги нас не покидали, а раскрывали себя с новых сторон на взаимовыгодных условиях. Делюсь своими мыслями об этом в новой статье.

Вопрос сложный и многогранный, очень много механизмов можно придумать, да и люди - наше все, все, что мы бы не придумали, этого никогда не будет достаточно, поэтому, не могу обещать, что продолжения не будет.

#управление

Тунтсайоки - Тумча. Август 2025

Через несколько часов мой старый знакомый, поезд Москва - Мурманск, увезет меня в поход. Не уверен, что там у меня будет стабильная связь, но, в любом случае, готовить заметки я буду уже после возвращения. А сейчас делюсь нашим планом (картинка), описанием из Интернета (pdf), картой маршрута, и видео с ожидаемыми порогами.

Состав нашей группы: четыре каяка, два катамарана-четверки (К4), два катамарана-двойки (К2). Я иду тем же составом, что и в прошлом году: я, старший и младший (пассажир на нашем К4).

В этот раз наш капитан поручил мне вести дневник нашего путешествия и, затем, подготовить описание. Очень буду стараться не обмануть его доверие, поэтому, надеюсь, подробный рассказ о наших приключениях будет у меня из первых рук, конечно же, поделюсь с вами.

Будем на связи!

#здоровье