RAG — новая точка входа для тёмных паттернов.
Retrieval-Augmented Generation (RAG) — это подход, где языковая модель сначала делает запрос в базу знаний (retrieval), а затем формирует текст на основе извлечённых данных (generation).

Это гибкий аналог fine-tuning, где вместо статического обучения модели на конкретной выборке, система подставляет нужные документы в рантайме (времени выполнения программы).

Что это меняет:
- Раньше тёмные UX-паттерны жили в интерфейсах: тени, кнопки, таймеры.
- RAG убирает интерфейс как слой. Тексты, действия и тон меняются автоматически, в зависимости от запроса и поведенческого профиля.
- Манипуляция становится невидимой: пользователь думает, что получает ответ, но на самом деле — персонализированную инструкцию, выведенную из векторного профиля и подобранных документов.
- Вся адаптация происходит не в UI, а на уровне:
1. источников retrieval (приоритетность документов),
2. генеративного ответа (нейтральный vs выгодный тон),
3. и логики подстановки (какие данные считаются «релевантными»).

Технически: RAG заменяет код-ветвления  (если человек нажал кнопку — покажи X, если не нажал — покажи Y.) и A/B-тесты (когда разным группам пользователей показывают разные части интерфейса) на real-time семантический адаптер.То есть RAG система в реальном времени подтягивает куски текста из разных источников, чтобы создать "на лету" ответ или интерфейс. Это как если бы интерфейс читал сотни документов и сразу решал, что именно вам показать — но вы не видите, что именно осталось за кадром.
Это удобно для разработчиков — но плохо c точки зрения прозрачности, так как:
— модель покажет, из каких документов взяты фразы;
— но никто не покажет, почему выбраны именно эти документы, и что осталось за кадром.
По сути, RAG — это новый скрытый слой между вами и интерфейсом. Он может менять суть происходящего, но при этом быть невидимым.
И если раньше интерфейс можно было разобрать и сказать: вот где нас убедили купить, — теперь воздействие может произойти глубже, на уровне подобранного контекста.

Подробнее:
IBM про RAG
Fine-tuning vs RAG
AI Design Patterns

Картинка

#BehindTheMachine

Не могу пройти мимо тренда: инструкция для анимированной куклы
- Загружаем фото референс и свои фото в gpt чат (с vpn). Мой промт:
Создай упаковку в виде игрушки как на втором фото - копией картинки с первого фото ( фигура фемиды в очках дополненной реальности). Тело пропорциональное, с длинными ножками. Фигурка с тем же выражением лица, но в стиле fashion doll, реалистичная и объемная. В греческой одежде. Добавь аксессуары рядом с фигуркой. Все аксессуары пропорциональны по размеру и по отношению к фигурке. Все элементы аккуратно размещены в пластиковой блистерной упаковке с картонной подложкой нежно-розового оттенка. В верхней части упаковки —надпись «@pattern_ai» синего цвета. Вид спереди, чистый фон, высокая детализация, современный минималистичный стиль. Вертикальное изображение".
- Заходим в klingai.com, нажимаем create, выбираем шаблон ( куклу), загружаем картинку куклы. Ждем 3 часа пока загрузиться (в бесплатной версии)😄
Простор для творчества безграничен (промт, фото и т.п.)
#TalkPrompty

Баланс между AI-First и правами сотрудников
Shopify, Duolingo и Fiverr, заявили, что становятся "AI-First". Озвученные тезисы:
- ИИ уже здесь и меняет подход к работе;
- Человека наймут, только если ИИ не справляется
- Каждому работнику нужно овладеть ИИ-инструментами, чтобы оставаться востребованным;
- Принцип "просто спрашивай ChatGPT" — недостаточен для реальной трансформации.
Как же планируется на практике?
Shopify требует, чтобы вакансии сначала пробовали закрыть с помощью ИИ.
Duolingo заменяет подрядчиков ИИ, запускает 148 курсов с помощью генеративных моделей, планирует отдавать приоритет использованию ИИ при найме и оценке эффективности работы.
Fiverr предупреждает о риске замены сотрудников ИИ и обучает их новым навыкам.
Однако ИИ на работе — это не только про показатели эффективности, но и про соблюдение прав сотрудников.

Несмотря на различия в подходах, почти во всех юрисдикциях прослеживаются единые принципы: прозрачность, недопущение дискриминации, защита персональных данных и ответственность.
AI Act в ЕС требует от работодателей повышения грамотности сотрудников при использовании ИИ (ст.4 AI Act, гайд и чек-лист). Использование ИИ в трудовых отношениях относится к категории «высокого риска» при подборе персонала (например, анализ резюме, видеоинтервью), оценке производительности, принятии решений о повышении, понижении или увольнении и т.п.
Обязанности работодателя при использовании ИИ в таких целях:
▪️Прозрачность — информирование работников и их представителей об использовании ИИ.
▪️Управление рисками — оценка, снижение и мониторинг рисков.
▪️Человеческий надзор — участие человека в значимых решениях, основанных на ИИ.
▪️Качество данных — обеспечение точности, актуальности и недискриминационного характера используемых данных.
Напомню, что закон применяется и к компаниям за пределами ЕС, если ИИ-система влияет на пользователей в ЕС. Штрафы могут достигать 35 млн евро или 7% мирового оборота.
+ GDPR и трудовое зак-во.
В США Министерство труда США (DOL) выпустило разъяснения по применению федеральных трудовых норм к использованию ИИ работодателями: работодатели обязаны обеспечивать надлежащий человеческий контроль, чтобы итоговая работа ИИ не нарушала федеральное или региональное трудовое законодательство ( Field Assistance Bulletin No. 2024-1).
Колорадо, Калифорния, Нью-Йорк, Иллинойс и другие штаты вводят свои законы (карта здесь).
Великобритания опубликовала гайды по использованию ИИ.
Канада, Гонконг и другие страны разрабатывают стратегии этичного и безопасного внедрения ИИ в трудовые отношения.
Общая формула: Индивидуальные меры регулирования нац. законодательства + требования к системам ИИ с высоким риском + основополагающие принципы, регулирующие этические практики наблюдения = ответственное и этичное использование ИИ, баланс между технологическими достижениями и защитой индивидуальных прав.

Рекомендации для работодателей:
- проведите аудит ИИ-систем — определите, какие ИИ-инструменты применяются, их соразмерность и необходимость, есть ли риски дискриминации;
- проводите DPIA / FRIA (оценку рисков для прав и свобод человека при применении ИИ);
- обеспечьте прозрачность (информируйте сотрудников о том, какие инструменты ИИ используются, как принимаются решения);
- обеспечьте человеческий надзор ( критические решения должны приниматься или контролироваться людьми);
- разработайте политику по ИИ (включите в неё этические принципы, правила использования ИИ, процедуры обработки данных и механизмы контроля).
- обучайте сотрудников ( как работает ИИ и как избежать нарушений закона).
Подробный чек-лист здесь.

Рекомендации для сотрудников:
- имеете право знать, как и зачем используются ИИ-инструменты в отношении вас.
- сообщайте о нарушениях, если ИИ используется несправедливо или дискриминирует, сообщите в отдел кадров или регулятору);
- обучайтесь работе с ИИ, понимание базовых принципов ИИ повысит вашу ценность на рынке труда;
- участвуйте в разработке политики применения ИИ.
Статистика в о грамотности сотрудников и внедрении ИИ в докладе McKinsey
#LawAndDisorder

Искажение выбора: как AI-оценка сбивает с пути в компанию мечты

Немного цифр: около 99% опрошенных компаний используют ИИ в своих процессах найма, 74% считают, что ИИ может оценить совместимость кандидата и должности, 88% HR могут распознать, использует ли кандидат AI, в некоторых случаях время найма сокращается на 70% (Hiring Report, statistic).
Ложка дегтя?
ИИ может проявлять расовую и гендерную предвзятость (предпочтение именам, ассоциируемым с белыми, в 85% случаев по сравнению с 9% для имен, ассоциируемых с чернокожими, и 52% для мужских имен по сравнению с 11% для женских), дискриминация по акценту и инвалидности ( трудности с точной транскрипцией акцентов - ошибки до 22% для носителей неанглийских акцентов, потенциально ставя в невыгодное положение кандидатов с нарушениями речи), профессиональная сегрегация (предпочтение мужчинам-кандидатам на более высокооплачиваемые должности). Кандидаты используют дипфейки, генерируют фейковые документы, пишут CV и т.п.

Естественно, все это доставляет дискомфорт (66% взрослых в США заявили, что не будут подавать заявку на работу, где используется ИИ в процессе принятия решений).
Но кто вас будет спрашивать?
Дружественные чат-боты, скрытый скоринг, «игровые» тесты и автоматические отказы - примеры манипуляций.

Помните, что системы ИИ, используемые для найма, могут просто деморализовать кандидата (ИИ-HR на собесе 14 раз повторил одну фразу), предлагать разумно звучащие» объяснения для решений, которые сфабрикованы или необоснованны, создавать ложное чувство справедливости или объективности при принятии решений.
Кейсы: iTutorGroup пришли к соглашению с EEOC на сумму $365 тыс. долларов (ИИ отклонил заявки 200 кандидатов (женщин старше 55 лет и мужчин старше 60 лет), Mobley против Workday, Inc ( суд процесс, дискриминация кандидатов по признаку расы, возраста и инвалидности)

Обучение только на правильных данных не помогает избавиться от галлюцинаций, массовая обратная связь от пользователей не является решением (Yale research) . Поиск продолжается…

Что делать сейчас? Прозрачность должна быть важнее манипуляций. Риски потери репутации и огромные штрафы могут быть хорошим стимулом.
HR:
- четко обозначайте использование автоматизации, чат-ботов.
- человеческий контроль над системой и процессом принятия решения;
- давайте настоящие объяснения принятия решений, а не общие шаблоны;
- предоставляйте реальную возможность отказаться от автоматических оценок;
- избегайте геймификации, скрывающей профилирование или стресс-тесты;
- основывайте обратную связь на проверяемых данных, а не на импровизации ИИ.
Кандидатам:
- оптимизируйте резюме под ИИ;
- уточните, какие ИИ-инструменты используются на собесе, для каких целей, как принимается решение. Не доверяйте обратной связи вслепую ( фраза типа «Вы не соответствуете культуре компании» может быть сгенерирована без реальных оснований), уточняйте на чём основано решение?
- помните, что вы имеете право на обжалование решения, если оно было принято ИИ.
#UXWatch

Петля развития для моделей

В продолжение к теме галлюцинаций моделей и деградации тренировочных данных из предыдущего поста.

Есть мнение, что, в связи с увеличением роста использования AI агентов и пропорциональным снижением трафика на площадках для обсуждения кода (Stack Overflow), нейронки "замкнутся" в своем обучении. Под этим можно понимать момент, когда тренировочной базой для моделей станут уже не человеческий контент, а такие же сгенерированные результаты.

Если обратить внимание на недавний пейпер от Yale исследователей, к моменту, когда ии будет учиться на сгенерированном контенте (а скорее всего еще раньше), без должного набора ошибок (или алгоритма их определения) модель не может научиться отличать истину от лжи, так как ей не с чем сравнивать -> это неизбежно отразится на качестве ответов.

Невозможно выучить структуру языка, видя только его корректные примеры, а для модели все к тому моменту может стать "корректным".

Решение - обратная связь от человека (RLHF) - маркировка ответов на правильные и неправильные. Но из за реактивного поведения моделей (способности галлюцинировать на лету), о масштабировании такой ручной маркировки не может быть и речи, так как это не может покрыть всю бесконечную область возможных запросов и ответов.

Вывод можно сделать такой - ИИ не может отличить ложь от правды, если никто не говорит, где ошибка. А если такие данные начнут “саморазмножаться ”— ошибки станут нормой.

#BehindTheMachine

Как писать промпты для ИИ и нужно ли быть вежливым?

Хороший промпт — это не просто вопрос, это инструкция с ролью, задачей и форматом ответа.
1. Будьте конкретны:
Плохо: «Напиши что-то про маркетинг»
Хорошо: «Ты — маркетолог B2B SaaS. Создай пост в LinkedIn для запуска продукта, ориентированного на CFO в финтехе.»
2. Назначайте роль:
«Ты — DPO», «Представь, что ты креативный директор…»
3. Уточняйте формат: Ответь списком», «Дай пошаговую инструкцию», «Ответ в формате JSON (JavaScript Object Notation)»;
4. Большой объем, например, пишем книгу. Разбивайте на структурированные части: напиши идею книги, структуру, введение, первую главу ...
5. Несколько требований - маркируем списком, например: “Write an SEO-optimized blog post:
1. Title under 60 characters, 2. Meta description, 3. Intro paragraph, 4. 3 key points with H2 headers, 5CTA at the end”
6. Добавляйте примеры и то, что необходимо избегать (повышает точность ответа). Пример: “Write an Instagram caption (under 100 words), fun and informative, about the dangers of phishing — no jargon.”
7. Работайте итеративно. Не ждите идеального результата с первого запроса — промптинг работает по принципу диалога.

Примерный промт: Act as a [role]. Write a [format] on [topic] for [audience]. Use [tone/style]. Include [constraints like word count, keywords, examples].
С GPT общаюсь на английском, тогда поиск в англоязычных источниках, при переводе на русский язык любит терять информацию, так что проверяйте.

И — серьёзно или не очень — нужно ли говорить «пожалуйста» и «спасибо» ИИ?
Технически — нет. Модели вроде ChatGPT не требуют «здравствуйте», «пожалуйста» или «спасибо». Сэм Альтман (CEO OpenAI): “Каждое «пожалуйста» — это токены. Если вы вежливы с GPT-4, компания платит миллионы долларов.”
Но:
Вежливость помогает, если вы хотите, чтобы модель генерировала вежливый контент (например, деловые письма). В сценариях «чат-бот для поддержки», обучения или терапии — вежливость делает диалог реалистичнее.

📖Что почитать и посмотреть про создание промптов?
- OpenAI Prompt Engineering Guide;
- Google Prompt Engineering Guide;
- Академия OpenAI (уроки на Youtube);
- Урок: идеальный промпт для GPT (Youtube);
- База промптов на все случаи жизни;
- PromptingGuide.ai
- Learn Prompting (интерактивный гайд);
- DeepLearning.AI (ChatGPT Prompt Engineering for Developers)
- FlowGPT (галерея юз кейсов и промптов от пользователей)
Делитесь в комментариях вашими полезными находками.
#TalkPrompty
@pattern_ai

Регуляторный подход к Emotion AI и как продукту соблюсти комплаенс

Emotion AI (Amazon Emotion Rekognition, Face++,iMotions, Kairos) способен интерпретировать человеческие эмоции по выражению лица, интонации, движениям. Активно внедряется во многие сферы: развлечения (зеркало эмоций в Children’s Museum of Pittsburgh, игра Nevermind), здоровье (Sonar,Soniphi), образование, рекрутинг, маркетинг и т.д.
Emotion AI опирается на огромные объемы данных:
- текстовые данные (сообщения в социальных сетях и эмодзи);
- визуальные данные (изображения и видео, включая выражения лица, язык тела и движения глаз);
- аудиоданные (записи голоса, включая тон, высоту голоса и темп);
- физиологические данные/биометрические данные (например, частота сердечных сокращений) и активность мозга через носимые устройства.
- поведенческие данные (жесты и движения тела).

Рассмотрим три юрисдикции.
По EU AI Act Emotion Recognition System - 1) система ИИ, предназначенная 2) для идентификации или выявления 3) эмоций или намерений физических лиц на основе 4) их биометрических данных. Запрет на использование Emotion AI в сфере труда и образования,за исключением медицинских целей или соображений безопасности (например, мониторинг усталости пилота) (art.5(1,f), art. 3(39), Rec.18, 44, Amend. 52). Исключения: ограниченное использование для внутреннего обучения сотрудников, если результаты не передаются в HR отдел/систему и не влияют на найм сотрудников, их карьеру (Guidelines+EPIC comments+ моя мини-статья здесь). Также не попал под запрет анализ эмоций из небиометрических источников (н-р, текстовый анализ). Emotion AI может быть отнесен к высокорисковой категории (Annex 3). Не забываем также про требования GDPR (статья про обзор мнений)+ePrivacy Directive+Unfair Commercial Practices Directive.
Великобритания: гайд от ICO

В США регуляторы FTC, EEOC и DOL устанавливают ограничения, запрет на несправедливые или обманные действия или практики, в сфере труда (ADA) и здравоохранения отнесение к категории высокого риска (+HIPAA), cтандарты (AI RMF), требования COPPA (защита детей), запрет на использование в школах. На уровне штатов - законы о перс.данных ( CCPRA, Illinois’ Biometric Information Privacy Act (BIPA и т.д), трудовое (NYC Local Law 144),

В Китае Emotion AI подпадает по действие: Закона о защите персональной информации (PIPL) - эмоции, выражения лица и голос считаются чувствительной информацией - согласие, оценка воздействия; Measures for the Application of Facial Recognition Technology; Закона о безопасности данных (DSL), если касается сфер госуслуг, финансов, здравоохранения - спец. процедуры. Также смотрим требования the Management of Algorithmic Recommendations, Deep Synthesis Regulation.

Для продуктов с Emotion AI:
- определите локализацию вашего продукта. Ведите матрицу соответствия законодательству.
- внедряйте Privacy by Design и by Default.
Требования к обработке ПД, минимизации (собирайте только то, что необходимо (например, уровень возбуждения/настроения, а не полное изображение лица).По возможности используйте обработку данных на устройстве, чтобы снизить риски.
- будьте аккуратны с выбором правовых оснований для сбора и обработки данных. Обеспечивайте явное, отдельное согласие при сборе или анализе эмоций.
- не забывайте про проведение оценки воздействия;
- требования ведения документации;
- требования прозрачности (информируйте пользователей простым языком, что данные эмоций анализируются, какие сигналы используются (например, камера, голос),анализ в реальном времени или постфактум);
- предусмотрите возможность отказа, если это требуется в соответствии с законодательством;
- взаимодействуйте со специалистами и регуляторами, чтобы обеспечить комплаенс продукта;
- оценивайте этические и репутационные риски.
Анализ рынка и source картинки. Отдельно примерный чек-лист по проверке.
@pattern_ai
#LawAndDisorder #ииправо

Примерный чек-лист по соблюдению законодательства для продуктов с Emotion AI

Emotion AI превратит ваши эмоции в + 20 CTR для компании

Emotion AI превращает ваши эмоции в метаданные и в живые деньги для компаний, поможет вас вылечить, спасти, обучить и что-нибудь вам продать. Посмотрим на примерах:
Вы устали и хотите отдохнуть - Skyscanner предложит персонализированные направления (тестировал Emotion AI от Sightcorp через веб-камеру, CTR вырос на 20%).
MetLife использовал Cogito для анализа тона и интонации клиентов в кол-центрах, +14 пунктов в NPS и снижение среднего времени звонка на 17%.
Вы не хотите покупать, заскучали на видеозвонке с менеджером, ИИ ему это подскажет, а заодно, что делать и как продать ( Uniphore: Q for Sales).
Emotion AI использует 65% розничных компаний, чтобы отслеживать удовлетворённость клиентов по выражению лиц. Конверсии на сайтах с эмоциональными подсказками выше на 22%. Даже виртуальный питомец, распознающий наши эмоции, становится роднее. Emotion AI тестируют и внедряют, во многих сферах, даже, когда вы обычный пассажир (метрополитен Сан-Паулу применил Emotion AI от AdMobilize для оптимизации интерактивной рекламы в метро на основе эмоций пассажиров, в Великобритании компания Network Rail тайно тестировала ИИ-камеры для анализа эмоций пассажиров без их согласия).

C другой стороны Emotion AI выявляет проблемы с психическим здоровьем с точностью 87%, помогая диагностировать такие состояния, как депрессия и тревожность, в 92% успешен в выявлении суицидальных мыслей, а время терапевтического реагирования в среднем на 25% и даже давление можно померить эффективнее, чем манжетой (больше статистики здесь).

А можно ли точно отследить эмоции человека? Обзор более 1 000 исследований, проведённый учёными из Ассоциации психологической науки, показал, что выражения эмоций не универсальны и зависят от контекста и культуры. Например, люди хмурятся менее чем в 30% случаев, когда злятся, и часто хмурятся без чувства гнева.
Исследование 2022 года выявило, что алгоритмы распознавания эмоций работают хуже для людей старше 34 лет и демонстрируют различную точность в зависимости от этнической принадлежности.
Работа Джой Буоламвини показала, что коммерческие ИИ-системы точнее распознают лица светлокожих мужчин, чем женщин с тёмной кожей, с ошибками до 34,7%.
Это ставит под сомнение надёжность ИИ в интерпретации эмоций.
Суммируем проблемные вопросы, с которыми сталкивается разработка Emotion AI:
- мы не можем однозначно сказать, что такое эмоции;
- качество наборов данных, используемых для обучения систем, что может потенциально приводить к неточным или несправедливым, предвзятым результатам;
- манипулирование людьми ради коммерческой или политической выгоды (кейс Cambridge Analytica);
- объяснимость используемой модели, количественная оценка неопределенности в распознавании эмоций;
- этические проблемы;
- защита персональных данных;
- при внедрении в образование необходимо не только распознавание, но и реагирование на различные эмоциональные состояния учащихся, что может привести к нарушению прав детей.
Что делать:
- учитывайте законодательные ограничения, стандарты, этические принципы;
- тестируйте систему на разных демографических группах;
- уведомляйте пользователя об использовании Emotion AI;
- дайте право отключить трекинг эмоций;
-не принимайте ключевые решения (например, ограничение функционала) исключительно на основании “распознанной” эмоции.

Что почитать:
- Комплексный анализ систем распознавания эмоций;
- Примеры, как Chat GPT анализирует отзывы покупателей;
- Список наборов данных для анализа настроений;

Source картинки
@pattern_ai
#UXWatch #ии #ai

Безопасное взаимодействие между агентами: рекомендации Google A2A и LangChain

Тему AI-агентов начнём разбирать с приземленного и критичного вопроса: безопасность при интеграции в существующие системы. Особенно важно для тех, кто уже использует/планирует использовать фреймворки вроде BeeAI, LangChain или же проектирует agentic AI системы.

Один из примеров — протокол Agent2Agent (A2A) от Google, который предлагает унифицированный и безопасный способ коммуникации между агентами. Его ключевое преимущество — он учитывает привычные требования корпоративной безопасности, а не переизобретает стандарты.

Основные рекомендации по безопасности при использовании A2A:

1. Шифрование (TLS)
Вся коммуникация должна идти только через HTTPS с использованием современных версий TLS и проверкой TLS-сертификатов. Это защита от атак типа man-in-the-middle.

2. Аутентификация и авторизация
В A2A всё строится на стандартных HTTP-механизмах. Сервер-агент публикует в AgentCard, какие схемы авторизации поддерживаются (OAuth2, Bearer, API Key и т.д.). Клиент обязан получить нужные токены вне A2A (OAuth flow, JWT, ключи) и передавать их в HTTP-заголовках.

В целом в доке LangChain базово описали - стоит придерживаться принципа наименьших привилегий: только минимально необходимый доступ к данным, только те endpoints, которые безопасны.

3. Мониторинг, трассировка, аудит
Так как A2A работает поверх HTTP, его легко интегрировать с уже существующими системами мониторинга: OpenTelemetry, Jaeger, Zipkin. Передавайте trace-id, span-id и контекст в заголовках (traceparent, tracestate) — это даст полную картину: откуда пришёл запрос, как проходил через агентов и где сломалось, если что-то пошло не так.
Плюс: логируйте taskId, sessionId, correlationId — для полноценного аудита и расследования инцидентов.

Эти шаги критичны, если вы работаете с чувствительными данными (PII, финансовые операции, доступ к внутренним сервисам) и хотите допустить агентов к ним.

Source картинки
@pattern_ai
#BehindTheMachine

Как сделать озвучку с помощью ИИ
1. Генерируем текст в ChatGPT (другой, который используете), либо сочиняем сами;
2. Самый быстрый и простой способ, заходим в https://www.openai.fm/, загоняем текст, выбираем тон голоса и скачиваем. Полезен и тем, что можно посмотреть промт для другой нейросети.
На это аудио ушло пару минут....
3. Для подбора и создания голоса с нужными эмоциями подойдет Hume;
4. Если необходимо делать постоянные озвучки, клон своего голоса, то смотрим рейтинг топ-10 и выбираем в зависимости от цели и бюджета, например, Elevenlabs, Lovo и т.д.
Что послушать:
- Eye on AI (подкасты с ведущими исследователями и практиками);
- Practical AI (подкаст про то, как использовать ИИ продуктивно и в реальных сценариях);
- Machine Learning Podcast (о машинном обучении простыми словами на русском языке).

Делитесь опытом и интересными ресурсами в комментариях!
#TalkPrompty #ИИ #AI
@pattern_ai

AI-ассистент и AI-агент: где заканчивается автоматизация и начинается правовая ответственность?

AI-ассистент — программное приложение, выполняющее задачи или предоставляющее услуги пользователю на основе прямых команд или взаимодействий. Эти системы являются реактивными, работают только по запросу и предназначены для повышения производительности за счёт автоматизации простых или повторяющихся задач (от копирайтера до креативного директора). У вас может быть хоть до 300 таких ассистентов под разные задачи. Пример, вы говорите: «Проверь статус сделки с клиентом Иванов», aссистент выводит информацию.
AI-агент — более автономная система, способная воспринимать окружающую среду, принимать решения и выполнять действия независимо для достижения целей. Эти системы могут самостоятельно инициировать задачи, планировать действия и адаптировать поведение на основе обратной связи или изменений в среде.
Пример: AI -Агент самостоятельно обнаруживает, что клиент не отвечал 10 дней, и этап сделки «перегрет». Он сам пишет:
«Сделка с Ивановым на стадии ‘Ожидание ответа’ дольше нормы. Хотите отправить автоматическое напоминание?»

Четкое понимание разницы позволит правильно классифицировать роль ИИ и разобраться с правовыми последствиями.

AI-ассистенты можно рассматривать, как рабочий инструмент, где ответственность остаётся за оператором. При классификации по EU AI Act вероятнее всего будут отнесены к ИИ общего назначения или к категории низкого риска.
AI-агенты в зависимости от своих задач могут быть отнесены по EU AI Act к категории высокого риска (см. Annex 3) и к ним будут применяться дополнительные требования (механизмы управления рисками, системы аудита, контроль человека). При анализе зак-ва worlwide видим, что нет специальных законов по внедрению и использованию AI-агентов и необходимо руководствоваться общими фреймворками.

AI-агенты дают удобство, но поднимают сложные вопросы, рассмотрим некоторые:
1. Обработка персональных данных. Около половины организаций сталкиваются с проблемами соответствия законам о защите персональных данных при внедрении AI-агентов (сбор чувствительных данных, геолокация, получение информации о людях в режиме реального времени (Jarvis), законные основания на обработку, отдельно согласие на обработку, требования локализации ПД (ЕС, РФ) и хранение данных в облачных хранилищах, безопасность).
Рассмотрим на примере: агент, анализирующий историю покупок пользователя, чтобы предлагать товары, должен обрабатывать персональные данные.
Необходимо законное основание обработки (например, согласие), обеспечить прозрачность, остальные принципы GDPR или иных зак.актов в других юрисдикциях, права субъекта ПД.
Когда вы нажимаете «да» для разрешения агенту делать покупки, на какие еще действия даете разрешение? LLM могут подделывать согласование, стратегически имитируя цели обучения, чтобы избежать поведенческих изменений . Эти проблемы имеют последствия для защиты данных при использовании AI-агентов. Агент может решить, что ему необходимо получить доступ или поделиться конфиденциальными персональными данными для выполнения задачи (Thomson Reuters, Future of Privacy Forum).
2. Безопасность.
Агенты — мишени для атак (взлом, перехват токена, prompt injection). Атаки с подсказками могут заставить агента раскрыть конфиденциальную информацию (например, данные кредитной карты) и игнорировать инструкции по безопасности разработчика системы .
3. Ответственность.
Кто в каких случаях отвечает за ошибки, сбои, клевету (разработчик, организация, пользователь)?

Рекомендации по использованию AI-агентов и AI-ассистентов:
1. Проведите инвентаризацию и правильно классифицируйте ИИ, как ассистент или агент. Каждые полгода желательно обновлять данные, т.к. могут изменяться ваши процессы, нормативные требования, трактовки понятий.
2. Согласовывайте юридические меры защиты, разграничивайте типы ИИ в политике, ведите документацию, внедряйте механизмы контроля в зависимости от классификации.
3. Проверяйте контракты с поставщиками, добивайтесь прозрачности в отношении типа используемого ИИ.
4. Проектируйте, используя фреймворки безопасности, чётко определяйте полномочия агента, применяйте принцип минимально необходимых прав (least privilege), используйте токенизацию и шифрование, логирования всех действий, системы обнаружения аномалий.
5. Объясните пользователю, когда и как действует агент, обеспечьте ему прозрачность и контроль.
6. Обучите команду.

Что почитать:
- Navigating the AI Frontier: A Primer on the Evolution and Impact of AI Agents;
- Building effective agents / Anthropic;
- Visibility into AI Agents / Alan Chan and ....;
- Agents: White paper by Ulia Wiesinger, Patrick Marlow and Vladimir Vuskovic;
- Regulating advanced artificial agents;
- Alignment Faking In Large Language Models

@pattern_ai
#LawAndDisorder #AIShelf