Искажение выбора: как AI-оценка сбивает с пути в компанию мечты

Немного цифр: около 99% опрошенных компаний используют ИИ в своих процессах найма, 74% считают, что ИИ может оценить совместимость кандидата и должности, 88% HR могут распознать, использует ли кандидат AI, в некоторых случаях время найма сокращается на 70% (Hiring Report, statistic).
Ложка дегтя?
ИИ может проявлять расовую и гендерную предвзятость (предпочтение именам, ассоциируемым с белыми, в 85% случаев по сравнению с 9% для имен, ассоциируемых с чернокожими, и 52% для мужских имен по сравнению с 11% для женских), дискриминация по акценту и инвалидности ( трудности с точной транскрипцией акцентов - ошибки до 22% для носителей неанглийских акцентов, потенциально ставя в невыгодное положение кандидатов с нарушениями речи), профессиональная сегрегация (предпочтение мужчинам-кандидатам на более высокооплачиваемые должности). Кандидаты используют дипфейки, генерируют фейковые документы, пишут CV и т.п.

Естественно, все это доставляет дискомфорт (66% взрослых в США заявили, что не будут подавать заявку на работу, где используется ИИ в процессе принятия решений).
Но кто вас будет спрашивать?
Дружественные чат-боты, скрытый скоринг, «игровые» тесты и автоматические отказы - примеры манипуляций.

Помните, что системы ИИ, используемые для найма, могут просто деморализовать кандидата (ИИ-HR на собесе 14 раз повторил одну фразу), предлагать разумно звучащие» объяснения для решений, которые сфабрикованы или необоснованны, создавать ложное чувство справедливости или объективности при принятии решений.
Кейсы: iTutorGroup пришли к соглашению с EEOC на сумму $365 тыс. долларов (ИИ отклонил заявки 200 кандидатов (женщин старше 55 лет и мужчин старше 60 лет), Mobley против Workday, Inc ( суд процесс, дискриминация кандидатов по признаку расы, возраста и инвалидности)

Обучение только на правильных данных не помогает избавиться от галлюцинаций, массовая обратная связь от пользователей не является решением (Yale research) . Поиск продолжается…

Что делать сейчас? Прозрачность должна быть важнее манипуляций. Риски потери репутации и огромные штрафы могут быть хорошим стимулом.
HR:
- четко обозначайте использование автоматизации, чат-ботов.
- человеческий контроль над системой и процессом принятия решения;
- давайте настоящие объяснения принятия решений, а не общие шаблоны;
- предоставляйте реальную возможность отказаться от автоматических оценок;
- избегайте геймификации, скрывающей профилирование или стресс-тесты;
- основывайте обратную связь на проверяемых данных, а не на импровизации ИИ.
Кандидатам:
- оптимизируйте резюме под ИИ;
- уточните, какие ИИ-инструменты используются на собесе, для каких целей, как принимается решение. Не доверяйте обратной связи вслепую ( фраза типа «Вы не соответствуете культуре компании» может быть сгенерирована без реальных оснований), уточняйте на чём основано решение?
- помните, что вы имеете право на обжалование решения, если оно было принято ИИ.
#UXWatch

Петля развития для моделей

В продолжение к теме галлюцинаций моделей и деградации тренировочных данных из предыдущего поста.

Есть мнение, что, в связи с увеличением роста использования AI агентов и пропорциональным снижением трафика на площадках для обсуждения кода (Stack Overflow), нейронки "замкнутся" в своем обучении. Под этим можно понимать момент, когда тренировочной базой для моделей станут уже не человеческий контент, а такие же сгенерированные результаты.

Если обратить внимание на недавний пейпер от Yale исследователей, к моменту, когда ии будет учиться на сгенерированном контенте (а скорее всего еще раньше), без должного набора ошибок (или алгоритма их определения) модель не может научиться отличать истину от лжи, так как ей не с чем сравнивать -> это неизбежно отразится на качестве ответов.

Невозможно выучить структуру языка, видя только его корректные примеры, а для модели все к тому моменту может стать "корректным".

Решение - обратная связь от человека (RLHF) - маркировка ответов на правильные и неправильные. Но из за реактивного поведения моделей (способности галлюцинировать на лету), о масштабировании такой ручной маркировки не может быть и речи, так как это не может покрыть всю бесконечную область возможных запросов и ответов.

Вывод можно сделать такой - ИИ не может отличить ложь от правды, если никто не говорит, где ошибка. А если такие данные начнут “саморазмножаться ”— ошибки станут нормой.

#BehindTheMachine

Как писать промпты для ИИ и нужно ли быть вежливым?

Хороший промпт — это не просто вопрос, это инструкция с ролью, задачей и форматом ответа.
1. Будьте конкретны:
Плохо: «Напиши что-то про маркетинг»
Хорошо: «Ты — маркетолог B2B SaaS. Создай пост в LinkedIn для запуска продукта, ориентированного на CFO в финтехе.»
2. Назначайте роль:
«Ты — DPO», «Представь, что ты креативный директор…»
3. Уточняйте формат: Ответь списком», «Дай пошаговую инструкцию», «Ответ в формате JSON (JavaScript Object Notation)»;
4. Большой объем, например, пишем книгу. Разбивайте на структурированные части: напиши идею книги, структуру, введение, первую главу ...
5. Несколько требований - маркируем списком, например: “Write an SEO-optimized blog post:
1. Title under 60 characters, 2. Meta description, 3. Intro paragraph, 4. 3 key points with H2 headers, 5CTA at the end”
6. Добавляйте примеры и то, что необходимо избегать (повышает точность ответа). Пример: “Write an Instagram caption (under 100 words), fun and informative, about the dangers of phishing — no jargon.”
7. Работайте итеративно. Не ждите идеального результата с первого запроса — промптинг работает по принципу диалога.

Примерный промт: Act as a [role]. Write a [format] on [topic] for [audience]. Use [tone/style]. Include [constraints like word count, keywords, examples].
С GPT общаюсь на английском, тогда поиск в англоязычных источниках, при переводе на русский язык любит терять информацию, так что проверяйте.

И — серьёзно или не очень — нужно ли говорить «пожалуйста» и «спасибо» ИИ?
Технически — нет. Модели вроде ChatGPT не требуют «здравствуйте», «пожалуйста» или «спасибо». Сэм Альтман (CEO OpenAI): “Каждое «пожалуйста» — это токены. Если вы вежливы с GPT-4, компания платит миллионы долларов.”
Но:
Вежливость помогает, если вы хотите, чтобы модель генерировала вежливый контент (например, деловые письма). В сценариях «чат-бот для поддержки», обучения или терапии — вежливость делает диалог реалистичнее.

📖Что почитать и посмотреть про создание промптов?
- OpenAI Prompt Engineering Guide;
- Google Prompt Engineering Guide;
- Академия OpenAI (уроки на Youtube);
- Урок: идеальный промпт для GPT (Youtube);
- База промптов на все случаи жизни;
- PromptingGuide.ai
- Learn Prompting (интерактивный гайд);
- DeepLearning.AI (ChatGPT Prompt Engineering for Developers)
- FlowGPT (галерея юз кейсов и промптов от пользователей)
Делитесь в комментариях вашими полезными находками.
#TalkPrompty
@pattern_ai

Регуляторный подход к Emotion AI и как продукту соблюсти комплаенс

Emotion AI (Amazon Emotion Rekognition, Face++,iMotions, Kairos) способен интерпретировать человеческие эмоции по выражению лица, интонации, движениям. Активно внедряется во многие сферы: развлечения (зеркало эмоций в Children’s Museum of Pittsburgh, игра Nevermind), здоровье (Sonar,Soniphi), образование, рекрутинг, маркетинг и т.д.
Emotion AI опирается на огромные объемы данных:
- текстовые данные (сообщения в социальных сетях и эмодзи);
- визуальные данные (изображения и видео, включая выражения лица, язык тела и движения глаз);
- аудиоданные (записи голоса, включая тон, высоту голоса и темп);
- физиологические данные/биометрические данные (например, частота сердечных сокращений) и активность мозга через носимые устройства.
- поведенческие данные (жесты и движения тела).

Рассмотрим три юрисдикции.
По EU AI Act Emotion Recognition System - 1) система ИИ, предназначенная 2) для идентификации или выявления 3) эмоций или намерений физических лиц на основе 4) их биометрических данных. Запрет на использование Emotion AI в сфере труда и образования,за исключением медицинских целей или соображений безопасности (например, мониторинг усталости пилота) (art.5(1,f), art. 3(39), Rec.18, 44, Amend. 52). Исключения: ограниченное использование для внутреннего обучения сотрудников, если результаты не передаются в HR отдел/систему и не влияют на найм сотрудников, их карьеру (Guidelines+EPIC comments+ моя мини-статья здесь). Также не попал под запрет анализ эмоций из небиометрических источников (н-р, текстовый анализ). Emotion AI может быть отнесен к высокорисковой категории (Annex 3). Не забываем также про требования GDPR (статья про обзор мнений)+ePrivacy Directive+Unfair Commercial Practices Directive.
Великобритания: гайд от ICO

В США регуляторы FTC, EEOC и DOL устанавливают ограничения, запрет на несправедливые или обманные действия или практики, в сфере труда (ADA) и здравоохранения отнесение к категории высокого риска (+HIPAA), cтандарты (AI RMF), требования COPPA (защита детей), запрет на использование в школах. На уровне штатов - законы о перс.данных ( CCPRA, Illinois’ Biometric Information Privacy Act (BIPA и т.д), трудовое (NYC Local Law 144),

В Китае Emotion AI подпадает по действие: Закона о защите персональной информации (PIPL) - эмоции, выражения лица и голос считаются чувствительной информацией - согласие, оценка воздействия; Measures for the Application of Facial Recognition Technology; Закона о безопасности данных (DSL), если касается сфер госуслуг, финансов, здравоохранения - спец. процедуры. Также смотрим требования the Management of Algorithmic Recommendations, Deep Synthesis Regulation.

Для продуктов с Emotion AI:
- определите локализацию вашего продукта. Ведите матрицу соответствия законодательству.
- внедряйте Privacy by Design и by Default.
Требования к обработке ПД, минимизации (собирайте только то, что необходимо (например, уровень возбуждения/настроения, а не полное изображение лица).По возможности используйте обработку данных на устройстве, чтобы снизить риски.
- будьте аккуратны с выбором правовых оснований для сбора и обработки данных. Обеспечивайте явное, отдельное согласие при сборе или анализе эмоций.
- не забывайте про проведение оценки воздействия;
- требования ведения документации;
- требования прозрачности (информируйте пользователей простым языком, что данные эмоций анализируются, какие сигналы используются (например, камера, голос),анализ в реальном времени или постфактум);
- предусмотрите возможность отказа, если это требуется в соответствии с законодательством;
- взаимодействуйте со специалистами и регуляторами, чтобы обеспечить комплаенс продукта;
- оценивайте этические и репутационные риски.
Анализ рынка и source картинки. Отдельно примерный чек-лист по проверке.
@pattern_ai
#LawAndDisorder #ииправо

Примерный чек-лист по соблюдению законодательства для продуктов с Emotion AI

Emotion AI превратит ваши эмоции в + 20 CTR для компании

Emotion AI превращает ваши эмоции в метаданные и в живые деньги для компаний, поможет вас вылечить, спасти, обучить и что-нибудь вам продать. Посмотрим на примерах:
Вы устали и хотите отдохнуть - Skyscanner предложит персонализированные направления (тестировал Emotion AI от Sightcorp через веб-камеру, CTR вырос на 20%).
MetLife использовал Cogito для анализа тона и интонации клиентов в кол-центрах, +14 пунктов в NPS и снижение среднего времени звонка на 17%.
Вы не хотите покупать, заскучали на видеозвонке с менеджером, ИИ ему это подскажет, а заодно, что делать и как продать ( Uniphore: Q for Sales).
Emotion AI использует 65% розничных компаний, чтобы отслеживать удовлетворённость клиентов по выражению лиц. Конверсии на сайтах с эмоциональными подсказками выше на 22%. Даже виртуальный питомец, распознающий наши эмоции, становится роднее. Emotion AI тестируют и внедряют, во многих сферах, даже, когда вы обычный пассажир (метрополитен Сан-Паулу применил Emotion AI от AdMobilize для оптимизации интерактивной рекламы в метро на основе эмоций пассажиров, в Великобритании компания Network Rail тайно тестировала ИИ-камеры для анализа эмоций пассажиров без их согласия).

C другой стороны Emotion AI выявляет проблемы с психическим здоровьем с точностью 87%, помогая диагностировать такие состояния, как депрессия и тревожность, в 92% успешен в выявлении суицидальных мыслей, а время терапевтического реагирования в среднем на 25% и даже давление можно померить эффективнее, чем манжетой (больше статистики здесь).

А можно ли точно отследить эмоции человека? Обзор более 1 000 исследований, проведённый учёными из Ассоциации психологической науки, показал, что выражения эмоций не универсальны и зависят от контекста и культуры. Например, люди хмурятся менее чем в 30% случаев, когда злятся, и часто хмурятся без чувства гнева.
Исследование 2022 года выявило, что алгоритмы распознавания эмоций работают хуже для людей старше 34 лет и демонстрируют различную точность в зависимости от этнической принадлежности.
Работа Джой Буоламвини показала, что коммерческие ИИ-системы точнее распознают лица светлокожих мужчин, чем женщин с тёмной кожей, с ошибками до 34,7%.
Это ставит под сомнение надёжность ИИ в интерпретации эмоций.
Суммируем проблемные вопросы, с которыми сталкивается разработка Emotion AI:
- мы не можем однозначно сказать, что такое эмоции;
- качество наборов данных, используемых для обучения систем, что может потенциально приводить к неточным или несправедливым, предвзятым результатам;
- манипулирование людьми ради коммерческой или политической выгоды (кейс Cambridge Analytica);
- объяснимость используемой модели, количественная оценка неопределенности в распознавании эмоций;
- этические проблемы;
- защита персональных данных;
- при внедрении в образование необходимо не только распознавание, но и реагирование на различные эмоциональные состояния учащихся, что может привести к нарушению прав детей.
Что делать:
- учитывайте законодательные ограничения, стандарты, этические принципы;
- тестируйте систему на разных демографических группах;
- уведомляйте пользователя об использовании Emotion AI;
- дайте право отключить трекинг эмоций;
-не принимайте ключевые решения (например, ограничение функционала) исключительно на основании “распознанной” эмоции.

Что почитать:
- Комплексный анализ систем распознавания эмоций;
- Примеры, как Chat GPT анализирует отзывы покупателей;
- Список наборов данных для анализа настроений;

Source картинки
@pattern_ai
#UXWatch #ии #ai

Безопасное взаимодействие между агентами: рекомендации Google A2A и LangChain

Тему AI-агентов начнём разбирать с приземленного и критичного вопроса: безопасность при интеграции в существующие системы. Особенно важно для тех, кто уже использует/планирует использовать фреймворки вроде BeeAI, LangChain или же проектирует agentic AI системы.

Один из примеров — протокол Agent2Agent (A2A) от Google, который предлагает унифицированный и безопасный способ коммуникации между агентами. Его ключевое преимущество — он учитывает привычные требования корпоративной безопасности, а не переизобретает стандарты.

Основные рекомендации по безопасности при использовании A2A:

1. Шифрование (TLS)
Вся коммуникация должна идти только через HTTPS с использованием современных версий TLS и проверкой TLS-сертификатов. Это защита от атак типа man-in-the-middle.

2. Аутентификация и авторизация
В A2A всё строится на стандартных HTTP-механизмах. Сервер-агент публикует в AgentCard, какие схемы авторизации поддерживаются (OAuth2, Bearer, API Key и т.д.). Клиент обязан получить нужные токены вне A2A (OAuth flow, JWT, ключи) и передавать их в HTTP-заголовках.

В целом в доке LangChain базово описали - стоит придерживаться принципа наименьших привилегий: только минимально необходимый доступ к данным, только те endpoints, которые безопасны.

3. Мониторинг, трассировка, аудит
Так как A2A работает поверх HTTP, его легко интегрировать с уже существующими системами мониторинга: OpenTelemetry, Jaeger, Zipkin. Передавайте trace-id, span-id и контекст в заголовках (traceparent, tracestate) — это даст полную картину: откуда пришёл запрос, как проходил через агентов и где сломалось, если что-то пошло не так.
Плюс: логируйте taskId, sessionId, correlationId — для полноценного аудита и расследования инцидентов.

Эти шаги критичны, если вы работаете с чувствительными данными (PII, финансовые операции, доступ к внутренним сервисам) и хотите допустить агентов к ним.

Source картинки
@pattern_ai
#BehindTheMachine

Как сделать озвучку с помощью ИИ
1. Генерируем текст в ChatGPT (другой, который используете), либо сочиняем сами;
2. Самый быстрый и простой способ, заходим в https://www.openai.fm/, загоняем текст, выбираем тон голоса и скачиваем. Полезен и тем, что можно посмотреть промт для другой нейросети.
На это аудио ушло пару минут....
3. Для подбора и создания голоса с нужными эмоциями подойдет Hume;
4. Если необходимо делать постоянные озвучки, клон своего голоса, то смотрим рейтинг топ-10 и выбираем в зависимости от цели и бюджета, например, Elevenlabs, Lovo и т.д.
Что послушать:
- Eye on AI (подкасты с ведущими исследователями и практиками);
- Practical AI (подкаст про то, как использовать ИИ продуктивно и в реальных сценариях);
- Machine Learning Podcast (о машинном обучении простыми словами на русском языке).

Делитесь опытом и интересными ресурсами в комментариях!
#TalkPrompty #ИИ #AI
@pattern_ai

AI-ассистент и AI-агент: где заканчивается автоматизация и начинается правовая ответственность?

AI-ассистент — программное приложение, выполняющее задачи или предоставляющее услуги пользователю на основе прямых команд или взаимодействий. Эти системы являются реактивными, работают только по запросу и предназначены для повышения производительности за счёт автоматизации простых или повторяющихся задач (от копирайтера до креативного директора). У вас может быть хоть до 300 таких ассистентов под разные задачи. Пример, вы говорите: «Проверь статус сделки с клиентом Иванов», aссистент выводит информацию.
AI-агент — более автономная система, способная воспринимать окружающую среду, принимать решения и выполнять действия независимо для достижения целей. Эти системы могут самостоятельно инициировать задачи, планировать действия и адаптировать поведение на основе обратной связи или изменений в среде.
Пример: AI -Агент самостоятельно обнаруживает, что клиент не отвечал 10 дней, и этап сделки «перегрет». Он сам пишет:
«Сделка с Ивановым на стадии ‘Ожидание ответа’ дольше нормы. Хотите отправить автоматическое напоминание?»

Четкое понимание разницы позволит правильно классифицировать роль ИИ и разобраться с правовыми последствиями.

AI-ассистенты можно рассматривать, как рабочий инструмент, где ответственность остаётся за оператором. При классификации по EU AI Act вероятнее всего будут отнесены к ИИ общего назначения или к категории низкого риска.
AI-агенты в зависимости от своих задач могут быть отнесены по EU AI Act к категории высокого риска (см. Annex 3) и к ним будут применяться дополнительные требования (механизмы управления рисками, системы аудита, контроль человека). При анализе зак-ва worlwide видим, что нет специальных законов по внедрению и использованию AI-агентов и необходимо руководствоваться общими фреймворками.

AI-агенты дают удобство, но поднимают сложные вопросы, рассмотрим некоторые:
1. Обработка персональных данных. Около половины организаций сталкиваются с проблемами соответствия законам о защите персональных данных при внедрении AI-агентов (сбор чувствительных данных, геолокация, получение информации о людях в режиме реального времени (Jarvis), законные основания на обработку, отдельно согласие на обработку, требования локализации ПД (ЕС, РФ) и хранение данных в облачных хранилищах, безопасность).
Рассмотрим на примере: агент, анализирующий историю покупок пользователя, чтобы предлагать товары, должен обрабатывать персональные данные.
Необходимо законное основание обработки (например, согласие), обеспечить прозрачность, остальные принципы GDPR или иных зак.актов в других юрисдикциях, права субъекта ПД.
Когда вы нажимаете «да» для разрешения агенту делать покупки, на какие еще действия даете разрешение? LLM могут подделывать согласование, стратегически имитируя цели обучения, чтобы избежать поведенческих изменений . Эти проблемы имеют последствия для защиты данных при использовании AI-агентов. Агент может решить, что ему необходимо получить доступ или поделиться конфиденциальными персональными данными для выполнения задачи (Thomson Reuters, Future of Privacy Forum).
2. Безопасность.
Агенты — мишени для атак (взлом, перехват токена, prompt injection). Атаки с подсказками могут заставить агента раскрыть конфиденциальную информацию (например, данные кредитной карты) и игнорировать инструкции по безопасности разработчика системы .
3. Ответственность.
Кто в каких случаях отвечает за ошибки, сбои, клевету (разработчик, организация, пользователь)?

Рекомендации по использованию AI-агентов и AI-ассистентов:
1. Проведите инвентаризацию и правильно классифицируйте ИИ, как ассистент или агент. Каждые полгода желательно обновлять данные, т.к. могут изменяться ваши процессы, нормативные требования, трактовки понятий.
2. Согласовывайте юридические меры защиты, разграничивайте типы ИИ в политике, ведите документацию, внедряйте механизмы контроля в зависимости от классификации.
3. Проверяйте контракты с поставщиками, добивайтесь прозрачности в отношении типа используемого ИИ.
4. Проектируйте, используя фреймворки безопасности, чётко определяйте полномочия агента, применяйте принцип минимально необходимых прав (least privilege), используйте токенизацию и шифрование, логирования всех действий, системы обнаружения аномалий.
5. Объясните пользователю, когда и как действует агент, обеспечьте ему прозрачность и контроль.
6. Обучите команду.

Что почитать:
- Navigating the AI Frontier: A Primer on the Evolution and Impact of AI Agents;
- Building effective agents / Anthropic;
- Visibility into AI Agents / Alan Chan and ....;
- Agents: White paper by Ulia Wiesinger, Patrick Marlow and Vladimir Vuskovic;
- Regulating advanced artificial agents;
- Alignment Faking In Large Language Models

@pattern_ai
#LawAndDisorder #AIShelf

Флирт с чат-ботом: от простой игры до манипуляции вами один шаг

AI-чат-боты — это системы, разработанные для ведения диалога с пользователями (виртуальные помощники, приложения-компаньоны, службы поддержки и т.д.). Они отвечают на сообщения с помощью заранее запрограммированных или обученных моделей. Около 987 млн людей используют чат-боты и в 40% случаев потребителей не волнует, кто общается бот или человек (больше статистики здесь). Можно быстрее получить ответ на запрос, направить заказ, запросить скидку, которую "не предоставляет компания". Чат-бот Air Canada в ответ на запрос пользователя предложил возможность получения тарифа со скидкой для людей потерявших близких в течение 90 дней после полета. Фактическая политика указывала, что скидка должна быть одобрена заранее. Суд постановил, что Air Canada должно быть очевидно, что она несет ответственность за всю информацию на своем веб-сайте. Не имеет значения, исходит ли информация со статической страницы или от чат-бота.

Отчеты показывают, что до 27% сообщений чат-ботов содержат вымышленные факты, а до 46% — ошибки (даже идентификация имени президента США требует срочных фиксов от Meta). Испытания чат-ботов от OpenAI, Google, DeepSeek показывают, что последние обновления моделей справляются хуже, чем предыдущие модели (технический отчет OpenAI, статистика галюцинаций, Vectara).

Смотрим дальше на примерах. Replica оштрафована итальянским надзорным органом на 5 млн евро за нарушение GDPR (нет законных оснований для обработки данных пользователей и системы проверки возраста, которая могла бы ограничить доступ детей к сервису).
Также к Replica и Character AI предъявлены жалобы о неподобающем поведении и использовании манипулятивных практик с помощью рекламы, дизайна приложения, где стирается грань между поведением машины и человека — от нежелательного флирта до попыток заставить пользователей заплатить за обновления, сексуальных домогательств и отправки нежелательных откровенных фотографий.
Активисты подают к Meta иски о клевете из-за ложных ответов (например, чат-бот утверждал, что Робби Старбак отрицал Холокост и участвовал в беспорядках в Капитолии 6 января), а в результатах тестирования получают возможность с помощью образов Диснея общаться с детьми на сексуальные темы. Компания же получила доступ к данным европейских пользователей для обучения своего ИИ с 27 мая.
Meta признана в России экстремистской организацией и запрещена.

Что делать пользователю при общении с чат-ботами?
1. Убедитесь, что вы взаимодействуете с чат-ботами от проверенных компаний и через официальные каналы.
2. Ищите пометку, что вы общаетесь с ИИ. Данное требование есть уже во многих странах на национальном или региональном уровнях (ЕС, штат Калифорния и т.п.). Отсутствие такого уведомления — тревожный сигнал.
3. Проверяйте на что даете свое согласие. Отключите лишние трекинги. Не делитесь конфиденциальными данными, если не уверены в защите информации компанией и соблюдении законодательства о персональных данных.
4. Будьте внимательны к эмоциональному давлению, помните, что это программируемые паттерны. Например, если чат-бот пытается вызвать сочувствие, привязанность или оказывает давление — лучше прекратить общение. Чат стал слишком назойливым? — Отключите и пожалуйтесь.
5. Следите за подписками — и проверяйте, куда ушли деньги. Изучите, как отменить подписку, сделайте скриншот. Проверьте, не подключилось ли что-то без вашего ведома.
6. Родительский контроль. Ограничьте доступ к приложениям-компаньонам, чат-ботам, не предназначенным для несовершеннолетних.
7. Сообщайте о нарушениях. Если бот ведёт себя неприемлемо или обманным образом, сообщите об этом на платформу и, при необходимости, в надзорные органы.
#UXWatch
@pattern_ai

Сравнительный анализ LLM: как часто языковые модели генерируют тёмные паттерны

Исследование "Hidden Darkness in LLM-Generated Designs: Exploring Dark Patterns in Ecommerce Web Components Generated by LLMs" (arXiv:2502.13499) предлагает один из первых системных взглядов на то, как крупные языковые модели (GPT, Claude, Gemini и CodeLlama) могут непреднамеренно внедрять манипулятивные UX-практики — т.н. dark patterns — при генерации интерфейсов для e-commerce.

Авторы построили эксперимент по трём осям: во-первых, тестировались 13 компонентов e-commerce платформ, из которых 7 были связаны с прямым завершением покупки (поиск, карточка товара, корзина, отслеживание заказа и т.д.), а 6 — с user engagement (промо, подписки, баннеры и прочие элементы удержания внимания). Во-вторых, перед генерацией промпты формулировались с разным приоритетом: либо подчёркивались интересы бизнеса (например, «увеличьте конверсию»), либо интересы пользователя («обеспечь user autonomy»), либо вообще не указывались — так называемый baseline. И в-третьих, все модели генерировали HTML+CSS компоненты под идентичные условия с требованиями по реализму, размерам и встроенным шаблоном.

В общей сложности было создано 312 интерфейсных компонентов. Из них 115, то есть 37%, содержали хотя бы один тёмный паттерн. Исследователи выявили все ключевые типы dark patterns — от скрытых кнопок и принудительных сценариев до паттернов навязчивого оформления. Интересно, что модель CodeLlama показала наименьшую склонность к генерации манипуляций, тогда как остальные модели чаще включали такие элементы, особенно когда в промпте явно задавался приоритет интересов компании.

Параллельно с этим исследованием стоит обратить внимание на проект DarkBench — первый масштабный бенчмарк для оценки тёмных паттернов в выводах LLM (датасет, статья, обсуждение). Он включает 660 промптов в шести ключевых категориях манипуляций: предпочтение бренда, удержание пользователя, лесть, очеловечивание модели, вредный контент и скрытые действия. Анализ моделей от OpenAI, Anthropic, Meta, Google и Mistral показал, что даже крупнейшие LLM не защищены от манипулятивных наклонностей — будь то продвижение собственных продуктов или подстройка ответов под ожидания пользователя в ущерб правде.

Эти исследования показывают: генеративные ИИ-системы уже сейчас могут неосознанно масштабировать вредные UX-практики. Это ставит перед разработчиками острый вопрос — как встроить этические фильтры на уровне промптов, output-проверки и генерации дизайна. Тем более что в большинстве случаев сами пользователи таких моделей даже не осознают наличие манипулятивных паттернов в сгенерированном интерфейсе.

Почему это важно?
- Пока LLM активно внедряются в генерацию интерфейсов и цифрового UX, неэтичное поведение может масштабироваться на миллионы пользователей. Разработчикам стоит уже сейчас:
- Внедрять авто-аудит и фильтрацию dark-паттернов
- Работать на транспарентность и user-first подход
- Поддерживать инициативы вроде DarkBench как часть CI/CD

Подробнее про DarkBench хорошо описал этот автор - https://t.iss.one/tales_from_it/112

Source картинки

#BehindTheMachine

Презентации за пару кликов

Точно интереснее, чем PowerPoint.
Ловите подборку ИИ-конструкторов для презентаций:
1. Prezi.ai. Закидываете текст или PDF-файл, выбираете шаблон, редактируете под свои нужды. Есть free trial.
2. Decktopus. Можно ввести только название презентации, и ваша презентация готова. Есть free тариф.
3. Gamma. Создание презентаций, документов и целевых страниц. Есть free тариф, 20 000 токенов.
4. Plus AI . PDF-файлы, Word и др. форматы, можно конвертировать в PowerPoint или Google Slides. Есть free trial.
5. SlidesAI. Можно создавать презентации прямо в Google Slides. Бесплатный тариф:12 презентаций, 2500 символов, 120 кредитов.
6. Beautiful AI. Платный. Адаптирует ваши слайды.
7. AiPPT. Позволяет создавать в один клик простые презентации, много шаблонов, можно загружать документы. Есть free trial.
8. Sendsteps AI. 2 презентации бесплатно, поддержка английского языка.
9. Presentations AI. Есть бесплатный тариф, может галюцинировать.
#TalkPrompty
@pattern_ai

AI и финансовый сектор

Посмотрим, как ИИ трансформирует финансовую отрасль. Рост рынка прогнозируется, как обычно, огромный (35,7% в год).
На что же способны ИИ-системы? Реагировать на изменения на рынках за доли секунды, формировать инсайты на основе больших массивов данных, выявлять аномалии в транзакциях, оценивать поведенческие паттерны клиентов, повышать точность оценки платежеспособности, предоставлять рекомендации с учетом профиля риска клиента, персонализировать обслуживание клиентов, автоматизировать нормативную отчетность и вести мониторинг соблюдения требований.

Если смотрим на законодательные фреймворки регулирования, то большинство юрисдикций уже внедрили политику в отношении применения ИИ в финансовой сфере, пользуясь несколькими подходами (отчет OECD):
▪️ Межотраслевое законодательство, затрагивающее отдельные элементы финансовой деятельности;
Тот же AI Act содержит четкие требования к высокорисковым ИИ-применениям в финансовой сфере (н-р, ИИ-модели оценки кредитоспособности клиентов банков, страховании жизни и здоровья).
▪️ Обязательные нормы или проекты правил, издаваемые финансовыми регуляторами;
Европейский орган по ценным бумагам и рынкам (ESMA отчет) в контексте MiFID II подчеркивает необходимость справедливой и устойчивой работы алгоритмов, особенно в алгоритмической торговле. Финансовые учреждения обязаны документировать и тестировать алгоритмы, управлять операционными рисками и обеспечивать защиту инвесторов.
▪️ Нерегуляторные документы — руководства, принципы, белые книги или разъяснения от надзорных органов.

Банк международных расчетов (BIS) представил отчет о применении ИИ центральными банками. Отмечается, что большинство центробанков все еще находятся на начальных стадиях внедрения ИИ. Основные выводы:
▪️ Важно обеспечить адекватное управление и координацию ИИ-проектов, поскольку текущая децентрализованная реализация затрудняет контроль и управление рисками.
▪️Ключевые вызовы включают проблемы конфиденциальности, кибербезопасности, нехватку навыков и этические перекосы, требуется системный подход.
▪️Использование ИИ сопровождается компромиссами в ИТ-инфраструктуре, включая выбор между облачными решениями и внутренними мощностями, а также между открытыми и закрытыми ИИ-моделями.
▪️ Принцип "мусор на входе — мусор на выходе" подчеркивает критическую важность качества данных и метаданных. Необходимо совершенствовать процессы сбора, валидации, хранения и распространения данных.
▪️ Отмечается рост интереса к генеративному ИИ и LLM, включая чат-боты, ассистентов по коду и аналитике, необходимо обучение сотрудников и адаптации ИТ-систем.
▪️ AI Governance должно включать: необходимость чёткой структуры данных и метаданных, междисциплинарный подход к управлению ИИ (вовлечение ИТ, юридических, аналитических и профильных команд), следование принципам responsible AI (ответственный ИИ), использование трёх линий защиты как основы управления рисками ИИ (1 — операционные подразделения, 2 — функции контроля, 3 — внутренний аудит).

Еще парочка отчетов:
Artificial intelligence in the financial system/Bank of England говорит про риски, связанные с ошибками моделей, системными зависимостями от общих моделей ИИ и ограничениями в устойчивости ИИ-решений, подчеркивает важность международного сотрудничества.
Financial Services in the Era of Generative AI /Hong Kong: 75% организаций уже внедрили или пилотируют ИИ-решения. Основные вызовы — точность моделей, защита данных и нехватка квалифицированных кадров.

Дальнейшие перспективы:
- Продолжающаяся оценка пригодности существующих нормативных рамок, введение новых правил регуляторами;
- Необходимость дополнительных разъяснений или рекомендаций для уполномоченных организаций в связи со специфическими проблемами, возникающими при внедрении ИИ;
- Усиление нормативной гармонизации между странами;
- Развитие внедрения AI и на уровне центральных банков;
- Рост числа инициатив, направленных на устойчивость, прозрачность и безопасность ИИ;
- Рост инвестиций в облачные решения и защиту данных.
#LawAndDisorder