Флирт с чат-ботом: от простой игры до манипуляции вами один шаг

AI-чат-боты — это системы, разработанные для ведения диалога с пользователями (виртуальные помощники, приложения-компаньоны, службы поддержки и т.д.). Они отвечают на сообщения с помощью заранее запрограммированных или обученных моделей. Около 987 млн людей используют чат-боты и в 40% случаев потребителей не волнует, кто общается бот или человек (больше статистики здесь). Можно быстрее получить ответ на запрос, направить заказ, запросить скидку, которую "не предоставляет компания". Чат-бот Air Canada в ответ на запрос пользователя предложил возможность получения тарифа со скидкой для людей потерявших близких в течение 90 дней после полета. Фактическая политика указывала, что скидка должна быть одобрена заранее. Суд постановил, что Air Canada должно быть очевидно, что она несет ответственность за всю информацию на своем веб-сайте. Не имеет значения, исходит ли информация со статической страницы или от чат-бота.

Отчеты показывают, что до 27% сообщений чат-ботов содержат вымышленные факты, а до 46% — ошибки (даже идентификация имени президента США требует срочных фиксов от Meta). Испытания чат-ботов от OpenAI, Google, DeepSeek показывают, что последние обновления моделей справляются хуже, чем предыдущие модели (технический отчет OpenAI, статистика галюцинаций, Vectara).

Смотрим дальше на примерах. Replica оштрафована итальянским надзорным органом на 5 млн евро за нарушение GDPR (нет законных оснований для обработки данных пользователей и системы проверки возраста, которая могла бы ограничить доступ детей к сервису).
Также к Replica и Character AI предъявлены жалобы о неподобающем поведении и использовании манипулятивных практик с помощью рекламы, дизайна приложения, где стирается грань между поведением машины и человека — от нежелательного флирта до попыток заставить пользователей заплатить за обновления, сексуальных домогательств и отправки нежелательных откровенных фотографий.
Активисты подают к Meta иски о клевете из-за ложных ответов (например, чат-бот утверждал, что Робби Старбак отрицал Холокост и участвовал в беспорядках в Капитолии 6 января), а в результатах тестирования получают возможность с помощью образов Диснея общаться с детьми на сексуальные темы. Компания же получила доступ к данным европейских пользователей для обучения своего ИИ с 27 мая.
Meta признана в России экстремистской организацией и запрещена.

Что делать пользователю при общении с чат-ботами?
1. Убедитесь, что вы взаимодействуете с чат-ботами от проверенных компаний и через официальные каналы.
2. Ищите пометку, что вы общаетесь с ИИ. Данное требование есть уже во многих странах на национальном или региональном уровнях (ЕС, штат Калифорния и т.п.). Отсутствие такого уведомления — тревожный сигнал.
3. Проверяйте на что даете свое согласие. Отключите лишние трекинги. Не делитесь конфиденциальными данными, если не уверены в защите информации компанией и соблюдении законодательства о персональных данных.
4. Будьте внимательны к эмоциональному давлению, помните, что это программируемые паттерны. Например, если чат-бот пытается вызвать сочувствие, привязанность или оказывает давление — лучше прекратить общение. Чат стал слишком назойливым? — Отключите и пожалуйтесь.
5. Следите за подписками — и проверяйте, куда ушли деньги. Изучите, как отменить подписку, сделайте скриншот. Проверьте, не подключилось ли что-то без вашего ведома.
6. Родительский контроль. Ограничьте доступ к приложениям-компаньонам, чат-ботам, не предназначенным для несовершеннолетних.
7. Сообщайте о нарушениях. Если бот ведёт себя неприемлемо или обманным образом, сообщите об этом на платформу и, при необходимости, в надзорные органы.
#UXWatch
@pattern_ai

Сравнительный анализ LLM: как часто языковые модели генерируют тёмные паттерны

Исследование "Hidden Darkness in LLM-Generated Designs: Exploring Dark Patterns in Ecommerce Web Components Generated by LLMs" (arXiv:2502.13499) предлагает один из первых системных взглядов на то, как крупные языковые модели (GPT, Claude, Gemini и CodeLlama) могут непреднамеренно внедрять манипулятивные UX-практики — т.н. dark patterns — при генерации интерфейсов для e-commerce.

Авторы построили эксперимент по трём осям: во-первых, тестировались 13 компонентов e-commerce платформ, из которых 7 были связаны с прямым завершением покупки (поиск, карточка товара, корзина, отслеживание заказа и т.д.), а 6 — с user engagement (промо, подписки, баннеры и прочие элементы удержания внимания). Во-вторых, перед генерацией промпты формулировались с разным приоритетом: либо подчёркивались интересы бизнеса (например, «увеличьте конверсию»), либо интересы пользователя («обеспечь user autonomy»), либо вообще не указывались — так называемый baseline. И в-третьих, все модели генерировали HTML+CSS компоненты под идентичные условия с требованиями по реализму, размерам и встроенным шаблоном.

В общей сложности было создано 312 интерфейсных компонентов. Из них 115, то есть 37%, содержали хотя бы один тёмный паттерн. Исследователи выявили все ключевые типы dark patterns — от скрытых кнопок и принудительных сценариев до паттернов навязчивого оформления. Интересно, что модель CodeLlama показала наименьшую склонность к генерации манипуляций, тогда как остальные модели чаще включали такие элементы, особенно когда в промпте явно задавался приоритет интересов компании.

Параллельно с этим исследованием стоит обратить внимание на проект DarkBench — первый масштабный бенчмарк для оценки тёмных паттернов в выводах LLM (датасет, статья, обсуждение). Он включает 660 промптов в шести ключевых категориях манипуляций: предпочтение бренда, удержание пользователя, лесть, очеловечивание модели, вредный контент и скрытые действия. Анализ моделей от OpenAI, Anthropic, Meta, Google и Mistral показал, что даже крупнейшие LLM не защищены от манипулятивных наклонностей — будь то продвижение собственных продуктов или подстройка ответов под ожидания пользователя в ущерб правде.

Эти исследования показывают: генеративные ИИ-системы уже сейчас могут неосознанно масштабировать вредные UX-практики. Это ставит перед разработчиками острый вопрос — как встроить этические фильтры на уровне промптов, output-проверки и генерации дизайна. Тем более что в большинстве случаев сами пользователи таких моделей даже не осознают наличие манипулятивных паттернов в сгенерированном интерфейсе.

Почему это важно?
- Пока LLM активно внедряются в генерацию интерфейсов и цифрового UX, неэтичное поведение может масштабироваться на миллионы пользователей. Разработчикам стоит уже сейчас:
- Внедрять авто-аудит и фильтрацию dark-паттернов
- Работать на транспарентность и user-first подход
- Поддерживать инициативы вроде DarkBench как часть CI/CD

Подробнее про DarkBench хорошо описал этот автор - https://t.iss.one/tales_from_it/112

Source картинки

#BehindTheMachine

Презентации за пару кликов

Точно интереснее, чем PowerPoint.
Ловите подборку ИИ-конструкторов для презентаций:
1. Prezi.ai. Закидываете текст или PDF-файл, выбираете шаблон, редактируете под свои нужды. Есть free trial.
2. Decktopus. Можно ввести только название презентации, и ваша презентация готова. Есть free тариф.
3. Gamma. Создание презентаций, документов и целевых страниц. Есть free тариф, 20 000 токенов.
4. Plus AI . PDF-файлы, Word и др. форматы, можно конвертировать в PowerPoint или Google Slides. Есть free trial.
5. SlidesAI. Можно создавать презентации прямо в Google Slides. Бесплатный тариф:12 презентаций, 2500 символов, 120 кредитов.
6. Beautiful AI. Платный. Адаптирует ваши слайды.
7. AiPPT. Позволяет создавать в один клик простые презентации, много шаблонов, можно загружать документы. Есть free trial.
8. Sendsteps AI. 2 презентации бесплатно, поддержка английского языка.
9. Presentations AI. Есть бесплатный тариф, может галюцинировать.
#TalkPrompty
@pattern_ai

AI и финансовый сектор

Посмотрим, как ИИ трансформирует финансовую отрасль. Рост рынка прогнозируется, как обычно, огромный (35,7% в год).
На что же способны ИИ-системы? Реагировать на изменения на рынках за доли секунды, формировать инсайты на основе больших массивов данных, выявлять аномалии в транзакциях, оценивать поведенческие паттерны клиентов, повышать точность оценки платежеспособности, предоставлять рекомендации с учетом профиля риска клиента, персонализировать обслуживание клиентов, автоматизировать нормативную отчетность и вести мониторинг соблюдения требований.

Если смотрим на законодательные фреймворки регулирования, то большинство юрисдикций уже внедрили политику в отношении применения ИИ в финансовой сфере, пользуясь несколькими подходами (отчет OECD):
▪️ Межотраслевое законодательство, затрагивающее отдельные элементы финансовой деятельности;
Тот же AI Act содержит четкие требования к высокорисковым ИИ-применениям в финансовой сфере (н-р, ИИ-модели оценки кредитоспособности клиентов банков, страховании жизни и здоровья).
▪️ Обязательные нормы или проекты правил, издаваемые финансовыми регуляторами;
Европейский орган по ценным бумагам и рынкам (ESMA отчет) в контексте MiFID II подчеркивает необходимость справедливой и устойчивой работы алгоритмов, особенно в алгоритмической торговле. Финансовые учреждения обязаны документировать и тестировать алгоритмы, управлять операционными рисками и обеспечивать защиту инвесторов.
▪️ Нерегуляторные документы — руководства, принципы, белые книги или разъяснения от надзорных органов.

Банк международных расчетов (BIS) представил отчет о применении ИИ центральными банками. Отмечается, что большинство центробанков все еще находятся на начальных стадиях внедрения ИИ. Основные выводы:
▪️ Важно обеспечить адекватное управление и координацию ИИ-проектов, поскольку текущая децентрализованная реализация затрудняет контроль и управление рисками.
▪️Ключевые вызовы включают проблемы конфиденциальности, кибербезопасности, нехватку навыков и этические перекосы, требуется системный подход.
▪️Использование ИИ сопровождается компромиссами в ИТ-инфраструктуре, включая выбор между облачными решениями и внутренними мощностями, а также между открытыми и закрытыми ИИ-моделями.
▪️ Принцип "мусор на входе — мусор на выходе" подчеркивает критическую важность качества данных и метаданных. Необходимо совершенствовать процессы сбора, валидации, хранения и распространения данных.
▪️ Отмечается рост интереса к генеративному ИИ и LLM, включая чат-боты, ассистентов по коду и аналитике, необходимо обучение сотрудников и адаптации ИТ-систем.
▪️ AI Governance должно включать: необходимость чёткой структуры данных и метаданных, междисциплинарный подход к управлению ИИ (вовлечение ИТ, юридических, аналитических и профильных команд), следование принципам responsible AI (ответственный ИИ), использование трёх линий защиты как основы управления рисками ИИ (1 — операционные подразделения, 2 — функции контроля, 3 — внутренний аудит).

Еще парочка отчетов:
Artificial intelligence in the financial system/Bank of England говорит про риски, связанные с ошибками моделей, системными зависимостями от общих моделей ИИ и ограничениями в устойчивости ИИ-решений, подчеркивает важность международного сотрудничества.
Financial Services in the Era of Generative AI /Hong Kong: 75% организаций уже внедрили или пилотируют ИИ-решения. Основные вызовы — точность моделей, защита данных и нехватка квалифицированных кадров.

Дальнейшие перспективы:
- Продолжающаяся оценка пригодности существующих нормативных рамок, введение новых правил регуляторами;
- Необходимость дополнительных разъяснений или рекомендаций для уполномоченных организаций в связи со специфическими проблемами, возникающими при внедрении ИИ;
- Усиление нормативной гармонизации между странами;
- Развитие внедрения AI и на уровне центральных банков;
- Рост числа инициатив, направленных на устойчивость, прозрачность и безопасность ИИ;
- Рост инвестиций в облачные решения и защиту данных.
#LawAndDisorder

НейроUX в банках против ваших интересов

Крупные банки, включая ВТБ, прогнозируют, что к 2027 году нейротехнологии — системы, анализирующие мозговую активность — станут неотъемлемой частью банковских сервисов. Это приведёт к «глубокой персонализации»: от дизайна карты до подбора предложений на основе нейроимпульсов.
Visa и Mastercard запускают ИИ-агентов для покупок, которые смогут тратить ваши деньги, ориентируясь на предпочтения и сценарии, заданные вами ( например, подобрать наряды для вечеринки для дня рождения на основе атмосферы места проведения, прогнозов погоды и предпочтений в стиле). Neuroprofiler использует принципы поведенческих финансов для адаптации инвестиционных портфелей к предпочтениям клиентов.
Посмотрим на статистику: 84% потребителей готовы сменить банк ради персонализированных предложений (Personetics, 2025), 73% доверяют ИИ-контенту, 53% готовы получать от него финансовые советы (Capgemini), в то же время только 14% клиентов считают, что банк предлагает им релевантные предложения (TSYS).

Еще год назад банки говорили, что не могут дать пользователям гиперперсонализацию, все меняется... Но точно ли она нам нужна? Задумываетесь ли вы, насколько это будут именно ваши решения и точно ли они выгодны именно вам?

Давайте разберем возможные манипулятивные практики:
▪️ Гиперперсонализация. Вам предлагают «идеальные» банковские или платёжные продукты на основе анализа эмоций, поведения, мозговой активности. Идеально для вас или идеально для увеличения прибыли банка?
Обращайте внимание на то, какие данные собираются (нейро, поведенческие и пр.), насколько прозрачно банк/сервис объясняет работу ИИ-систем.
▪️ИИ -Ассистент тратит за вас ваши деньги с вашего разрешения — от продуктов до бронирования отелей (Visa Intelligent Commerce, Mastercard Agent Pay). Вы теряете осознанный контроль над покупками, идет навязывание сервисов с определёнными партнёрами.
Обращайте внимание на автоустановленные лимиты, неочевидные настройки, затруднённую отмену разрешений.
▪️Эмоциональные триггеры и давление срочности. При обнаружении вашего волнения или колебаний система может предложить «лимитированное» выгодное предложение. ИИ эксплуатирует вашу уязвимость в момент принятия решений. Хорошо подумайте, точно ли вам необходима скидка или вами манипулируют?
▪️ Запутанное согласие, использование манипулятивных интерфейсов (например, спрятанные настройки).
Вы «соглашаетесь» на сбор чувствительных данных или автосписание средств, не осознавая этого.
Обращайте внимание на слишком длинные политики конфиденциальности, неясные формулировки.
▪️Перегрузка выбора. Система предлагает вам десятки персонализированных предложений, чтобы «дать свободу выбора», вы теряетесь и выбираете не лучший, а самый заметный вариант.
Обращайте внимание на отсутствие ясных сравнений, чрезмерную визуальную стимуляцию.

Что делать пользователям:
- Проверяйте права и разрешения. Не позволяйте ИИ делать повторяющиеся покупки без контроля.
- Требуйте прозрачности. Узнавайте, как обрабатываются ваши поведенческие и биометрические данные.
- Используйте минимальные настройки. Откажитесь от гиперперсонализации, если она вам не нужна.
- Не делегируйте важные решения ИИ!
- Сообщайте об использовании манипулятивных практик в надзорные органы.
#UXWatch

НейроUX в банках против ваших интересов

Что почитать:
- Dopamine Banking. Как банки используют геймификацию и визуальные стимулы, чтобы активировать зоны удовольствия в мозге и повышать вовлечённость.
- AI in Personalized Consumer Banking. Этические и пользовательские аспекты применения ИИ в банковской персонализации.
- Neuromarketing and Big Data Analysis of Banking Firms’ Website Interfaces and Performance. Как банки используют анализ поведения и нейроUX в цифровых продуктах.
- Neurotechnology in Payments. Обзор нейротехнологий в платёжных решениях — и вызовов, связанных с их этикой.
- Augmented Reality: The Gateway to Immersive Payment Experiences
- A Brain Implant That Turns Your Thoughts Into Text
- Global Consumer Banking Survey 2025. Исследование поведения пользователей и ожиданий в сфере цифрового банкинга.
Про Neuralink поговорим в следующих постах.
#UXWatch #AIShelf

Новый подход к контролю чувствительных данных в LLM

Авторы "Trustworthy AI: Securing Sensitive Data in Large Language Models" предлагают комплексный фреймворк для динамического управления раскрытием ПД в LLM. Основная идея - внедрение доверительных механизмов (через RBAC и ABAC), которые позволяют LLM адаптировать свои ответы в зависимости от уровня доверия пользователя, тем самым обеспечивая безопасное и контролируемое поведение модели при работе с чувствительными данными. Особенно актуально для таких доменов, как healthcare, legal, finance.

Какие проблемы осветили:
Black-box-природа LLM: Пользователи и разработчики не имеют достаточного контроля над тем, какие данные может раскрыть модель, так как внутренние механизмы обучения непрозрачны.
Утечки через обучение: LLM могут запоминать части тренировочных данных (включая PII), и воспроизводить их при определённых запросах.
Эксплойты через промпты: Злоумышленники могут использовать специально сконструированные запросы для извлечения чувствительной информации.
Недостатки текущих методов защиты:
Подходы не учитывают уровень доверия пользователя.
Средства, такие как фильтрация по словам, неэффективны против семантических вариаций и требуют значительных вычислительных ресурсов.
Универсальные политики доступа приводят либо к переоткрытию, либо к избыточному ограничению.

Кратко про существующие методы:
Data Sanitization: Удаление конфиденциальных данных из обучающего корпуса. Плюс: Прямое исключение чувствительной информации. Минус: Трудно масштабировать, автоматизация не справляется с контекстом, ручной анализ невозможен для миллиардов токенов.
Differential Privacy: Добавление шума в процессе обучения, чтобы скрыть детали отдельных данных. Плюс: Теоретически защищает от атак на приватность. Минус: Снижает точность модели, требует больших ресурсов, сложно применимо к LLM в реальности.
Output Filtering: Постобработка с целью фильтрации чувствительной информации в ответах модели. Плюс: Последняя линия защиты перед пользователем. Минус: Высокая вероятность ложных срабатываний, легко обойти продвинутыми запросами, не различает уровни доверия пользователей.

Предлагаемые решения: Авторы предлагают внедрение динамического фреймворка доверия, основанного на двух концепциях:
RBAC (Role-Based Access Control): Доступ к данным регулируется на основе ролей (например, врач, юрист, студент).
ABAC (Attribute-Based Access Control): Учитываются дополнительные параметры — контекст запроса, устройство, временные метки, политика компании и др.
Фреймворк включает три модуля:
User Trust Profiling: Определяет доверие к пользователю.
Information Sensitivity Detection: Обнаруживает чувствительные данные в выходе модели.
Adaptive Output Control: Настраивает ответ модели в зависимости от доверия.
Таким образом модель может динамически адаптировать свое поведение.
#BehindTheMachine #AIShelf

Pika 2.2.
#TalkPrompty

Мой быстрый эксперимент: "A Lady Justice (Femida) is walking in a hybrid digital courtroom in full-length in a Greek white dress and sandals. She wears high-tech VR glasses instead of a blindfold. Background is a glitchy blend of classical marble court and neon cyberspace UI — floating cookie banners, algorithmic graphs, biometric scans. She holds a glowing scale and a gavel, near a neural network. Her expression is calm, serious, insightful. Cinematic lighting, cyber-noir aesthetic, 16:9 aspect ratio"

ИИ генерация видео
Ловите подборку сервисов:
1. Veo Google AI Studio. Только сначала поколдуйте с впн и страной в вашем гугл-аккаунте.
2. Sora (нужна подписка ChatGPT Plus);
3. Higgsfield,пишет сценарий к вашему видео, генерит ключевые кадры, превращает их в ролики;
4. Vidu, картинки/текст в видео, много темплейтов;
5. SkyReeels, есть примеры, рилсы сделаете без особых усилий;
6. Video Ocean, плавные кадры, реалистично, подсказки;
7. Invideo AI, для соц.сетей, 10 минут видео в неделю;
8.Stable Virtual Camera, превращение фото в 3D-сцены, генерирует объемные видео с соотношением сторон 1:1, 9:16 и 16:9 длиной до 1000 кадров на основе изображений;
9.Dream Machine, генерирует + может сама озвучить видео
10. Pika, генерация одна бесплатная, Pikaswaps (замена деталей),Pikaadditions (добавление деталей). Стартовое видео по промту без изменений кидаю в канал.
11.Revid AI превращает идею в видео для соц.сетей;

Сервисы для видеомонтажа:
1.Kozy, видеомонтаж без усилий и сложных программ , опишите каким вы хотите видеть своё видео и для каких целей;
2. Submagic, добавляет субтитры, B-roll, зум-эффекты и звуки, для Shorts супер;
3. Opus, нарежет короткие клипы для соцсетей из длинного видео;
4. Syllaby, визуалы, субтитры и даже ваш ИИ-голос;
5. VideoLeap, ИИ-видеоредактор в телефоне, все быстро и просто.

Для вдохновения рекомендую к просмотру победителей фестиваля ИИ-фильмов Neuro Masters.
#TalkPrompty

Использование чувствительных данных гос.сектором для обучения ИИ: пример ICDC и не только

Разведсообщество США планирует запустить платформу ICDC — централизованный «цифровой магазин» для покупки чувствительной персональной информации о миллионах людей (геолокация, соцсети, биометрия, финансы, мед.данные — то, что раньше выдавалось только по решению суда). Теперь 18 агентств, включая ЦРУ, АНБ и ФБР, смогут получать эти данные автоматически, через единый портал с поддержкой ИИ. Среди функций — генеративные модели и «анализ настроений» граждан.
Напомню, что агрегация, казалось бы, безобидных фрагментов информации может раскрывать чувствительные детали о человеке, например исследование Стэнфордского университета показало в GPT-4. ODNI признаёт, что данные могут причинить «значительный вред, стыд и неудобство». При этом контроль за их чувствительностью — на усмотрение продавцов, а не независимых структур.

По мнению юристов и правозащитников, это нарушает границы приватности, способствует дискриминации, повышает риски репрессий и цензуры. Коммерциализация фактически создает «лазейку» для наблюдения и возможности обойти необходимость получения судебного постановления. Сенатор Рон Уайден прямо предупреждает: новая администрация может использовать ICDC для массовой слежки, включая отслеживание мигрантов, выявление протестующих по перемещениям и браузингу. В то же время законодательная инициатива Fourth Amendment Is Not For Sale Act, запрещающая госорганам и спецслужбам покупать данные о клиентах у брокеров без ордера и использовать такие данные в суде (кейсы Carpenter v. US, 2018), пройдя Палату Представителей,так и остается в Сенате.

Государства естественно стремятся собрать и использовать как можно больше данных. GPAI OECD разработана дорожная карта для поддержки правительств в принятии обоснованных решений о том, когда и как делиться данными с внешними субъектами для развития инноваций. Используется три подхода: one-to-one data sharing, one-to-many data sharing, many-to-many data sharing.
Посмотрим некоторые инициативы:
- Репозитории открытых данных (Chile's Open Data Platform - открытые данные под лицензией CC-BY — свободно доступны для любых целей).
- Песочницы ( Сингапурская Data Regulatory Sandbox позволяет тестировать решения в безопасной среде с соблюдением PDPA).
- Государственные сервисы, например, Тайваньский Health Passbook -граждане могут делиться своими медицинскими данными с третьими сторонами. Бразильский «dWallet» - первая в мире инициатива, где граждане могут продать свои собственные данные (финансовые, медицинские, кредитные/контрактные) через кошелек данных и пересмотреть саму экономическую модель владения данными.
В РФ Минцифры предлагает собирать обезличенные данные от организаций для эффективного решения госзадач (где построить дороги, школы) или научных целей в специальной государственной информационной системе. Подчеркивается, что в наборы данных нельзя включать биометрические и чувствительные сведения (о религии и т.д.). Доступ к обезличенным данным смогут получить представители организаций, компаний, органов власти. Подать запрос на получение набора данных можно через личный кабинет с указанием цели, планируемого результата, времени использования наборов данных и основания.

Субъекты, включая брокеров данных, которые продают данные государственным учреждениям, могут стратегически собирать или обрабатывать данные в юрисдикциях с более мягкими определениями «персональных данных» или где общедоступные данные явно исключены из защиты законов о конфиденциальности со всеми вытекающими последствиями.

Растущий доступ к чувствительным данным требует:
От компаний, взаимодействующих с гос.сектором:
- продуманной защиты;
- выстраивания системы доверия, отчетности и контроля;
- последовательного, стабильного регуляторного подхода.
От пользователей:
- осведомлённости;
- активного использование прав субъекта данных.
#LawAndDisorder
@pattern_ai

Neuralink и риски цифрового принуждения
Ч.1.

Не только Маск грезит о том, чтобы в течение 10 лет Neuralinks чипы могли быть имплантированы миллионам людей, но и многие другие компании и исследовательские группы работают над схожими проектами интерфейсов мозг-компьютер (BCI, brain-computer interface). Например, только в США 45 испытаний зарегистрировано в базе данных исследований, компания Synchron тестирует имплантат по контролю мозга над компьютерами, который вставляется в мозг через кровеносный сосуд, также компании Paradromics, Precision Neuroscience и BlackRock Neurotech разрабатывают передовые интерфейсы мозг-компьютер, во Франции - стартап Inclusive Brains.

Исходя из публичных данных Neuralink и размещенной Privacy Policy, мы видим, что производится полный и подробный сбор данных о пациентах, основываясь на explicit consent (контактные, демографические данные, полная история болезни и т.п). В нынешнем моменте исследований все кажется логичным:
▪️Прозрачность в обмене данными: личная информация может быть передана исследовательским группам, проводящим клинические испытания Neuralink, для определения потенциального соответствия требованиям, а также поставщикам услуг.
▪️ Практика анонимизации: анонимизированные данные могут использоваться для внутренних исследований, разработки продуктов или любых других законных целей.
▪️ Хранение данных: личная информация хранится в течение срока, который Neuralink считает необходимым для проведения клинических испытаний, или до тех пор, пока человек не запросит удаление из Реестра пациентов.
▪️ Запрет на продажу или целевую рекламу: обязуется не продавать личную информацию и не передавать ее третьим сторонам для целей целевой рекламы.
#UXWatch
@pattern_ai

Neuralink и риски цифрового принуждения
Ч.2.
Давайте заглянем в будущее, когда технологии BCI станут доступны на коммерческой основе.
Использование высокочувствительной информации, связанной с нейронными связями конкретного человека ставит уникальные проблемы, которые еще необходимо решить:
- вопросы о происхождении и целостности данных еще до того, как будут задействованы данные человека, касающиеся «предчеловеческих» данных и их влияния на обработку данных человека. Neuralink широко использует животные модели для доклинических исследований, собирая данные КТ и имитируя свойства мозга для практики имплантации. Эти «предчеловеческие» данные напрямую влияют на дизайн, интерфейс и функциональность человеческих имплантатов и алгоритмов, которые будут обрабатывать нейронные данные человека. Доклинические исследования направлены на сужение фокуса и выявление переменных для применения на людях. Хотя данные животных не классифицируются как «персональные данные» в соответствии с действующими законами о конфиденциальности, предубеждения или ограничения, введенные во время сбора доклинических данных и последующего обучения модели ИИ на этих данных, могут непреднамеренно распространиться на системы BCI, ориентированные на человека.
- адекватность текущих мер защиты данных, использование анонимизации данных. Сама природа нейронных данных, даже при удалении прямых идентификаторов, по своей сути уникальна для человека. Сложность декодирования сигналов мозга для таких функций, как «управление курсором типа «наведи и щелкни»», «мозг-текст» или «декодирование целых слов непосредственно из мозга» подразумевает прямую связь между нейронной активностью и высоколичными когнитивными процессами. Уровень детализации данных в сочетании с передовыми возможностями ИИ по выводу данных означает, что даже «анонимизированные» нейронные данные потенциально могут раскрывать чувствительные атрибуты, когнитивные состояния и идентифицировать человека (теория мозаики) . Про риски эксплуатации чувствительных данных указывают и сенаторы в совместном письме к FTC.
- «парадокс согласия», присущий быстро развивающимся возможностям BCI от базового управления курсором к потенциальному декодированию сложных мыслей или намерений непосредственно из мозга. Neuralink подчеркивает явное согласие на сбор и использование данных. Однако то, на что человек соглашается сегодня — например, на управление курсором или набор текста — может привести к непредвиденным возможностям завтра, таким как декодирование сложных мыслей, намерений или эмоциональных состояний, выходящих за рамки простых команд. Люди не могут по-настоящему предоставить полностью информированное согласие на будущие, неизвестные использования или выводы, сделанные из их нейронных данных, особенно по мере развития технологии.
- отсутствие публичных отчётов об эффективности, безопасности, побочных эффектах. Например, Neuralink не публикует подробные клинические данные, сообщения об ошибках (например, отсоединение электродов) задерживаются
- вопросы рекламы даже поднимать не хочется….

А из рекомендаций — посмотрите 7 сезон Black Mirror или хотя бы первую серию этого сезона “Common People” и задумайтесь, кто в будущем будет определять, что является вашей мыслью — вы или алгоритм?
Почитать — Neuralink’s brain-computer interfaces: medical innovations and ethical challenges,
Safeguarding Brain Data: Assessing the Privacy Practices of Consumer Neurotechnology Companies /NeuroRights Foundation

#UXWatch #AIShelf
@pattern_ai

AI-агенты и применимость EU AI ACT

Вышел Report Ahead of the Curve: Governing AI Agents under the EU AI Act/The Future Society, где раскрываются характеристики AI -агентов, объясняется распределение обязанностей по управлению между участниками цепочки создания стоимости AI-агента, предлагается четырехкатегорийная таксономию для организации обязательств по управлению, в зависимости от функций и характеристик реализации ( оценка риска агента, инструменты прозрачности, технические меры по смягчению последствий развертывания, человеческий надзор).

AI-агенты рассматриваются, как AI‑системы, поскольку (i) они соответствуют шести базовым критериям определения AI‑системы (ст. 3(1); C (2025) 924 (9)), (ii) они представляют собой GPAI‑модели с дополнительными компонентами (preamble (Recital) 97).
- Являются ли агенты (построенные на моделях GPAI) системами GPAI?
Да, но только если они поддерживают достаточную общность возможностей для обслуживания нескольких целей (Преамбула 100). Поставщик системы может интегрировать модель GPAI в систему агента таким образом, чтобы предотвратить общие возможности.
- Должны ли поставщики GPAISR учитывать риски АI-агентов ИИ?
AI-агенты напрямую связаны с несколькими источниками системного риска, такими как доступ к инструментам и высокий уровень автономности, которые необходимо оценивать и смягчать (Преамбула 110, ст. 55 (1)(b)). Это справедливо независимо от того, разработан ли AI-агент (i) самим поставщиком модели или (ii) нижестоящим поставщиком.
- Являются ли AI -агенты высокорисковыми системами?
Это зависит от предполагаемого назначения агента. Агент является высокорисковой системой ИИ, если он предназначен для (i) функционирования в качестве компонента безопасности или (ii) для варианта использования, перечисленного в Приложении III, в этом случае применяются положения Гл. III. Если AI-агент является системой GPAI и может использоваться в зоне высокого риска согласно Приложению III, поставщик должен намеренно исключить такое использование, чтобы избежать классификации высокого риска.
- Какой орган отвечает за надзор за AI -агентами?
Если агент не является высокорисковой системой GPAI и разработан нижестоящим поставщиком, то ответственность за надзор несет соответствующий национальный орган по надзору за рынком. Если агент является высокорисковой системой GPAI и разработан нижестоящим поставщиком, то ответственность несет Орган по надзору за рынком, но он должен тесно сотрудничать с Управлением по надзору за рынком для оценки соответствия (ст. 75(2), Преамбула 161). 3. Если агент создан на основе модели GPAI, а агент и модель GPAI разработаны одним и тем же поставщиком, ответственность несет Управление по надзору за рынком (ст. 75(1)).
Про рекомендации по использованию AI-агентов читайте в другом посте.
#LawAndDisorder
@pattern_ai

Не в ЕС, но в зоне риска, к кому применим EU AI Act

Разберем в серии постов, как AI Act делает стартапы глобально ответственными.
К кому применяется?
1️⃣ В 27 странах-членах ЕС и в странах Европейского экономического пространства (ЕЭП) — Норвегии, Исландии и Лихтенштейне.
2️⃣ Имеет экстерриториальное применение, т.е. распространяется на компании, находящиеся за пределами ЕС и ЕЭП, если они:
- предоставляют на рынок ЕС или ЕЭП AI-системы или модели общего назначения (GPAI).
- вводят в эксплуатацию такие системы или модели в ЕС или ЕЭП.
- развертывают AI-системы, результаты работы которых используются в ЕС или ЕЭП.
Н-р: ИИ прогнозы, контент, рекомендации или решения — если они используются в ЕС—могут потенциально привести к применению Акта. Анализ кандидатов и подготовка отчёта для клиента в ЕС, компанией не в ЕС.
3️⃣ Требования AI Act касаются других участников эксплуатации, распространения или использования ИИ-систем (поставщиков, импортеров, дистрибьюторов и пользователей).
#LawAndDisorder
@pattern_ai

Что должен знать и продакт, и юрист: категории систем ИИ по EU AI ACT

AI Act делит ИИ-системы на четыре категории по уровню риска. Для понимания объема ваших обязательств необходимо определить категорию, под которую подпадает ИИ- система.
1️⃣ Неприемлемый уровень риска (Art.5) - системы ИИ, использование которых нарушает основные права, закрепленные в Хартии Европейского союза об основных правах:
• социальный скоринг. Н-р. Государственная AI-система оценивает граждан по их поведению (социальные взаимодействия, активность в интернете, платежная дисциплина). Люди с низкими баллами сталкиваются с ограничениями на получение госуслуг, повышенными ставками по кредитам, трудностями при аренде жилья и трудоустройстве.
• эксплуатация любых уязвимостей физических лиц ( возраст, инвалидность, социально-экономические условия) с целью существенного искажения их поведения таким образом, который причиняет или может причинить значительный вред. Н-р: Чат-бот для лиц с психическими расстройствами, который подталкивает к покупке дорогостоящих медицинских продуктов. Алгоритмы прогнозирования ИИ для таргетирования рекламы финансовых продуктов на людей с низким доходом.
• распознавание лиц путем неселективного сбора изображений из интернета или систем видеонаблюдения (CCTV),
• манипулятивные технологии ИИ. Н-р: AI-бот может подделывать голос знакомого человека, чтобы вводить людей в заблуждение. Игрушки на базе ИИ, побуждающие детей выполнять все более рискованные задания;
• оценка и прогнозирование риска совершения отдельных уголовных преступлений (размещение на рынке, ввод в эксплуатацию или использование ИИ исключительно для составления профилей лиц с целью оценки или прогнозирования вероятности преступного поведения).
• распознавание эмоций на рабочем месте или в образовательных учреждениях, за исключением медицинских целей или соображений безопасности и т.п.
• использование сублиминальных техник, направленных на воздействие за пределами сознания человека для существенного искажения его поведения.
• использование систем биометрической категоризации чувствительных характеристик. Н-р: ИИ, анализирующий голос человека для определения его расы, считается нарушением закона. ИИ, анализирующий татуировки или черты лица для предсказания религиозных убеждений, подпадает под запрет.
2️⃣ Высокий уровень риска (Art.6,7, Annex 1 и 3) - системы, которые потенциально могут оказать пагубное воздействие на здоровье, безопасность и основные права людей, н-р:
• биометрическая идентификация и категоризация, распознавание эмоций;
• критическая инфраструктура (цифровая инфраструктура, дорожное движение, подача воды, газа, отопления или электроэнергии);
• образовательная и профессиональная подготовка (зачисление, оценка результатов обучения, выявление запрещенного поведения учащихся);
• трудоустройство, руководство сотрудниками, доступ к самозанятости (отбор кандидатов, оценка результатов работы и т.п.);
• доступ к определенным частным и государственным услугам (оценка права на получение пособий, медицинских услуг, кредитоспособность, риски, связанные со страхованием и т.п.);
• определенная деятельность, связанная с правоохранительными органами; и
• управление миграцией, предоставление убежища, пограничный контроль, судебные функции.
3️⃣Ограниченный уровень риска (Art. 50) - cистемы, которые имеют низкий потенциал для манипуляции или причинения вреда пользователям и их правам (чат-боты и системы, генерирующие или манипулирующие изображениями, аудио и видео).
4️⃣Минимальный уровень риска - cистемы, которые обладают минимальной возможностью нанести вред пользователям или нарушить их права (спам-фильтры, видеоигры, использующие ИИ).
#LawAndDisorder
@pattern_ai

Предварительно определить уровень риска системы ИИ можно с помощью прохождения опросников
The SME assessment tool for AI requirements и
EU AI Act Compliance Checker, а дальше продолжить работу с экспертами
#LawAndDisorder #AIShelf
@pattern_ai