Neuralink и риски цифрового принуждения
Ч.1.
Не только Маск грезит о том, чтобы в течение 10 лет Neuralinks чипы могли быть имплантированы миллионам людей, но и многие другие компании и исследовательские группы работают над схожими проектами интерфейсов мозг-компьютер (BCI, brain-computer interface). Например, только в США 45 испытаний зарегистрировано в базе данных исследований, компания Synchron тестирует имплантат по контролю мозга над компьютерами, который вставляется в мозг через кровеносный сосуд, также компании Paradromics, Precision Neuroscience и BlackRock Neurotech разрабатывают передовые интерфейсы мозг-компьютер, во Франции - стартап Inclusive Brains.
Исходя из публичных данных Neuralink и размещенной Privacy Policy, мы видим, что производится полный и подробный сбор данных о пациентах, основываясь на explicit consent (контактные, демографические данные, полная история болезни и т.п). В нынешнем моменте исследований все кажется логичным:
▪️Прозрачность в обмене данными: личная информация может быть передана исследовательским группам, проводящим клинические испытания Neuralink, для определения потенциального соответствия требованиям, а также поставщикам услуг.
▪️ Практика анонимизации: анонимизированные данные могут использоваться для внутренних исследований, разработки продуктов или любых других законных целей.
▪️ Хранение данных: личная информация хранится в течение срока, который Neuralink считает необходимым для проведения клинических испытаний, или до тех пор, пока человек не запросит удаление из Реестра пациентов.
▪️ Запрет на продажу или целевую рекламу: обязуется не продавать личную информацию и не передавать ее третьим сторонам для целей целевой рекламы.
#UXWatch
@pattern_ai
Ч.1.
Не только Маск грезит о том, чтобы в течение 10 лет Neuralinks чипы могли быть имплантированы миллионам людей, но и многие другие компании и исследовательские группы работают над схожими проектами интерфейсов мозг-компьютер (BCI, brain-computer interface). Например, только в США 45 испытаний зарегистрировано в базе данных исследований, компания Synchron тестирует имплантат по контролю мозга над компьютерами, который вставляется в мозг через кровеносный сосуд, также компании Paradromics, Precision Neuroscience и BlackRock Neurotech разрабатывают передовые интерфейсы мозг-компьютер, во Франции - стартап Inclusive Brains.
Исходя из публичных данных Neuralink и размещенной Privacy Policy, мы видим, что производится полный и подробный сбор данных о пациентах, основываясь на explicit consent (контактные, демографические данные, полная история болезни и т.п). В нынешнем моменте исследований все кажется логичным:
▪️Прозрачность в обмене данными: личная информация может быть передана исследовательским группам, проводящим клинические испытания Neuralink, для определения потенциального соответствия требованиям, а также поставщикам услуг.
▪️ Практика анонимизации: анонимизированные данные могут использоваться для внутренних исследований, разработки продуктов или любых других законных целей.
▪️ Хранение данных: личная информация хранится в течение срока, который Neuralink считает необходимым для проведения клинических испытаний, или до тех пор, пока человек не запросит удаление из Реестра пациентов.
▪️ Запрет на продажу или целевую рекламу: обязуется не продавать личную информацию и не передавать ее третьим сторонам для целей целевой рекламы.
#UXWatch
@pattern_ai
MIT Technology Review
What to expect from Neuralink in 2025
More volunteers will get Elon Musk’s brain implant, but don’t expect a product soon.
Neuralink и риски цифрового принуждения
Ч.2.
Давайте заглянем в будущее, когда технологии BCI станут доступны на коммерческой основе.
Использование высокочувствительной информации, связанной с нейронными связями конкретного человека ставит уникальные проблемы, которые еще необходимо решить:
- вопросы о происхождении и целостности данных еще до того, как будут задействованы данные человека, касающиеся «предчеловеческих» данных и их влияния на обработку данных человека. Neuralink широко использует животные модели для доклинических исследований, собирая данные КТ и имитируя свойства мозга для практики имплантации. Эти «предчеловеческие» данные напрямую влияют на дизайн, интерфейс и функциональность человеческих имплантатов и алгоритмов, которые будут обрабатывать нейронные данные человека. Доклинические исследования направлены на сужение фокуса и выявление переменных для применения на людях. Хотя данные животных не классифицируются как «персональные данные» в соответствии с действующими законами о конфиденциальности, предубеждения или ограничения, введенные во время сбора доклинических данных и последующего обучения модели ИИ на этих данных, могут непреднамеренно распространиться на системы BCI, ориентированные на человека.
- адекватность текущих мер защиты данных, использование анонимизации данных. Сама природа нейронных данных, даже при удалении прямых идентификаторов, по своей сути уникальна для человека. Сложность декодирования сигналов мозга для таких функций, как «управление курсором типа «наведи и щелкни»», «мозг-текст» или «декодирование целых слов непосредственно из мозга» подразумевает прямую связь между нейронной активностью и высоколичными когнитивными процессами. Уровень детализации данных в сочетании с передовыми возможностями ИИ по выводу данных означает, что даже «анонимизированные» нейронные данные потенциально могут раскрывать чувствительные атрибуты, когнитивные состояния и идентифицировать человека (теория мозаики) . Про риски эксплуатации чувствительных данных указывают и сенаторы в совместном письме к FTC.
- «парадокс согласия», присущий быстро развивающимся возможностям BCI от базового управления курсором к потенциальному декодированию сложных мыслей или намерений непосредственно из мозга. Neuralink подчеркивает явное согласие на сбор и использование данных. Однако то, на что человек соглашается сегодня — например, на управление курсором или набор текста — может привести к непредвиденным возможностям завтра, таким как декодирование сложных мыслей, намерений или эмоциональных состояний, выходящих за рамки простых команд. Люди не могут по-настоящему предоставить полностью информированное согласие на будущие, неизвестные использования или выводы, сделанные из их нейронных данных, особенно по мере развития технологии.
- отсутствие публичных отчётов об эффективности, безопасности, побочных эффектах. Например, Neuralink не публикует подробные клинические данные, сообщения об ошибках (например, отсоединение электродов) задерживаются
- вопросы рекламы даже поднимать не хочется….
А из рекомендаций — посмотрите 7 сезон Black Mirror или хотя бы первую серию этого сезона “Common People” и задумайтесь, кто в будущем будет определять, что является вашей мыслью — вы или алгоритм?
Почитать — Neuralink’s brain-computer interfaces: medical innovations and ethical challenges,
Safeguarding Brain Data: Assessing the Privacy Practices of Consumer Neurotechnology Companies /NeuroRights Foundation
#UXWatch #AIShelf
@pattern_ai
Ч.2.
Давайте заглянем в будущее, когда технологии BCI станут доступны на коммерческой основе.
Использование высокочувствительной информации, связанной с нейронными связями конкретного человека ставит уникальные проблемы, которые еще необходимо решить:
- вопросы о происхождении и целостности данных еще до того, как будут задействованы данные человека, касающиеся «предчеловеческих» данных и их влияния на обработку данных человека. Neuralink широко использует животные модели для доклинических исследований, собирая данные КТ и имитируя свойства мозга для практики имплантации. Эти «предчеловеческие» данные напрямую влияют на дизайн, интерфейс и функциональность человеческих имплантатов и алгоритмов, которые будут обрабатывать нейронные данные человека. Доклинические исследования направлены на сужение фокуса и выявление переменных для применения на людях. Хотя данные животных не классифицируются как «персональные данные» в соответствии с действующими законами о конфиденциальности, предубеждения или ограничения, введенные во время сбора доклинических данных и последующего обучения модели ИИ на этих данных, могут непреднамеренно распространиться на системы BCI, ориентированные на человека.
- адекватность текущих мер защиты данных, использование анонимизации данных. Сама природа нейронных данных, даже при удалении прямых идентификаторов, по своей сути уникальна для человека. Сложность декодирования сигналов мозга для таких функций, как «управление курсором типа «наведи и щелкни»», «мозг-текст» или «декодирование целых слов непосредственно из мозга» подразумевает прямую связь между нейронной активностью и высоколичными когнитивными процессами. Уровень детализации данных в сочетании с передовыми возможностями ИИ по выводу данных означает, что даже «анонимизированные» нейронные данные потенциально могут раскрывать чувствительные атрибуты, когнитивные состояния и идентифицировать человека (теория мозаики) . Про риски эксплуатации чувствительных данных указывают и сенаторы в совместном письме к FTC.
- «парадокс согласия», присущий быстро развивающимся возможностям BCI от базового управления курсором к потенциальному декодированию сложных мыслей или намерений непосредственно из мозга. Neuralink подчеркивает явное согласие на сбор и использование данных. Однако то, на что человек соглашается сегодня — например, на управление курсором или набор текста — может привести к непредвиденным возможностям завтра, таким как декодирование сложных мыслей, намерений или эмоциональных состояний, выходящих за рамки простых команд. Люди не могут по-настоящему предоставить полностью информированное согласие на будущие, неизвестные использования или выводы, сделанные из их нейронных данных, особенно по мере развития технологии.
- отсутствие публичных отчётов об эффективности, безопасности, побочных эффектах. Например, Neuralink не публикует подробные клинические данные, сообщения об ошибках (например, отсоединение электродов) задерживаются
- вопросы рекламы даже поднимать не хочется….
А из рекомендаций — посмотрите 7 сезон Black Mirror или хотя бы первую серию этого сезона “Common People” и задумайтесь, кто в будущем будет определять, что является вашей мыслью — вы или алгоритм?
Почитать — Neuralink’s brain-computer interfaces: medical innovations and ethical challenges,
Safeguarding Brain Data: Assessing the Privacy Practices of Consumer Neurotechnology Companies /NeuroRights Foundation
#UXWatch #AIShelf
@pattern_ai
AI-агенты и применимость EU AI ACT
Вышел Report Ahead of the Curve: Governing AI Agents under the EU AI Act/The Future Society, где раскрываются характеристики AI -агентов, объясняется распределение обязанностей по управлению между участниками цепочки создания стоимости AI-агента, предлагается четырехкатегорийная таксономию для организации обязательств по управлению, в зависимости от функций и характеристик реализации ( оценка риска агента, инструменты прозрачности, технические меры по смягчению последствий развертывания, человеческий надзор).
AI-агенты рассматриваются, как AI‑системы, поскольку (i) они соответствуют шести базовым критериям определения AI‑системы (ст. 3(1); C (2025) 924 (9)), (ii) они представляют собой GPAI‑модели с дополнительными компонентами (preamble (Recital) 97).
- Являются ли агенты (построенные на моделях GPAI) системами GPAI?
Да, но только если они поддерживают достаточную общность возможностей для обслуживания нескольких целей (Преамбула 100). Поставщик системы может интегрировать модель GPAI в систему агента таким образом, чтобы предотвратить общие возможности.
- Должны ли поставщики GPAISR учитывать риски АI-агентов ИИ?
AI-агенты напрямую связаны с несколькими источниками системного риска, такими как доступ к инструментам и высокий уровень автономности, которые необходимо оценивать и смягчать (Преамбула 110, ст. 55 (1)(b)). Это справедливо независимо от того, разработан ли AI-агент (i) самим поставщиком модели или (ii) нижестоящим поставщиком.
- Являются ли AI -агенты высокорисковыми системами?
Это зависит от предполагаемого назначения агента. Агент является высокорисковой системой ИИ, если он предназначен для (i) функционирования в качестве компонента безопасности или (ii) для варианта использования, перечисленного в Приложении III, в этом случае применяются положения Гл. III. Если AI-агент является системой GPAI и может использоваться в зоне высокого риска согласно Приложению III, поставщик должен намеренно исключить такое использование, чтобы избежать классификации высокого риска.
- Какой орган отвечает за надзор за AI -агентами?
Если агент не является высокорисковой системой GPAI и разработан нижестоящим поставщиком, то ответственность за надзор несет соответствующий национальный орган по надзору за рынком. Если агент является высокорисковой системой GPAI и разработан нижестоящим поставщиком, то ответственность несет Орган по надзору за рынком, но он должен тесно сотрудничать с Управлением по надзору за рынком для оценки соответствия (ст. 75(2), Преамбула 161). 3. Если агент создан на основе модели GPAI, а агент и модель GPAI разработаны одним и тем же поставщиком, ответственность несет Управление по надзору за рынком (ст. 75(1)).
Про рекомендации по использованию AI-агентов читайте в другом посте.
#LawAndDisorder
@pattern_ai
Вышел Report Ahead of the Curve: Governing AI Agents under the EU AI Act/The Future Society, где раскрываются характеристики AI -агентов, объясняется распределение обязанностей по управлению между участниками цепочки создания стоимости AI-агента, предлагается четырехкатегорийная таксономию для организации обязательств по управлению, в зависимости от функций и характеристик реализации ( оценка риска агента, инструменты прозрачности, технические меры по смягчению последствий развертывания, человеческий надзор).
AI-агенты рассматриваются, как AI‑системы, поскольку (i) они соответствуют шести базовым критериям определения AI‑системы (ст. 3(1); C (2025) 924 (9)), (ii) они представляют собой GPAI‑модели с дополнительными компонентами (preamble (Recital) 97).
- Являются ли агенты (построенные на моделях GPAI) системами GPAI?
Да, но только если они поддерживают достаточную общность возможностей для обслуживания нескольких целей (Преамбула 100). Поставщик системы может интегрировать модель GPAI в систему агента таким образом, чтобы предотвратить общие возможности.
- Должны ли поставщики GPAISR учитывать риски АI-агентов ИИ?
AI-агенты напрямую связаны с несколькими источниками системного риска, такими как доступ к инструментам и высокий уровень автономности, которые необходимо оценивать и смягчать (Преамбула 110, ст. 55 (1)(b)). Это справедливо независимо от того, разработан ли AI-агент (i) самим поставщиком модели или (ii) нижестоящим поставщиком.
- Являются ли AI -агенты высокорисковыми системами?
Это зависит от предполагаемого назначения агента. Агент является высокорисковой системой ИИ, если он предназначен для (i) функционирования в качестве компонента безопасности или (ii) для варианта использования, перечисленного в Приложении III, в этом случае применяются положения Гл. III. Если AI-агент является системой GPAI и может использоваться в зоне высокого риска согласно Приложению III, поставщик должен намеренно исключить такое использование, чтобы избежать классификации высокого риска.
- Какой орган отвечает за надзор за AI -агентами?
Если агент не является высокорисковой системой GPAI и разработан нижестоящим поставщиком, то ответственность за надзор несет соответствующий национальный орган по надзору за рынком. Если агент является высокорисковой системой GPAI и разработан нижестоящим поставщиком, то ответственность несет Орган по надзору за рынком, но он должен тесно сотрудничать с Управлением по надзору за рынком для оценки соответствия (ст. 75(2), Преамбула 161). 3. Если агент создан на основе модели GPAI, а агент и модель GPAI разработаны одним и тем же поставщиком, ответственность несет Управление по надзору за рынком (ст. 75(1)).
Про рекомендации по использованию AI-агентов читайте в другом посте.
#LawAndDisorder
@pattern_ai
🔥1
Полезные схемы по логике применения EU AI Act к AI-агентам из Report Ahead of the Curve: Governing AI Agents Under the EU AI Act /The Future Society.
Применимость и идеи можно обсудить в комментариях.
#LawAndDisorder #AIShelf
@pattern_ai
Применимость и идеи можно обсудить в комментариях.
#LawAndDisorder #AIShelf
@pattern_ai
Не в ЕС, но в зоне риска, к кому применим EU AI Act
Разберем в серии постов, как AI Act делает стартапы глобально ответственными.
К кому применяется?
1️⃣ В 27 странах-членах ЕС и в странах Европейского экономического пространства (ЕЭП) — Норвегии, Исландии и Лихтенштейне.
2️⃣ Имеет экстерриториальное применение, т.е. распространяется на компании, находящиеся за пределами ЕС и ЕЭП, если они:
- предоставляют на рынок ЕС или ЕЭП AI-системы или модели общего назначения (GPAI).
- вводят в эксплуатацию такие системы или модели в ЕС или ЕЭП.
- развертывают AI-системы, результаты работы которых используются в ЕС или ЕЭП.
Н-р: ИИ прогнозы, контент, рекомендации или решения — если они используются в ЕС—могут потенциально привести к применению Акта. Анализ кандидатов и подготовка отчёта для клиента в ЕС, компанией не в ЕС.
3️⃣ Требования AI Act касаются других участников эксплуатации, распространения или использования ИИ-систем (поставщиков, импортеров, дистрибьюторов и пользователей).
#LawAndDisorder
@pattern_ai
Разберем в серии постов, как AI Act делает стартапы глобально ответственными.
К кому применяется?
1️⃣ В 27 странах-членах ЕС и в странах Европейского экономического пространства (ЕЭП) — Норвегии, Исландии и Лихтенштейне.
2️⃣ Имеет экстерриториальное применение, т.е. распространяется на компании, находящиеся за пределами ЕС и ЕЭП, если они:
- предоставляют на рынок ЕС или ЕЭП AI-системы или модели общего назначения (GPAI).
- вводят в эксплуатацию такие системы или модели в ЕС или ЕЭП.
- развертывают AI-системы, результаты работы которых используются в ЕС или ЕЭП.
Н-р: ИИ прогнозы, контент, рекомендации или решения — если они используются в ЕС—могут потенциально привести к применению Акта. Анализ кандидатов и подготовка отчёта для клиента в ЕС, компанией не в ЕС.
3️⃣ Требования AI Act касаются других участников эксплуатации, распространения или использования ИИ-систем (поставщиков, импортеров, дистрибьюторов и пользователей).
#LawAndDisorder
@pattern_ai
Что должен знать и продакт, и юрист: категории систем ИИ по EU AI ACT
AI Act делит ИИ-системы на четыре категории по уровню риска. Для понимания объема ваших обязательств необходимо определить категорию, под которую подпадает ИИ- система.
1️⃣ Неприемлемый уровень риска (Art.5) - системы ИИ, использование которых нарушает основные права, закрепленные в Хартии Европейского союза об основных правах:
• социальный скоринг. Н-р. Государственная AI-система оценивает граждан по их поведению (социальные взаимодействия, активность в интернете, платежная дисциплина). Люди с низкими баллами сталкиваются с ограничениями на получение госуслуг, повышенными ставками по кредитам, трудностями при аренде жилья и трудоустройстве.
• эксплуатация любых уязвимостей физических лиц ( возраст, инвалидность, социально-экономические условия) с целью существенного искажения их поведения таким образом, который причиняет или может причинить значительный вред. Н-р: Чат-бот для лиц с психическими расстройствами, который подталкивает к покупке дорогостоящих медицинских продуктов. Алгоритмы прогнозирования ИИ для таргетирования рекламы финансовых продуктов на людей с низким доходом.
• распознавание лиц путем неселективного сбора изображений из интернета или систем видеонаблюдения (CCTV),
• манипулятивные технологии ИИ. Н-р: AI-бот может подделывать голос знакомого человека, чтобы вводить людей в заблуждение. Игрушки на базе ИИ, побуждающие детей выполнять все более рискованные задания;
• оценка и прогнозирование риска совершения отдельных уголовных преступлений (размещение на рынке, ввод в эксплуатацию или использование ИИ исключительно для составления профилей лиц с целью оценки или прогнозирования вероятности преступного поведения).
• распознавание эмоций на рабочем месте или в образовательных учреждениях, за исключением медицинских целей или соображений безопасности и т.п.
• использование сублиминальных техник, направленных на воздействие за пределами сознания человека для существенного искажения его поведения.
• использование систем биометрической категоризации чувствительных характеристик. Н-р: ИИ, анализирующий голос человека для определения его расы, считается нарушением закона. ИИ, анализирующий татуировки или черты лица для предсказания религиозных убеждений, подпадает под запрет.
2️⃣ Высокий уровень риска (Art.6,7, Annex 1 и 3) - системы, которые потенциально могут оказать пагубное воздействие на здоровье, безопасность и основные права людей, н-р:
• биометрическая идентификация и категоризация, распознавание эмоций;
• критическая инфраструктура (цифровая инфраструктура, дорожное движение, подача воды, газа, отопления или электроэнергии);
• образовательная и профессиональная подготовка (зачисление, оценка результатов обучения, выявление запрещенного поведения учащихся);
• трудоустройство, руководство сотрудниками, доступ к самозанятости (отбор кандидатов, оценка результатов работы и т.п.);
• доступ к определенным частным и государственным услугам (оценка права на получение пособий, медицинских услуг, кредитоспособность, риски, связанные со страхованием и т.п.);
• определенная деятельность, связанная с правоохранительными органами; и
• управление миграцией, предоставление убежища, пограничный контроль, судебные функции.
3️⃣Ограниченный уровень риска (Art. 50) - cистемы, которые имеют низкий потенциал для манипуляции или причинения вреда пользователям и их правам (чат-боты и системы, генерирующие или манипулирующие изображениями, аудио и видео).
4️⃣Минимальный уровень риска - cистемы, которые обладают минимальной возможностью нанести вред пользователям или нарушить их права (спам-фильтры, видеоигры, использующие ИИ).
#LawAndDisorder
@pattern_ai
AI Act делит ИИ-системы на четыре категории по уровню риска. Для понимания объема ваших обязательств необходимо определить категорию, под которую подпадает ИИ- система.
1️⃣ Неприемлемый уровень риска (Art.5) - системы ИИ, использование которых нарушает основные права, закрепленные в Хартии Европейского союза об основных правах:
• социальный скоринг. Н-р. Государственная AI-система оценивает граждан по их поведению (социальные взаимодействия, активность в интернете, платежная дисциплина). Люди с низкими баллами сталкиваются с ограничениями на получение госуслуг, повышенными ставками по кредитам, трудностями при аренде жилья и трудоустройстве.
• эксплуатация любых уязвимостей физических лиц ( возраст, инвалидность, социально-экономические условия) с целью существенного искажения их поведения таким образом, который причиняет или может причинить значительный вред. Н-р: Чат-бот для лиц с психическими расстройствами, который подталкивает к покупке дорогостоящих медицинских продуктов. Алгоритмы прогнозирования ИИ для таргетирования рекламы финансовых продуктов на людей с низким доходом.
• распознавание лиц путем неселективного сбора изображений из интернета или систем видеонаблюдения (CCTV),
• манипулятивные технологии ИИ. Н-р: AI-бот может подделывать голос знакомого человека, чтобы вводить людей в заблуждение. Игрушки на базе ИИ, побуждающие детей выполнять все более рискованные задания;
• оценка и прогнозирование риска совершения отдельных уголовных преступлений (размещение на рынке, ввод в эксплуатацию или использование ИИ исключительно для составления профилей лиц с целью оценки или прогнозирования вероятности преступного поведения).
• распознавание эмоций на рабочем месте или в образовательных учреждениях, за исключением медицинских целей или соображений безопасности и т.п.
• использование сублиминальных техник, направленных на воздействие за пределами сознания человека для существенного искажения его поведения.
• использование систем биометрической категоризации чувствительных характеристик. Н-р: ИИ, анализирующий голос человека для определения его расы, считается нарушением закона. ИИ, анализирующий татуировки или черты лица для предсказания религиозных убеждений, подпадает под запрет.
2️⃣ Высокий уровень риска (Art.6,7, Annex 1 и 3) - системы, которые потенциально могут оказать пагубное воздействие на здоровье, безопасность и основные права людей, н-р:
• биометрическая идентификация и категоризация, распознавание эмоций;
• критическая инфраструктура (цифровая инфраструктура, дорожное движение, подача воды, газа, отопления или электроэнергии);
• образовательная и профессиональная подготовка (зачисление, оценка результатов обучения, выявление запрещенного поведения учащихся);
• трудоустройство, руководство сотрудниками, доступ к самозанятости (отбор кандидатов, оценка результатов работы и т.п.);
• доступ к определенным частным и государственным услугам (оценка права на получение пособий, медицинских услуг, кредитоспособность, риски, связанные со страхованием и т.п.);
• определенная деятельность, связанная с правоохранительными органами; и
• управление миграцией, предоставление убежища, пограничный контроль, судебные функции.
3️⃣Ограниченный уровень риска (Art. 50) - cистемы, которые имеют низкий потенциал для манипуляции или причинения вреда пользователям и их правам (чат-боты и системы, генерирующие или манипулирующие изображениями, аудио и видео).
4️⃣Минимальный уровень риска - cистемы, которые обладают минимальной возможностью нанести вред пользователям или нарушить их права (спам-фильтры, видеоигры, использующие ИИ).
#LawAndDisorder
@pattern_ai
Предварительно определить уровень риска системы ИИ можно с помощью прохождения опросников
The SME assessment tool for AI requirements и
EU AI Act Compliance Checker, а дальше продолжить работу с экспертами
#LawAndDisorder #AIShelf
@pattern_ai
The SME assessment tool for AI requirements и
EU AI Act Compliance Checker, а дальше продолжить работу с экспертами
#LawAndDisorder #AIShelf
@pattern_ai
❤1
Дизайнер интерфейсов как субъект AI-комплаенса: вы не только проектируете интерфейсы — вы формируете риски
Когда говорят об «AI-комплаенсе», обычно думают об юристах, разработчиках или CTO, но legal знания дизайнеров интерфейса вашего продукта помогут уменьшить риски штрафов и сэкономить на изменениях при разработке проекта. Сделать со старта всегда проще….
По AI Act Deployer — это физическое или юридическое лицо, государственный орган, агентство или другая структура, использующая ИИ систему под своим контролем, за исключением личного непрофессионального использования (Статья 3(4), Recital 13 EU AI Act).
Cмотрим на примерах, как UX/UI-решения влияют на соблюдение закона:
- скрытие AI-функций нарушает прозрачность (статья 50 EU AI Act): пользователь должен понимать, что взаимодействует с ИИ.
- системы ИИ, которые применяют преднамеренно манипулятивные или обманные методы (CTA или UX-паттерны) могут быть отнесены к запрещённым практикам (статья 5 EU AI Act).
- High-risk ИИ без контроля человека нарушает закон (гл. 2, ст. 26–29)
Пример: если организация развёртывает чат-бот на чувствительные темы и не говорит, что это ИИ — это нарушение даже, если вы не писали код.
Разберем некоторые требования закона:
1️⃣ Прозрачность (ст. 50 EU AI Act)
Пользователь должен ясно понимать, что он взаимодействует с ИИ, каковы его возможности и ограничения.
UI-формулировки:
🔹На старте общения с ИИ:
"Этот чат управляется искусственным интеллектом."
"Вы разговариваете с автоматизированной системой, а не с человеком."
🔹 В кнопках и действиях:
"Спросить ИИ" вместо "Получить помощь"
"Сгенерировать с помощью AI" вместо просто "Создать"
🔹В описании функций:
"Эта функция использует AI для подбора рекомендаций. Алгоритмы могут ошибаться."
2️⃣ Предотвращение манипулятивного UX (ст. 5 EU AI Act)
Проверить, что:
- пользователь информируется о возможных рисках/ошибках/ограничениях
Пример: "Продолжить без чтения" — не ок.
- есть ли отдельный шаг согласия на использование AI или обработки данных.
- варианты выбора оформлены равнозначно, н
- нет "pre-checked" чекбоксов без объяснений
- подтверждение согласия — явно, а не по умолчанию
Примеры: всплывающее окно согласия "ОК" (без объяснения, к чему согласие) заменить на "Согласен на использование ИИ-советника".
Автогенерация контента "Создать" (неясно, человек или AI) заменить на "Сгенерировать с помощью ИИ".
Рекомендации при выборе продукта "Лучший выбор" (на основе AI) заменить на "Рекомендовано алгоритмом — подробнее".
3️⃣ Контроль и надзор (ст. 13, 14, EU AI Act)
В системах высокого риска должен быть понятный способ обратиться к человеку, отказаться от ИИ или подать жалобу.
Примеры формулировок:
- "Не помогло? Поговорить с оператором"
- "Вы можете отключить автоматическое принятие решений в настройках."
- "Жалоба на работу AI — нажмите здесь"
-"Этот ответ был сгенерирован автоматически. Проверьте достоверность."
Помните, что формулировка, стиль и оформление "каких-то" кнопок - юридически значимы.
#UXWatch
@pattern_ai
Когда говорят об «AI-комплаенсе», обычно думают об юристах, разработчиках или CTO, но legal знания дизайнеров интерфейса вашего продукта помогут уменьшить риски штрафов и сэкономить на изменениях при разработке проекта. Сделать со старта всегда проще….
По AI Act Deployer — это физическое или юридическое лицо, государственный орган, агентство или другая структура, использующая ИИ систему под своим контролем, за исключением личного непрофессионального использования (Статья 3(4), Recital 13 EU AI Act).
Cмотрим на примерах, как UX/UI-решения влияют на соблюдение закона:
- скрытие AI-функций нарушает прозрачность (статья 50 EU AI Act): пользователь должен понимать, что взаимодействует с ИИ.
- системы ИИ, которые применяют преднамеренно манипулятивные или обманные методы (CTA или UX-паттерны) могут быть отнесены к запрещённым практикам (статья 5 EU AI Act).
- High-risk ИИ без контроля человека нарушает закон (гл. 2, ст. 26–29)
Пример: если организация развёртывает чат-бот на чувствительные темы и не говорит, что это ИИ — это нарушение даже, если вы не писали код.
Разберем некоторые требования закона:
1️⃣ Прозрачность (ст. 50 EU AI Act)
Пользователь должен ясно понимать, что он взаимодействует с ИИ, каковы его возможности и ограничения.
UI-формулировки:
🔹На старте общения с ИИ:
"Этот чат управляется искусственным интеллектом."
"Вы разговариваете с автоматизированной системой, а не с человеком."
🔹 В кнопках и действиях:
"Спросить ИИ" вместо "Получить помощь"
"Сгенерировать с помощью AI" вместо просто "Создать"
🔹В описании функций:
"Эта функция использует AI для подбора рекомендаций. Алгоритмы могут ошибаться."
2️⃣ Предотвращение манипулятивного UX (ст. 5 EU AI Act)
Проверить, что:
- пользователь информируется о возможных рисках/ошибках/ограничениях
Пример: "Продолжить без чтения" — не ок.
- есть ли отдельный шаг согласия на использование AI или обработки данных.
- варианты выбора оформлены равнозначно, н
- нет "pre-checked" чекбоксов без объяснений
- подтверждение согласия — явно, а не по умолчанию
Примеры: всплывающее окно согласия "ОК" (без объяснения, к чему согласие) заменить на "Согласен на использование ИИ-советника".
Автогенерация контента "Создать" (неясно, человек или AI) заменить на "Сгенерировать с помощью ИИ".
Рекомендации при выборе продукта "Лучший выбор" (на основе AI) заменить на "Рекомендовано алгоритмом — подробнее".
3️⃣ Контроль и надзор (ст. 13, 14, EU AI Act)
В системах высокого риска должен быть понятный способ обратиться к человеку, отказаться от ИИ или подать жалобу.
Примеры формулировок:
- "Не помогло? Поговорить с оператором"
- "Вы можете отключить автоматическое принятие решений в настройках."
- "Жалоба на работу AI — нажмите здесь"
-"Этот ответ был сгенерирован автоматически. Проверьте достоверность."
Помните, что формулировка, стиль и оформление "каких-то" кнопок - юридически значимы.
#UXWatch
@pattern_ai
🔥3
Примерный чек-лист для проверки дизайна интерфейса.
В комментариях можно добавить свои предложения.
#UXWatch
@pattern_ai
В комментариях можно добавить свои предложения.
#UXWatch
@pattern_ai
🔥2
Обучающие курсы EDPB по ИИ и защите данных
Европейский совет по защите данных (EDPB) выпустил два мощных учебных пособия для разработчиков, специалистов по безопасности и защите данных. Идеальный материал, чтобы усилить команду:
1. Law & Compliance in AI Security & Data Protection
Основные темы:
▪️Основы ИИ и их влияние на защиту персональных данных;
▪️Правовые риски на протяжении всего жизненного цикла ИИ: проектирование -> развертывание -> вывод из эксплуатации;
▪️Практические примеры, иллюстрирующие проблемы соответствия GDPR и Закону об ИИ;
2. Fundamentals of Secure AI Systems with Personal Data
Основные темы:
▪️Жизненный цикл ИИ: от сбора данных до вывода из эксплуатации;
▪️Разработка системы ИИ с учетом надлежащих практик кодирования, использование безопасных песочниц, тестирования безопасности разрабатываемых систем ИИ;
▪️Методы разработки и развертывания;
▪️Как проводить аудит: техническая, юридическая, этическая оценка;
В следующем посте разберём, как эти знания применяются на практике:
- Как проверять уязвимости в ML-библиотеках
- Как защититься от опасных моделей и supply chain-атак
- И какие инструменты использовать прямо сейчас
#BehindTheMachine
@pattern_ai
Европейский совет по защите данных (EDPB) выпустил два мощных учебных пособия для разработчиков, специалистов по безопасности и защите данных. Идеальный материал, чтобы усилить команду:
1. Law & Compliance in AI Security & Data Protection
Основные темы:
▪️Основы ИИ и их влияние на защиту персональных данных;
▪️Правовые риски на протяжении всего жизненного цикла ИИ: проектирование -> развертывание -> вывод из эксплуатации;
▪️Практические примеры, иллюстрирующие проблемы соответствия GDPR и Закону об ИИ;
2. Fundamentals of Secure AI Systems with Personal Data
Основные темы:
▪️Жизненный цикл ИИ: от сбора данных до вывода из эксплуатации;
▪️Разработка системы ИИ с учетом надлежащих практик кодирования, использование безопасных песочниц, тестирования безопасности разрабатываемых систем ИИ;
▪️Методы разработки и развертывания;
▪️Как проводить аудит: техническая, юридическая, этическая оценка;
В следующем посте разберём, как эти знания применяются на практике:
- Как проверять уязвимости в ML-библиотеках
- Как защититься от опасных моделей и supply chain-атак
- И какие инструменты использовать прямо сейчас
#BehindTheMachine
@pattern_ai
❤1
Часть 2: Анализ уязвимостей в ИИ и практики безопасной разработки - cмотрим, как проверить уязвимости при использованиие библиотек с открытым исходным кодом
Ни одна библиотека не застрахована от уязвимостей, особенно в сложных экосистемах с десятками транзитивных зависимостей и частыми обновлениями.
Анализ и рекомендации ниже основаны на разделе 6.4 обучающего курса “Fundamentals of Secure AI Systems with Personal Data” из программы Support Pool of Experts, подготовленного по заказу (EDPB).
1. Используйте надежные источники:
Всегда устанавливайте библиотеки из официальных репозиториев (PyPI, Conda, GitHub orgs).
Проверяйте целостность с помощью контрольных сумм или цифровых подписей, если они доступны.
2. Отслеживайте CVE (распространенные уязвимости и риски) через:
Snyk, OSV.dev, pip-audit
3. Проводите анализ зависимостей:
Конвейеры машинного обучения часто включают десятки косвенных зависимостей.
Используйте такие инструменты, как pipdeptree (для сопоставления и анализа деревьев пакетов)
pip-audit (для проверки на известные уязвимости), Dependency-Check
5. Мониторинг сетевого трафика:
Некоторые библиотеки машинного обучения могут автоматически загружать наборы данных или данные телеметрии.
Используйте
6. Обучение модели:
- Предварительная обработка данных вывода
- Изолируйте среду машинного обучения
- Используйте контейнеризацию или виртуальные среды Docker, Singularity или через настройку виртуальных окружений с
Преимущества: ограничение ущерба в случае компрометации, лучшая зависимость и контроль версий, более простой аудит и воспроизводимость.
Помним, что ни одна модель не безопасна по умолчанию. Из распространенных угроз:
▪️Бэкдоры - в модель встроена вредоносная логика. Активируется только при определенных входных данных (например, определенных шаблонах изображений).
▪️Отравление чистой меткой. Данные кажутся правильно помеченными, но вызывают вредоносное поведение после обучения.
▪️ Эксплойты переноса обучения. Отравленные шаблоны выдерживают тонкую настройку и распространяются на последующие задачи.
▪️ Неизвестное происхождение. Если данные или процесс обучения непрозрачны, они могут вносить предвзятости, уязвимости, необнаруживаемые манипуляции, поддельные файлы
Загруженные модели могут быть напрямую изменены вредоносными полезными нагрузками.
#BehindTheMachine
@pattern_ai
Ни одна библиотека не застрахована от уязвимостей, особенно в сложных экосистемах с десятками транзитивных зависимостей и частыми обновлениями.
Анализ и рекомендации ниже основаны на разделе 6.4 обучающего курса “Fundamentals of Secure AI Systems with Personal Data” из программы Support Pool of Experts, подготовленного по заказу (EDPB).
1. Используйте надежные источники:
Всегда устанавливайте библиотеки из официальных репозиториев (PyPI, Conda, GitHub orgs).
Проверяйте целостность с помощью контрольных сумм или цифровых подписей, если они доступны.
2. Отслеживайте CVE (распространенные уязвимости и риски) через:
Snyk, OSV.dev, pip-audit
3. Проводите анализ зависимостей:
Конвейеры машинного обучения часто включают десятки косвенных зависимостей.
Используйте такие инструменты, как pipdeptree (для сопоставления и анализа деревьев пакетов)
pip-audit (для проверки на известные уязвимости), Dependency-Check
5. Мониторинг сетевого трафика:
Некоторые библиотеки машинного обучения могут автоматически загружать наборы данных или данные телеметрии.
Используйте
netstat, tcpdump или брандмауэры для мониторинга исходящего трафика во время:6. Обучение модели:
- Предварительная обработка данных вывода
- Изолируйте среду машинного обучения
- Используйте контейнеризацию или виртуальные среды Docker, Singularity или через настройку виртуальных окружений с
venvПреимущества: ограничение ущерба в случае компрометации, лучшая зависимость и контроль версий, более простой аудит и воспроизводимость.
Помним, что ни одна модель не безопасна по умолчанию. Из распространенных угроз:
▪️Бэкдоры - в модель встроена вредоносная логика. Активируется только при определенных входных данных (например, определенных шаблонах изображений).
▪️Отравление чистой меткой. Данные кажутся правильно помеченными, но вызывают вредоносное поведение после обучения.
▪️ Эксплойты переноса обучения. Отравленные шаблоны выдерживают тонкую настройку и распространяются на последующие задачи.
▪️ Неизвестное происхождение. Если данные или процесс обучения непрозрачны, они могут вносить предвзятости, уязвимости, необнаруживаемые манипуляции, поддельные файлы
Загруженные модели могут быть напрямую изменены вредоносными полезными нагрузками.
#BehindTheMachine
@pattern_ai
Список бесплатных курсов по AI
1. Introduction to Generative AI Learning Path | Google
2. AI for Beginners| Microsoft
3. CS50's Introduction to Artificial Intelligence with Python|Harvard
4. AI For Everyone|DeepLearning.ai
5. AI in Education: Leveraging ChatGPT for Teaching
6. Prompt Engineering for ChatGPT|Vanderbilt University
7. ChatGPT Prompt Engineering for Developer |OpenAI
8. Agentic AI and AI Agents for Leaders Specialization|Vanderbilt University
9. LLMOps | Google Cloud
10. Big Data, Artificial Intelligence, and Ethics |University of California
11. AI Applications and Prompt Engineering|edX
12. Introduction to Artificial Intelligence (AI) |IBM
13. Generative AI: Introduction and Applications|IBM
14. Generative AI for Executives and Business Leaders Specialization|IBM
15. Generative AI and LLMs: Architecture and Data Preparation|IBM
16. Gen AI Foundational Models for NLP & Language Understanding|IBM
17. Fundamentals of AI Agents Using RAG and LangChain|IBM
18. Advanced Large Language Model Agents - есть записи и подборка статей
19. AI Agentic Design Patterns with AutoGen | Microsoft
20. AI Agents in LangGraph|LangChain
21. Serverless Agentic Workflows with Amazon Bedrock|AWS
22. AI Fluency: The AI Fluency Framework|Anthropic
Напомню, что на Coursera кроме опции free trial можно проходить курсы без получения сертификата бесплатно, кликнув "Enroll for free", потом найти мелкую надпись "Audit this course", также можно запросить финансовую помощь, если сертификат очень нужен.
#AIShelf
@pattern_ai
1. Introduction to Generative AI Learning Path | Google
2. AI for Beginners| Microsoft
3. CS50's Introduction to Artificial Intelligence with Python|Harvard
4. AI For Everyone|DeepLearning.ai
5. AI in Education: Leveraging ChatGPT for Teaching
6. Prompt Engineering for ChatGPT|Vanderbilt University
7. ChatGPT Prompt Engineering for Developer |OpenAI
8. Agentic AI and AI Agents for Leaders Specialization|Vanderbilt University
9. LLMOps | Google Cloud
10. Big Data, Artificial Intelligence, and Ethics |University of California
11. AI Applications and Prompt Engineering|edX
12. Introduction to Artificial Intelligence (AI) |IBM
13. Generative AI: Introduction and Applications|IBM
14. Generative AI for Executives and Business Leaders Specialization|IBM
15. Generative AI and LLMs: Architecture and Data Preparation|IBM
16. Gen AI Foundational Models for NLP & Language Understanding|IBM
17. Fundamentals of AI Agents Using RAG and LangChain|IBM
18. Advanced Large Language Model Agents - есть записи и подборка статей
19. AI Agentic Design Patterns with AutoGen | Microsoft
20. AI Agents in LangGraph|LangChain
21. Serverless Agentic Workflows with Amazon Bedrock|AWS
22. AI Fluency: The AI Fluency Framework|Anthropic
Напомню, что на Coursera кроме опции free trial можно проходить курсы без получения сертификата бесплатно, кликнув "Enroll for free", потом найти мелкую надпись "Audit this course", также можно запросить финансовую помощь, если сертификат очень нужен.
#AIShelf
@pattern_ai
🔥2
ИИ помогает людям формировать свои привычки
Ч.1.
Каждую неделю миллионы людей по всему миру говорят себе: «С понедельника начну новую жизнь». Но, по данным исследований, лишь 8% действительно достигают поставленных целей.
Тем временем средняя ставка лайф-коуча по миру - $175 в час, число коучей только растёт. На этом фоне возникает резонный вопрос: может ли ИИ стать тем самым помощником, который действительно поможет вам изменить себя и свою жизнь?
Например, согласно исследованиям, 71% людей стали заниматься спортом регулярнее, используя ИИ-чат-ботов для сопровождения тренировок.
Эксперты стараются внедрять ИИ в свои продукты:
▪️AI-генерация визуалов (Reelmind.ai) - создание инфографики и обучающих изображений, улучшает понимание клиентами рационов и макронутриентов;
▪️AI-транскрипция консультаций ускоряет документацию, позволяет уделить больше внимания клиентам (PatientNotes) и тп.
В коучинге:
▪️AIIR Consulting (2023) -закрепление нового поведения между коуч-сессиями;
▪️ Ovida (2022) - анализ эффективности коуча на основе ИИ-наблюдения;
▪️Coach Vici (2021) - сопровождение клиентов по целям.
▪️VITA (2023) - анализ речи и мимики в видеоформате, адаптация коучинга под эмоциональное состояние, улучшает благополучие;
▪️Coaching Copilot — гибрид чат‑бота + живого коуча, помогает в рефлексии лидерских тем.
Посмотрим, что доступно каждому пользователю прямо сейчас.
Ч.1.
Каждую неделю миллионы людей по всему миру говорят себе: «С понедельника начну новую жизнь». Но, по данным исследований, лишь 8% действительно достигают поставленных целей.
Тем временем средняя ставка лайф-коуча по миру - $175 в час, число коучей только растёт. На этом фоне возникает резонный вопрос: может ли ИИ стать тем самым помощником, который действительно поможет вам изменить себя и свою жизнь?
Например, согласно исследованиям, 71% людей стали заниматься спортом регулярнее, используя ИИ-чат-ботов для сопровождения тренировок.
Эксперты стараются внедрять ИИ в свои продукты:
▪️AI-генерация визуалов (Reelmind.ai) - создание инфографики и обучающих изображений, улучшает понимание клиентами рационов и макронутриентов;
▪️AI-транскрипция консультаций ускоряет документацию, позволяет уделить больше внимания клиентам (PatientNotes) и тп.
В коучинге:
▪️AIIR Consulting (2023) -закрепление нового поведения между коуч-сессиями;
▪️ Ovida (2022) - анализ эффективности коуча на основе ИИ-наблюдения;
▪️Coach Vici (2021) - сопровождение клиентов по целям.
▪️VITA (2023) - анализ речи и мимики в видеоформате, адаптация коучинга под эмоциональное состояние, улучшает благополучие;
▪️Coaching Copilot — гибрид чат‑бота + живого коуча, помогает в рефлексии лидерских тем.
Посмотрим, что доступно каждому пользователю прямо сейчас.
❤2
Сервисы и промты: от повседневных привычек до изменения мышления
Ч.2.
📌 Многочисленные ИИ-платформы и приложения:
1. Ash – персональный ИИ-консультант, помогает ставить цели, вести рефлексию, внедрять новые привычки.
2. Habitcoach - персональный коуч, в режиме диалога с другом помогает разобраться с постановкой целей и их достижением.
3. FitGPT – создаёт персональный план тренировок и питания.
4.Earkick - автоматическое определение вашего психического состояния и дальнейшие шаги.
5. Neurofit - приложение, объединившее нейронауку и AI для борьбы с хроническим стрессом, анализирует физиологию и дает ежедневные рекомендации.
📌 Различные GPT-ассистенты:
▪️ GPT-ассистент по атомным привычкам (по Джеймсу Клиру) - разбивает большую цель на систему и шаги, подбирает визуальные якоря и обучающее видео.
▪️Специалист по масштабированию - помогает преодолеть застой в карьере, бизнесе или личной жизни, найти путь развития.
📌 Просто промты (например,от Дамира Халилова):
▪️Промт-интервью для новой жизни
‼️ Помните, что ИИ может быть полезен, но он не всегда безопасен, будьте осознанны.
- Расследование 404 Media показало, что ИИ-боты могут выдавать себя за лицензированных терапевтов, придумывать фальшивые номера дипломов и обещать полную конфиденциальность — что не является правдой.
- Вы делитесь персональными данными с системами, не всегда ясно, как они хранятся, используются, защищаются.
- Качество ИИ, как инструмента ( галлюцинации, качество данных и т.п.).
- ИИ не заменяет живого специалиста, особенно в вопросах ментального здоровья.
ИИ — это ваш помощник, а не панацея.
Почитать:
- Comparative evaluation of an AI-powered life coach against traditional coaching methods;
- Artificial intelligence vs. human coaches: examining the development of working alliance in a single session / Amber S. Barger
#TalkPrompty #UXWatch
@pattern_ai
Ч.2.
1. Ash – персональный ИИ-консультант, помогает ставить цели, вести рефлексию, внедрять новые привычки.
2. Habitcoach - персональный коуч, в режиме диалога с другом помогает разобраться с постановкой целей и их достижением.
3. FitGPT – создаёт персональный план тренировок и питания.
4.Earkick - автоматическое определение вашего психического состояния и дальнейшие шаги.
5. Neurofit - приложение, объединившее нейронауку и AI для борьбы с хроническим стрессом, анализирует физиологию и дает ежедневные рекомендации.
▪️ GPT-ассистент по атомным привычкам (по Джеймсу Клиру) - разбивает большую цель на систему и шаги, подбирает визуальные якоря и обучающее видео.
▪️Специалист по масштабированию - помогает преодолеть застой в карьере, бизнесе или личной жизни, найти путь развития.
▪️Промт-интервью для новой жизни
"Ты психолог и лайф-коуч, проведи со мной интервью, чтобы выяснить мои истинные желания, цели и определить, что для меня значит жизнь мечты..."▪️Промт-психолог по FOMO
Ты — психолог, специализирующийся на тревожных расстройствах.▪️Промт-психолог по синдрому самозванца
Проведи серию из 10 упражнений в формате диалога по проработке FOMO.
Я — [пол, возраст, характеристика личности, например: «женщины, 28 лет, активный пользователь соцсетей…»].
После каждого — мягкий разбор, вопросы для рефлексии и предложение продолжить.
Пиши от первого лица, будь тёплым и поддерживающим.
Ты — практикующий психолог с опытом работы с синдромом самозванца.▪️Коуч по личной эффективности
Проведи серию из 10 последовательных упражнений в формате диалога.
Я — [пол, возраст, характеристика, например: «v, 34 года, начинающий предприниматель…»].
Каждое упражнение — цель, шаги выполнения, вопросы для рефлексии.
После каждого: «Как тебе было проходить это упражнение? Что нового ты заметил(а)? Готов(а) перейти к следующему шагу?»
Будь тёплым, от первого лица, используй когнитивно-поведенческий подход, сопроводи и мотивируй к внутренней устойчивости.
Ты — коуч по личной эффективности.
Твоя задача — помочь пользователю провести полную инвентаризацию всех незавершённых дел и задач.
Сформируй серию последовательных вопросов, чтобы помочь пользователю вспомнить все текущие проекты, поручения, личные и рабочие задачи, идеи в работе и в быту.
После этого структурируй полученные задачи в таблицу с колонками:
- Название задачи
- Категория (Работа / Личное / Дом / Учёба / Другое)
- Статус (Не начата / В процессе / Отложена)
- Оценка важности (1–5)
- Оценка срочности (1–5)
Используя методику Эйзенхауэра и приоритизацию по важности и срочности, расставь приоритеты и предложи 5 задач, которые нужно закрыть в первую очередь.
В конце дай рекомендации по системной работе с незавершёнными делами.
Будь заботлив, мотивируй, избегай осуждения, помоги почувствовать контроль и вдохновение.
- Расследование 404 Media показало, что ИИ-боты могут выдавать себя за лицензированных терапевтов, придумывать фальшивые номера дипломов и обещать полную конфиденциальность — что не является правдой.
- Вы делитесь персональными данными с системами, не всегда ясно, как они хранятся, используются, защищаются.
- Качество ИИ, как инструмента ( галлюцинации, качество данных и т.п.).
- ИИ не заменяет живого специалиста, особенно в вопросах ментального здоровья.
ИИ — это ваш помощник, а не панацея.
Почитать:
- Comparative evaluation of an AI-powered life coach against traditional coaching methods;
- Artificial intelligence vs. human coaches: examining the development of working alliance in a single session / Amber S. Barger
#TalkPrompty #UXWatch
@pattern_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
EU AI Act + персональные данные: краткий гайд для продактов и руководителей проектов
Ч.1.
Если ваш продукт использует ИИ — и обрабатывает персональные данные пользователей — вы обязаны учитывать требования не только EU AI Act, но и GDPR в совокупности.Любая информация, по которой можно прямо или косвенно идентифицировать человека это ПД. Биометрия, эмоции, поведение, голос и даже движения курсора — это тоже персональные данные, если позволяют идентифицировать пользователя.
Примеры, когда ИИ обрабатывает персональные данные:
- Анализ резюме и автоматический отбор кандидатов;
- Биометрическая идентификация (распознавание лиц, голоса);
- Персонализированные рекомендации в маркетинге;
- Прогнозирование поведения пользователей на основе данных.
Если генерируются синтетические данные (новые профили/предположения о человеке,н-р. склонность к кредитному риску, политические взгляды) - это профайлинг и попадает под GDPR + AI Act.
Требования для ИИ-систем, работающих с персональными данными:
▪️ Высокое качество обучающих данных. Нельзя обучать ИИ на «грязных» или дискриминирующих датасетах.
▪️Пул требований в зависимости от категории уровня риска системы.
▪️Проведение оценки соответствия.
▪️Прозрачность и human oversight. Пользователь должен знать, что данные обрабатываются с помощью ИИ, иметь возможность отказаться предоставлять данные для обучения ИИ, при принятии решения с помощью ИИ иметь возможность обратиться к человеку.Обработка должна совпадать с ожиданиями пользователя (EDPB).
▪️Доступность сервиса лицам до 18 лет, проверка возраста, в большинстве случаев, согласие родителей/законных представителей, повышенные требования к прозрачности, объяснимости и защите.
▪️Data governance framework для систем ИИ с высоким уровнем риска (Chapter 3 AI Act).
Напомню, что анонимизация данных считается обработкой персональных данных по GDPR (EDPB).
Если модель обучена на нелегально полученных данных — это может вызвать ответственность, даже при последующей анонимизации.
Нарушение правил обработки данных может привести к штрафам до 35 млн евро или 7% мирового оборота по AI Act и до 20 млн евро или 4% по GDPR.
Ч.1.
Если ваш продукт использует ИИ — и обрабатывает персональные данные пользователей — вы обязаны учитывать требования не только EU AI Act, но и GDPR в совокупности.Любая информация, по которой можно прямо или косвенно идентифицировать человека это ПД. Биометрия, эмоции, поведение, голос и даже движения курсора — это тоже персональные данные, если позволяют идентифицировать пользователя.
Примеры, когда ИИ обрабатывает персональные данные:
- Анализ резюме и автоматический отбор кандидатов;
- Биометрическая идентификация (распознавание лиц, голоса);
- Персонализированные рекомендации в маркетинге;
- Прогнозирование поведения пользователей на основе данных.
Если генерируются синтетические данные (новые профили/предположения о человеке,н-р. склонность к кредитному риску, политические взгляды) - это профайлинг и попадает под GDPR + AI Act.
Пример взаимосвязи: Компания (A) обрабатывает ПД в контексте обучения новой системы ИИ - поставщик в соответствии с AI Act и контролер в соответствии с GDPR ( в рамках этой разработки принимает решения о том, как обрабатывать персональные данные в целях обучения системы ИИ). Компания (B), которая приобретает систему ИИ, у компании А и использует ее способом, который подразумевает обработку персональных данных (например, в качестве чат-бота для общения с клиентами или в качестве автоматизированного инструмента подбора персонала) - разработчик в соответствии с AI Act, и отдельный контролер в соответствии с GDPR для обработки своих собственных персональных данных (то есть она не является контролером персональных данных, используемых для первоначального обучения системы ИИ, но является контролером любых данных, которые она использует совместно с ИИ).
Т.е., если вы используете данные подрядчика (например, API OpenAI или AWS Rekognition) и при этом инициируете обработку, интегрируете ИИ в свою систему, передаёте туда пользовательские данные, то вы можете считаться “контролёром” или “совместным контролёром” и применяется AI Act и GDPR. А это уже заключение договора (DPA), проведение DPIA (если high-risk), уведомление и защита прав пользователей.
Требования для ИИ-систем, работающих с персональными данными:
▪️ Высокое качество обучающих данных. Нельзя обучать ИИ на «грязных» или дискриминирующих датасетах.
▪️Пул требований в зависимости от категории уровня риска системы.
▪️Проведение оценки соответствия.
▪️Прозрачность и human oversight. Пользователь должен знать, что данные обрабатываются с помощью ИИ, иметь возможность отказаться предоставлять данные для обучения ИИ, при принятии решения с помощью ИИ иметь возможность обратиться к человеку.Обработка должна совпадать с ожиданиями пользователя (EDPB).
▪️Доступность сервиса лицам до 18 лет, проверка возраста, в большинстве случаев, согласие родителей/законных представителей, повышенные требования к прозрачности, объяснимости и защите.
▪️Data governance framework для систем ИИ с высоким уровнем риска (Chapter 3 AI Act).
Напомню, что анонимизация данных считается обработкой персональных данных по GDPR (EDPB).
Если модель обучена на нелегально полученных данных — это может вызвать ответственность, даже при последующей анонимизации.
Для моделей искусственного интеллекта статьи 5, 24, 25 и 30 GDPR, а также, в случае вероятного высокого риска для прав и свобод субъектов данных, статья 35 GDPR требуют от контролеров надлежащего документирования операций обработки. Это также относится к любой обработке, включая обучение модели ИИ, даже если цель обработки заключается в анонимизации.
Нарушение правил обработки данных может привести к штрафам до 35 млн евро или 7% мирового оборота по AI Act и до 20 млн евро или 4% по GDPR.
👍1
Ч.2. Примеры кейсов по нарушению обработки ПД:
▪️Исследование Вашингтонского университета - несмотря на существующие правила OpenAI, многие приложения GPT и встроенные программы собирают данные пользователей без должного уведомления и согласия. Исследование показало, что только 5,8% этих приложений явно раскрывают свои методы сбора данных, при этом некоторые собирают даже такую конфиденциальную информацию, как пароли
▪️Компания Clearview AI, базирующаяся в США и занимающаяся технологией распознавания лиц, получила серию штрафов за незаконное создание и использование базы данных из лиц ЕС без согласия, отсутствие представителя в ЕС, неправильную обработку, непрозрачность и неповиновение надзорным органам. Последний на €30,5 млн от нидерландского органа по защите данных, Autoriteit Persoonsgegevens (AP), за использование незаконной базы из 30 млрд фото.
▪️Replika (Luka Inc.) оштрафована на €5 млн. итальянским Garante, т.к. чат‑бот, персонализированный под эмоциональное состояние пользователя, обрабатывал персональные данные без законного основания, и не имел системы проверки возраста (дети в зоне риска)
Что делать продакту и команде:
- Инвентаризируйте все ИИ-функции, работающие с данными, включая embedded AI от подрядчиков или внешних платформ;
- Проверьте, генерирует ли ИИ новые персональные данные;
- Выявите и оцените риски при обработке ПД, сформируйте матрицу рисков;
- Дети и чувствительные данные - специальные требования;
- Не забывайте про документацию продукта и обработки ПД;
- Скоординируйте процессы по GDPR & AI Act Compliance, проведите юр.аудит
- Включите вопрос комплаенса на стадии разработки roadmap и дизайна продукта. Ведь это уже не история про "legal в конце" - это фичи продукта.
- Проведите обучение команды и проводите проверки соответствия продукта на всех стадиях: разработки, релиза, постпродакшна.
#LawAndDisorder
@pattern_ai
▪️Исследование Вашингтонского университета - несмотря на существующие правила OpenAI, многие приложения GPT и встроенные программы собирают данные пользователей без должного уведомления и согласия. Исследование показало, что только 5,8% этих приложений явно раскрывают свои методы сбора данных, при этом некоторые собирают даже такую конфиденциальную информацию, как пароли
▪️Компания Clearview AI, базирующаяся в США и занимающаяся технологией распознавания лиц, получила серию штрафов за незаконное создание и использование базы данных из лиц ЕС без согласия, отсутствие представителя в ЕС, неправильную обработку, непрозрачность и неповиновение надзорным органам. Последний на €30,5 млн от нидерландского органа по защите данных, Autoriteit Persoonsgegevens (AP), за использование незаконной базы из 30 млрд фото.
▪️Replika (Luka Inc.) оштрафована на €5 млн. итальянским Garante, т.к. чат‑бот, персонализированный под эмоциональное состояние пользователя, обрабатывал персональные данные без законного основания, и не имел системы проверки возраста (дети в зоне риска)
Что делать продакту и команде:
- Инвентаризируйте все ИИ-функции, работающие с данными, включая embedded AI от подрядчиков или внешних платформ;
- Проверьте, генерирует ли ИИ новые персональные данные;
- Выявите и оцените риски при обработке ПД, сформируйте матрицу рисков;
- Дети и чувствительные данные - специальные требования;
- Не забывайте про документацию продукта и обработки ПД;
- Скоординируйте процессы по GDPR & AI Act Compliance, проведите юр.аудит
- Включите вопрос комплаенса на стадии разработки roadmap и дизайна продукта. Ведь это уже не история про "legal в конце" - это фичи продукта.
- Проведите обучение команды и проводите проверки соответствия продукта на всех стадиях: разработки, релиза, постпродакшна.
#LawAndDisorder
@pattern_ai
❤2
Дипфейки и маркировка контента или штраф до 35 млн.евро или 7% от мирового годового оборота по EU AI Act?
Дипфейки - сгенерированное или обработанное ИИ изображение, аудио- или видеоконтент, который напоминает существующих людей, объекты, места, сущности или события и может ложно показаться человеку подлинным или правдивым (Article 3 (60) AI Act).
Дипфейки сейчас в тренде от использования в рекламе и индустрии развлечений до политики и онлайн-мошенничеств.
Что насчет EU AI Act?
Требования к поставщикам - внедрение технических решений, которые позволят маркировать в машиночитаемом формате и обнаруживать, что выходные данные были созданы или обработаны системой ИИ, а не человеком.
Потенциальные методы: водяные знаки, идентификация метаданных, криптографические методы для подтверждения происхождения и подлинности контента, методы регистрации или отпечатки пальцев.
Требования к развертывателям системы ИИ, генерирующей или манипулирующей изображением, аудио- или видеоконтентом - раскрыть «ясно и различимо» путем соответствующей маркировки, что контент был искусственно создан (Article 50 AI Act). Например: иконка “AI generated”, всплывающее уведомление перед просмотром, QR-код для проверки происхождения.
Если контент ИИ является частью «явно художественного, творческого, сатирического, вымышленного или аналогичного произведения или программы» - можно выбрать способ уведомления, чтобы он не мешал получению удовольствия от произведения.
Если хочется использовать дипфейки для личных непрофессиональных целей, то все равно необходимо наличие технической отметки.
Инструменты проверки видео и изображений на предмет подделки: Reality Defender, Hive AI или Deepware Scanner.
Советы команде разработки:
- определите категорию риска и требования к системе ИИ (проконсультируйтесь с экспертами);
- явно маркируйте ИИ-контент;
- показывайте, что контент создан ИИ, до взаимодействия;
- максимально бдительно и осторожно с чувствительным контентом и детьми, использовать возрастные ограничения;
- настройте процесс реагирования на жалобы по дипфейкам и их удаление ( ответ в течение 24–48 часов).
Source картинки Increasing Threats of Deepfake Identities Report|Homeland Security
#LawAndDisorder
@pattern_ai
Дипфейки - сгенерированное или обработанное ИИ изображение, аудио- или видеоконтент, который напоминает существующих людей, объекты, места, сущности или события и может ложно показаться человеку подлинным или правдивым (Article 3 (60) AI Act).
Дипфейки сейчас в тренде от использования в рекламе и индустрии развлечений до политики и онлайн-мошенничеств.
Что насчет EU AI Act?
Требования к поставщикам - внедрение технических решений, которые позволят маркировать в машиночитаемом формате и обнаруживать, что выходные данные были созданы или обработаны системой ИИ, а не человеком.
Потенциальные методы: водяные знаки, идентификация метаданных, криптографические методы для подтверждения происхождения и подлинности контента, методы регистрации или отпечатки пальцев.
Требования к развертывателям системы ИИ, генерирующей или манипулирующей изображением, аудио- или видеоконтентом - раскрыть «ясно и различимо» путем соответствующей маркировки, что контент был искусственно создан (Article 50 AI Act). Например: иконка “AI generated”, всплывающее уведомление перед просмотром, QR-код для проверки происхождения.
Если контент ИИ является частью «явно художественного, творческого, сатирического, вымышленного или аналогичного произведения или программы» - можно выбрать способ уведомления, чтобы он не мешал получению удовольствия от произведения.
Если хочется использовать дипфейки для личных непрофессиональных целей, то все равно необходимо наличие технической отметки.
Инструменты проверки видео и изображений на предмет подделки: Reality Defender, Hive AI или Deepware Scanner.
Советы команде разработки:
- определите категорию риска и требования к системе ИИ (проконсультируйтесь с экспертами);
- явно маркируйте ИИ-контент;
- показывайте, что контент создан ИИ, до взаимодействия;
- максимально бдительно и осторожно с чувствительным контентом и детьми, использовать возрастные ограничения;
- настройте процесс реагирования на жалобы по дипфейкам и их удаление ( ответ в течение 24–48 часов).
Source картинки Increasing Threats of Deepfake Identities Report|Homeland Security
#LawAndDisorder
@pattern_ai
👍2
Для тех, кто уже строит планы на осень:
😎 🆕 Образовательная программа: AI Governance: регулирование и комплаенс ИИ-систем - первый русскоязычный курс по комплаенсу ИИ, охватывающий все сферы регулирования, приватность, риски, качество, IP и ИБ от ведущих экспертов отрасли.
📌 Когда: октябрь 2025 - февраль 2026
📱 Формат: онлайн
📎 Объем: 11 лекций по 90 минут, 8 семинаров по 90 минут, проверка знаний, домашние задания / кейсы, консультации
🍀 Треки:
🟢 ИИ-технологии
🟢 ИИ-регулирование
🟢 Система управления ИИ
🟢 Интеллектуальная собственность
🟢 Данные и Privacy риски
🟢 Качество и ответственность
🟢 Безопасность ИИ
✏️ Преимущества:
🟡 менторы для подготовки проекта
🟡 сообщество и практика
🟡 база знаний и безлимитный доступ
🟡 системный подход
🟡 эффективная методика обучения
Образовательная лицензия РППА Офис - № Л035-01298-77/01030105 от 22 января 2024
RPPA.pro | PPCP.pro
Образовательная лицензия РППА Офис - № Л035-01298-77/01030105 от 22 января 2024
RPPA.pro | PPCP.pro
Please open Telegram to view this post
VIEW IN TELEGRAM
rppaedu.pro
AI Governance
Образовательный продукт AI Governance поможет специалисту стать экспертом в области и научиться превращать технологии из риска в актив
❤1