Что представляет собой оценка воздействия на фундаментальные права человека для систем ИИ повышенного риска в соответствии с Регламентом ЕС об ИИ?

Друзья, поздравляю с наступившим Новым годом! Надеюсь, все успели хотя бы немного перевести дух и побыть с близкими 🤩. Ну а мы продолжаем разбираться в мире ИИ-регулирования, в котором уже произошло много интересного. Начнем с чего-то небольшого, но полезного для практики.

Рабочая группа по ИИ и данным Confederation of European Data Protection Organisations (CEDPO) недавно начала публиковать небольшие статьи, призванные объяснить отдельные положения Регламента и обратить внимание на проблемы и тонкости правоприменения (конечно, они не являются официальным толкованием).

Последняя из публикаций посвящена оценке воздействия на фундаментальные права человека для отдельных систем ИИ повышенного риска, предусмотренной статьей 27 Регламента.

Что это за оценка?

Статья 27 Регламента предусматривает необходимость проведения такой оценки для эксплуататоров (deployers) отдельных систем повышенного риска (кратко: публичные услуги, оценка кредитоспособности и страхования жизни) до развертывания. Важно отметить, что данная оценка призвана минимизировать новые риски, возникающие на стадии применения систем ИИ, и не отменяет обязательства, возложенные на их разработчиков.

Какие права относятся к фундаментальным?

Те, которые обозначены в Хартии ЕС об основных правах (детали можно посмотреть на скриншотах).

Что входит в оценку?

- описание назначения системы ИИ и процессов, в рамках которых она будет использоваться;

- описание периода времени и частоты использования системы ИИ;

- категории физических лиц и их групп, которые могут пострадать от использования системы ИИ;

- конкретные риски причинения вреда, которые могут повлиять на физических лиц или их группы;

- описание мер по обеспечению надзора со стороны человека в соответствии с инструкциями по применению системы ИИ;

- меры, которые должны быть приняты в случае возникновения негативных последствий, включая механизмы внутреннего управления и рассмотрения жалоб.

Позднее AI Office должен разработать шаблон документа и средства автоматизации, чтобы упростить процесс проведения оценки для эксплуататоров.

Как соотносится с GDPR?

Если какое-либо из перечисленных обязательств уже выполнено в рамках проведения оценки воздействия на защиту персональных данных, предусмотренной статьей 35 GDPR, то оценка воздействия на фундаментальные права человека для систем ИИ повышенного риска должна дополнять ее.

Что еще полезно изучить?

Если хотите более подробно изучить этот вопрос, рекомендую свежую статью Алессандро Мантелеро.

Также 28 января состоится презентация первой методологии по проведению оценки воздействия на фундаментальные права человека для систем ИИ повышенного риска.

AI Governance-архивы недели

Друзья, регулярно я сталкиваюсь с большим количеством материалов и публикаций по теме ИИ-регулирования. Однако не все из них я успеваю разобрать в формате постов, так как время, к сожалению, ограничено, а пишу я обычно долго и въедливо. Поэтому я решил ввести рубрику «AI Governance-архивы недели», где я буду давать вам ссылки на интересности без детального авторского разбора (некоторые из них, возможно, разберу позднее). Сразу отмечу, что это не будет топом публикаций за неделю. Скорее, то, что заинтересовало лично меня.

Я буду рад, если в комментариях вы будете присылать то, что показалось вам интересным и важным, но на что я не обратил должного внимания. Мне кажется, это будет полезно всему нашему коммьюнити 🤩.

- Британский полиси пэйпер с описанием шагов по достижению ИИ-лидерства от нового правительства: Policy paper AI Opportunities Action Plan: government response;

- Отчет Center for Democracy & Technology (CDT): Assessing AI Surveying the Spectrum of Approaches to Understanding and Auditing AI Systems;

- Отчет RAND Understanding the Artificial Intelligence Diffusion Framework Can Export Controls Create a U.S.-Led Global Artificial Intelligence Ecosystem?;

- Рекомендации по AI Impact Assessment для бизнеса от правительства Нидерландов (в том числе и по подготовке к соответствию Регламенту ЕС об ИИ: AI Impact Assessment: The tool for a responsible AI project;

- Огромный и очень важный отчет от Bipartisan Artificial Intelligence Task Force (Конгресс США);

- Статья Dornis (forthcoming 2/2025) The Training of Generative AI Is Not Text and Data Mining;

- Статья Torben et al. (2025) Examining Popular Arguments Against AI Existential Risk: A Philosophical Analysis;

- Вайтпейпер от Stanford HAI Wang et al. (2025) Assessing the Implementation of Federal AI Leadership and Compliance Mandates;

- Последний выпуск журнала Journal of AI Law and Regulation (много всего интересного);

- Исследователи Мориц фон Кнебель и Маркус Андерлюнг поделились своей подборкой по актуальным идеям для исследований по AI Governance;

- Курс Stanford CS120: Introduction to AI Safety;

- Для отдыха в выходные: интервью исследователя Ивана Ямщикова у Елизаветы Осетинской.

AI Incident Tracker стал частью MIT AI Risk Repository

Небольшое, но важное дополнение к предыдущей новости. Недавно я писал про обновление MIT AI Risk Repository. Также в репозиторий теперь добавлен другой проект — AI Incident Tracker, который направлен на обобщение и систематизацию инцидентов, произошедших с системами ИИ. Из-за объединения проектов теперь можно искать инциденты, используя таксономию рисков, которая применяется в репозитории.

Какие еще есть базы данных об ИИ-инцидентах?

AI Incident Database

OECD AI Incidents Monitor (AIM)

MITRE ATLAS AI Incident Sharing initiative

Если знаете еще, присылайте в комментарии, дополню пост 🐱.

Опубликован международный отчет о безопасности продвинутого ИИ

Сегодня был опубликован отчет The International Scientific Report on the Safety of Advanced AI, подготовленный при участии 100 экспертов из 33 стран (многих из них мы с вами уже знаем) и при поддержке ООН, ОЭСР и ЕС. Главным редактором выступил Йошуа Бенжио. Подготовка документа началась после Bletchley Park AI Safety Summit и заняла более года. Официальная презентация отчета состоится на AI Action Summit, который пройдет в Париже 10–11 февраля.

Отчет получился довольно объемным (почти 300 страниц), но пугаться не стоит — он хорошо структурирован и понятен.

О чем отчет?

Документ включает несколько ключевых разделов:

- описание возможностей ИИ общего назначения;

- анализ основных рисков, связанных с его разработкой и применением (вредоносное использование, неисправности, системные риски, потенциальное влияние открытого ИИ);

- технические подходы к управлению рисками — самый важный раздел, в котором обобщены текущие методики и рассмотрено их соответствие законодательным требованиям.

Почему важно изучить?

Сфера AI Safety сейчас находится в стадии формирования, поэтому такие исследования, направленные на унификацию терминологии и методик, могут в дальнейшем стать основой для разработки нормативных актов и технических стандартов на международном и национальном уровнях.

Например, Йошуа Бенжио возглавляет рабочую группу Technical Risk Mitigation for Systemic Risk, которая занимается подготовкой Европейского кодекса практик для ИИ общего назначения (GPAI Code of Practice). Кроме него, в число авторов отчета входят и другие эксперты, участвующие в разработке международных стандартов. Даже при беглом прочтении отчета уже замечаю много до боли знакомых фрагментов.

Бонус для любителей академической литературы: в конце отчета приведен список из 1000+ источников 🤩.

Регламент ЕС об ИИ: сегодня начали действовать главы I и II

Друзья, не хотел портить настроение в воскресенье, но так решили европейские законодатели 🤩. Напоминаю, что с сегодняшнего дня начинают действовать главы I и II Регламента ЕС об ИИ.

Что это за главы?

Глава I состоит из четырёх статей: предмет регулирования, сфера применения, определения и грамотность в сфере ИИ.

Последняя предполагает, что поставщики (providers) и эксплуататоры (deployers) систем ИИ должны предпринимать меры для обеспечения необходимого уровня знаний сотрудников.

Глава II перечисляет 8 запрещённых ИИ-практик (приложил скриншот с кратким описанием этих практик).

Несмотря на то, что глава XII, предусматривающая отдельные штрафы за создание подобных систем ИИ, начнёт действовать только со 2 августа 2025 года, это не отменяет того факта, что теперь такая деятельность является противоправной.

Полный таймлайн начала действия отдельных положений акта я ранее расписал в посте тут.

Вышел пятичасовой подкаст про ИИ у Лекса Фридмана

Есть свободные 5 часов в понедельник? 🤩 Тогда можно посмотреть новый выпуск подкаста Лекса Фридмана, посвящённый ИИ. Я пока не успел ознакомиться, но уже знаю, чем буду заниматься перед сном.

В гостях:

Дилан Патель — основатель SemiAnalysis, исследовательской и аналитической компании, специализирующейся на полупроводниках и аппаратном обеспечении ИИ.

Натан Ламберт — научный сотрудник Института ИИ Аллена (AI2) и автор блога Interconnects.

В Европарламенте состоялись публичные слушания относительно доработки проекта Директивы об ответственности в сфере ИИ

В прошлую пятницу в Комитете по правовым вопросам (JURI) Европарламента состоялись публичные слушания относительно результатов проведенной ранее оценки воздействия, выполненной по запросу комитета относительно проекта Директивы об ответственности в сфере ИИ (AI Liability Directive, AILD).

Подробно о результатах данной оценки я писал в посте здесь. Рекомендую его изучить сначала, чтобы лучше понять, о чем я пишу здесь.

Кто выступал?

Филипп Хакер, European University Viadrina (автор оценки воздействия, представил результаты);

Себастьяно Тоффалетти, Digital SME Alliance, Secretary General;

Анна Бучта, Head of Unit "Policy and Consultation", European Data Protection Supervisor (EDPS);

+ в дискуссии поучаствовали члены комитета и Еврокомиссии.

Что обсуждали?

Кратко резюмирую основные моменты дискуссии:

- Нужна ли вообще эта директива? По большей части все участники согласились, что она необходима по нескольким причинам:

1. позволит гармонизировать подходы к установлению ответственности за вред, причиненный системами ИИ, и процессуальные правила сразу во всех странах-членах ЕС, вместо того чтобы иметь 27 различных подходов. Это поможет бизнесу и гражданам сэкономить на юристах (юристы против🤩) и технических специалистах в ходе судебных разбирательств;

2. упростит для граждан возможность обращаться в суд за счет необходимости обязательного раскрытия информации со стороны разработчика / эксплуатанта системы ИИ (аналогично принятой ранее Директиве об ответственности за качество продукции (Product Liability Directive, PLD) (мой большой обзор на нее доступен здесь);

3. сможет использоваться в случаях, которые не подпадают под PLD: дискриминация, права человека, нарушения в области конфиденциальности и интеллектуальной собственности.

Однако было высказано предложение о том, что возможно, стоит подождать несколько лет, пока технологическое развитие не выйдет на плато, и государства-члены выработают собственные практики, лучшие из которых затем можно будет гармонизировать на уровне ЕС.

- На кого должна распространяться директива?

1. однозначно поддержана позиция о необходимости включения в нее поставщиков моделей ИИ общего назначения, так как они ранее отсутствовали в тексте проекта директивы. Это произошло потому, что текст проекта Директивы был представлен Еврокомиссией ранее, чем был принят окончательный вариант Регламента ЕС об ИИ, в котором появилась соответствующая глава;

2. неоднозначно оценивается необходимость распространения положений директивы только на поставщиков систем ИИ повышенного риска, как определено в Регламенте ЕС об ИИ. Это связано с тем, что положения об ответственности, очевидно, должны касаться более широкого круга систем ИИ, чем предусмотрено Регламентом. Для этого, например, в тексте оценки воздействия было предложено ввести новую групп систем ИИ — системы ИИ, оказывающие значительное воздействие (high-impact AI systems).

Также до 17 марта можно участвовать в общественных консультациях, если для вас имеет значение содержание будущего документа.

Беркли радует нас новыми документами по риск-менеджменту

Наступили выходные, а значит, самое время освежить свои знания по ИИ-рискам и риск-менеджменту 🤩. Благо Center for Long-Term Cybersecurity (CLTC) в UC Berkeley опубликовал несколько интересных документов:

1) Рекомендации по определению пороговых значений недопустимых рисков (Intolerable Risk Threshold Recommendations for AI).

Авторы определяют недопустимые риски следующим образом: риски, связанные с причинением значительного вреда общественной безопасности и правам человека, усилением неравенства, экономическими потерями или нежелательным изменением ценностей и общественных норм. Эти риски могут возникнуть в результате преднамеренного недобросовестного использования, сбоев в работе систем, непредвиденных последствий цепочки взаимосвязанных событий, а также каскадных, вторичных или одновременных отказов в работе передовых моделей.

Основные выводы из документа:

- пороговые значения должны быть установлены с достаточным запасом прочности, чтобы учитывать неопределённости, влияющие на достижение целей;

- оценка возможностей технологий двойного назначения должна проводиться с использованием бенчмарков, методов «красной команды» и других передовых практик;

- сравнение с соответствующими базовыми сценариями позволяет определить, является ли увеличение риска «минимальным» или «существенным»;

- анализ вероятности и последствий рисков должен включать определение типов возможного ущерба и моделирование его тяжести;

- количественные методы оценки рисков следует дополнять качественным анализом их последствий;

- сопоставление вероятности возникновения неприемлемых исходов с потенциальной степенью их тяжести помогает выявить уровни риска, требующие управления;

- установление пороговых значений должно происходить через обсуждение с заинтересованными сторонами, а их соблюдение — обеспечиваться проактивным подходом к безопасности;

2) Профиль стандартов управления рисками для ИИ общего назначения и фундаментальных моделей (AI Risk-Management Standards Profile for General-Purpose AI (GPAI) and Foundation Models).

По сути, этот документ адаптирует положения NIST AI Risk Management Framework и ISO/IEC 23894, делая акцент на специфику, с которой сталкиваются разработчики моделей ИИ общего назначения и фундаментальных моделей.

Интервью Ильи Стребулаева о венчурных инвестициях в ИИ и меняющемся мире под воздействием технологий

Пост для тех, кто устал от правовой тематики 🤩. Вчера решил немного отдохнуть и посмотрел стрим у Елизаветы Осетинской с участием профессора Стэнфорда Ильи Стребулаева. Кстати, у него недавно вышла книга The Venture Mindset. Последнюю я ещё не успел прочитать. Если кто-то уже ознакомился, пишите свои мысли в комментариях.

Кратко изложу несколько интересных идей. Не все из них являются новыми, но не будет лишним ещё раз поразмыслить:

- В ближайшем будущем возникнет огромное количество моделей и систем ИИ в различных отраслях (работы будет много). Однако внутри каждой отдельной отрасли возникнет олигополия, которая будет крайне недолговечной из-за постоянного появления на рынке новых игроков. Более того, по оценке спикера, уже сейчас есть около десятка компаний, которые имеют все шансы в скором времени стать триллионными и заменить привычные нам бренды.

- Распределение прибыли внутри цепочки поставки ИИ-продуктов между держателями моделей и фактическими эксплуатантами будет неоднородным и сильно зависеть от конкретной отрасли.

- Качественная инфраструктура, включая сбалансированное регулирование, важнее огромного количества денег. Хорошие инновации невозможно построить, бездумно заливая сектор лёгкими деньгами.

- ИИ не сократит рабочие места, а изменит структуру занятости. Появятся новые профессии, будет нормой постоянно повышать квалификацию и менять специализацию несколько раз в течение жизни, вне зависимости от возраста. С удивлением узнал, что в Стэнфорде уже есть программа при Distinguished Careers Institute (DCI), позволяющая людям в 60+ лет, уже добившимся всего, вернуться на студенческую скамью для освоения новой профессии. Однако конкуренция будет только расти. Поэтому Илья советует каждому уже сегодня задать себе вопрос: как я могу использовать ИИ, чтобы стать наиболее эффективным?