AI Incident Tracker стал частью MIT AI Risk Repository

Небольшое, но важное дополнение к предыдущей новости. Недавно я писал про обновление MIT AI Risk Repository. Также в репозиторий теперь добавлен другой проект — AI Incident Tracker, который направлен на обобщение и систематизацию инцидентов, произошедших с системами ИИ. Из-за объединения проектов теперь можно искать инциденты, используя таксономию рисков, которая применяется в репозитории.

Какие еще есть базы данных об ИИ-инцидентах?

AI Incident Database

OECD AI Incidents Monitor (AIM)

MITRE ATLAS AI Incident Sharing initiative

Если знаете еще, присылайте в комментарии, дополню пост 🐱.

Опубликован международный отчет о безопасности продвинутого ИИ

Сегодня был опубликован отчет The International Scientific Report on the Safety of Advanced AI, подготовленный при участии 100 экспертов из 33 стран (многих из них мы с вами уже знаем) и при поддержке ООН, ОЭСР и ЕС. Главным редактором выступил Йошуа Бенжио. Подготовка документа началась после Bletchley Park AI Safety Summit и заняла более года. Официальная презентация отчета состоится на AI Action Summit, который пройдет в Париже 10–11 февраля.

Отчет получился довольно объемным (почти 300 страниц), но пугаться не стоит — он хорошо структурирован и понятен.

О чем отчет?

Документ включает несколько ключевых разделов:

- описание возможностей ИИ общего назначения;

- анализ основных рисков, связанных с его разработкой и применением (вредоносное использование, неисправности, системные риски, потенциальное влияние открытого ИИ);

- технические подходы к управлению рисками — самый важный раздел, в котором обобщены текущие методики и рассмотрено их соответствие законодательным требованиям.

Почему важно изучить?

Сфера AI Safety сейчас находится в стадии формирования, поэтому такие исследования, направленные на унификацию терминологии и методик, могут в дальнейшем стать основой для разработки нормативных актов и технических стандартов на международном и национальном уровнях.

Например, Йошуа Бенжио возглавляет рабочую группу Technical Risk Mitigation for Systemic Risk, которая занимается подготовкой Европейского кодекса практик для ИИ общего назначения (GPAI Code of Practice). Кроме него, в число авторов отчета входят и другие эксперты, участвующие в разработке международных стандартов. Даже при беглом прочтении отчета уже замечаю много до боли знакомых фрагментов.

Бонус для любителей академической литературы: в конце отчета приведен список из 1000+ источников 🤩.

Регламент ЕС об ИИ: сегодня начали действовать главы I и II

Друзья, не хотел портить настроение в воскресенье, но так решили европейские законодатели 🤩. Напоминаю, что с сегодняшнего дня начинают действовать главы I и II Регламента ЕС об ИИ.

Что это за главы?

Глава I состоит из четырёх статей: предмет регулирования, сфера применения, определения и грамотность в сфере ИИ.

Последняя предполагает, что поставщики (providers) и эксплуататоры (deployers) систем ИИ должны предпринимать меры для обеспечения необходимого уровня знаний сотрудников.

Глава II перечисляет 8 запрещённых ИИ-практик (приложил скриншот с кратким описанием этих практик).

Несмотря на то, что глава XII, предусматривающая отдельные штрафы за создание подобных систем ИИ, начнёт действовать только со 2 августа 2025 года, это не отменяет того факта, что теперь такая деятельность является противоправной.

Полный таймлайн начала действия отдельных положений акта я ранее расписал в посте тут.

Вышел пятичасовой подкаст про ИИ у Лекса Фридмана

Есть свободные 5 часов в понедельник? 🤩 Тогда можно посмотреть новый выпуск подкаста Лекса Фридмана, посвящённый ИИ. Я пока не успел ознакомиться, но уже знаю, чем буду заниматься перед сном.

В гостях:

Дилан Патель — основатель SemiAnalysis, исследовательской и аналитической компании, специализирующейся на полупроводниках и аппаратном обеспечении ИИ.

Натан Ламберт — научный сотрудник Института ИИ Аллена (AI2) и автор блога Interconnects.

В Европарламенте состоялись публичные слушания относительно доработки проекта Директивы об ответственности в сфере ИИ

В прошлую пятницу в Комитете по правовым вопросам (JURI) Европарламента состоялись публичные слушания относительно результатов проведенной ранее оценки воздействия, выполненной по запросу комитета относительно проекта Директивы об ответственности в сфере ИИ (AI Liability Directive, AILD).

Подробно о результатах данной оценки я писал в посте здесь. Рекомендую его изучить сначала, чтобы лучше понять, о чем я пишу здесь.

Кто выступал?

Филипп Хакер, European University Viadrina (автор оценки воздействия, представил результаты);

Себастьяно Тоффалетти, Digital SME Alliance, Secretary General;

Анна Бучта, Head of Unit "Policy and Consultation", European Data Protection Supervisor (EDPS);

+ в дискуссии поучаствовали члены комитета и Еврокомиссии.

Что обсуждали?

Кратко резюмирую основные моменты дискуссии:

- Нужна ли вообще эта директива? По большей части все участники согласились, что она необходима по нескольким причинам:

1. позволит гармонизировать подходы к установлению ответственности за вред, причиненный системами ИИ, и процессуальные правила сразу во всех странах-членах ЕС, вместо того чтобы иметь 27 различных подходов. Это поможет бизнесу и гражданам сэкономить на юристах (юристы против🤩) и технических специалистах в ходе судебных разбирательств;

2. упростит для граждан возможность обращаться в суд за счет необходимости обязательного раскрытия информации со стороны разработчика / эксплуатанта системы ИИ (аналогично принятой ранее Директиве об ответственности за качество продукции (Product Liability Directive, PLD) (мой большой обзор на нее доступен здесь);

3. сможет использоваться в случаях, которые не подпадают под PLD: дискриминация, права человека, нарушения в области конфиденциальности и интеллектуальной собственности.

Однако было высказано предложение о том, что возможно, стоит подождать несколько лет, пока технологическое развитие не выйдет на плато, и государства-члены выработают собственные практики, лучшие из которых затем можно будет гармонизировать на уровне ЕС.

- На кого должна распространяться директива?

1. однозначно поддержана позиция о необходимости включения в нее поставщиков моделей ИИ общего назначения, так как они ранее отсутствовали в тексте проекта директивы. Это произошло потому, что текст проекта Директивы был представлен Еврокомиссией ранее, чем был принят окончательный вариант Регламента ЕС об ИИ, в котором появилась соответствующая глава;

2. неоднозначно оценивается необходимость распространения положений директивы только на поставщиков систем ИИ повышенного риска, как определено в Регламенте ЕС об ИИ. Это связано с тем, что положения об ответственности, очевидно, должны касаться более широкого круга систем ИИ, чем предусмотрено Регламентом. Для этого, например, в тексте оценки воздействия было предложено ввести новую групп систем ИИ — системы ИИ, оказывающие значительное воздействие (high-impact AI systems).

Также до 17 марта можно участвовать в общественных консультациях, если для вас имеет значение содержание будущего документа.

Беркли радует нас новыми документами по риск-менеджменту

Наступили выходные, а значит, самое время освежить свои знания по ИИ-рискам и риск-менеджменту 🤩. Благо Center for Long-Term Cybersecurity (CLTC) в UC Berkeley опубликовал несколько интересных документов:

1) Рекомендации по определению пороговых значений недопустимых рисков (Intolerable Risk Threshold Recommendations for AI).

Авторы определяют недопустимые риски следующим образом: риски, связанные с причинением значительного вреда общественной безопасности и правам человека, усилением неравенства, экономическими потерями или нежелательным изменением ценностей и общественных норм. Эти риски могут возникнуть в результате преднамеренного недобросовестного использования, сбоев в работе систем, непредвиденных последствий цепочки взаимосвязанных событий, а также каскадных, вторичных или одновременных отказов в работе передовых моделей.

Основные выводы из документа:

- пороговые значения должны быть установлены с достаточным запасом прочности, чтобы учитывать неопределённости, влияющие на достижение целей;

- оценка возможностей технологий двойного назначения должна проводиться с использованием бенчмарков, методов «красной команды» и других передовых практик;

- сравнение с соответствующими базовыми сценариями позволяет определить, является ли увеличение риска «минимальным» или «существенным»;

- анализ вероятности и последствий рисков должен включать определение типов возможного ущерба и моделирование его тяжести;

- количественные методы оценки рисков следует дополнять качественным анализом их последствий;

- сопоставление вероятности возникновения неприемлемых исходов с потенциальной степенью их тяжести помогает выявить уровни риска, требующие управления;

- установление пороговых значений должно происходить через обсуждение с заинтересованными сторонами, а их соблюдение — обеспечиваться проактивным подходом к безопасности;

2) Профиль стандартов управления рисками для ИИ общего назначения и фундаментальных моделей (AI Risk-Management Standards Profile for General-Purpose AI (GPAI) and Foundation Models).

По сути, этот документ адаптирует положения NIST AI Risk Management Framework и ISO/IEC 23894, делая акцент на специфику, с которой сталкиваются разработчики моделей ИИ общего назначения и фундаментальных моделей.

Интервью Ильи Стребулаева о венчурных инвестициях в ИИ и меняющемся мире под воздействием технологий

Пост для тех, кто устал от правовой тематики 🤩. Вчера решил немного отдохнуть и посмотрел стрим у Елизаветы Осетинской с участием профессора Стэнфорда Ильи Стребулаева. Кстати, у него недавно вышла книга The Venture Mindset. Последнюю я ещё не успел прочитать. Если кто-то уже ознакомился, пишите свои мысли в комментариях.

Кратко изложу несколько интересных идей. Не все из них являются новыми, но не будет лишним ещё раз поразмыслить:

- В ближайшем будущем возникнет огромное количество моделей и систем ИИ в различных отраслях (работы будет много). Однако внутри каждой отдельной отрасли возникнет олигополия, которая будет крайне недолговечной из-за постоянного появления на рынке новых игроков. Более того, по оценке спикера, уже сейчас есть около десятка компаний, которые имеют все шансы в скором времени стать триллионными и заменить привычные нам бренды.

- Распределение прибыли внутри цепочки поставки ИИ-продуктов между держателями моделей и фактическими эксплуатантами будет неоднородным и сильно зависеть от конкретной отрасли.

- Качественная инфраструктура, включая сбалансированное регулирование, важнее огромного количества денег. Хорошие инновации невозможно построить, бездумно заливая сектор лёгкими деньгами.

- ИИ не сократит рабочие места, а изменит структуру занятости. Появятся новые профессии, будет нормой постоянно повышать квалификацию и менять специализацию несколько раз в течение жизни, вне зависимости от возраста. С удивлением узнал, что в Стэнфорде уже есть программа при Distinguished Careers Institute (DCI), позволяющая людям в 60+ лет, уже добившимся всего, вернуться на студенческую скамью для освоения новой профессии. Однако конкуренция будет только расти. Поэтому Илья советует каждому уже сегодня задать себе вопрос: как я могу использовать ИИ, чтобы стать наиболее эффективным?

Сегодня стартуют основные мероприятия на AI Action Summit

10-11 февраля в Париже будет проходить одно из центральных мероприятий в сфере ИИ в этом году — AI Action Summit. Площадок очень много, можно выбрать на вкус и цвет.

Что и где смотреть?

Пленарное заседание начнется 10 февраля в 10:00 по CET (очень скоро). Ссылка на трансляцию тут.

Полную программу мероприятия можно найти тут.

Также в рамках саммита проходят параллельные дополнительные площадки (полный список тут). Обратите внимание, что на них нужна отдельная регистрация.

В дни саммита также проходят культурные мероприятия, включая выставки и инсталляции (отдельный перечень тут).

Если кто-то будет смотреть (или находится там), делитесь интересностями в комментариях 😌.

Что происходит с Европейским Кодексом практик для ИИ общего назначения?

В декабре Европейский AI Office опубликовал вторую версию проекта Кодекса практик для ИИ общего назначения (General-Purpose AI Code of Practice). О том, что это за документ, я писал здесь и здесь. Также ранее я делал подробный разбор первой версии документа в четырёх частях: 1, 2, 3, 4.

Что появилось нового во второй версии?

Общий текст документа стал более детализированным и значительно увеличился в объёме: с 36 до 66 страниц.

Структура документа также претерпела изменения: теперь он состоит из преамбулы и двух основных частей. Последние включают обязательства (commitments), которые содержат KPI.

Часть II. Обязательства поставщиков моделей ИИ общего назначения
(соответствуют статьям 53 и 54 Регламента ЕС об ИИ)

Требования о прозрачности были доработаны главным образом в части уточнения того, какая именно документация должна быть представлена поставщиками моделей ИИ AI Office, другим компетентным органам, а также последующим поставщикам (downstream providers).

В раздел об авторских правах добавлены исключения для малого бизнеса (SMEs). Также уточнены требования по необходимости соблюдения машиночитаемых отказов при майнинге данных. Во внутренней политике защиты авторских прав (copyright policy) должен содержаться перечень используемых краулеров с описанием их предназначения.

В январе AI Office опубликовал примерный шаблон описания контента, содержащегося в обучающем наборе данных. Это описание должно быть опубликовано в соответствии со статьёй 53 Регламента ЕС об ИИ (об этом сделаю отдельный пост).

Часть III. Обязательства поставщиков моделей ИИ общего назначения, представляющих системные риски
(соответствуют статье 55 Регламента ЕС об ИИ)

В разделе о системных рисках обновлён перечень потенциальных рисков, опасных характеристик и возможностей моделей ИИ.

Добавлен пример содержания Safety and Security Framework, а также уточнены требования к Safety and Security Model Report.

В целом изменилось множество деталей. Если кратко обобщить, то в тексте появилось больше исключений для малого и среднего бизнеса, а подход к описанию рисков, требованиям к технической документации и риск-менеджменту стал более согласованным с международными практиками и признанными фреймворками.

Что дальше?

В ближайшие дни будет опубликован третий вариант текста, который будет значительно приближен к финальной версии документа. Мы его также подробно разберём. В марте продолжатся обсуждения новой редакции, по итогам которых состоится пленарное заседание. Как член рабочих групп я приму в них участие и обязательно сообщу, если появятся важные новости🍊.

Еврокомиссия прекратила работу над проектом Директивы об ответственности в сфере ИИ

Когда-нибудь появятся новости не про ЕС. Но не сегодня. Еврокомиссия отозвала проект Директивы об ответственности в сфере ИИ (AI Liability Directive, AILD). Подтверждение этому можно найти в Программе работы Комиссии на 2025 год.

Подробно о проекте директивы я писал здесь и здесь.

Что это значит?

Решение вызвало неоднозначную реакцию в сообществе: сторонники невмешательства государства в бизнес ликуют, а вот правозащитники и часть юридического сообщества — нет.

Проблема в том, что недавно был принят другой документ — Директива об ответственности за качество продукции (Product Liability Directive, PLD). Она упрощает для граждан подачу исков за счёт обязательного раскрытия информации со стороны экономического оператора (производителя, поставщика и т. п.) системы ИИ. Однако её сфера действия не безгранична. Например, она не охватывает вопросы дискриминации, прав человека, конфиденциальности и интеллектуальной собственности. В результате в этих областях на уровне ЕС законодательство отсутствует, а значит, в каждой из 27 стран-членов будут применяться свои нормативные положения. Поэтому в каком-то смысле AILD была бы даже выгодна для бизнеса, так как позволила бы выработать общие подходы на уровне всего ЕС.

Некоторые издания связывают это внезапное решение с усилившейся риторикой США в пользу дерегуляции отрасли (про это я как-нибудь напишу отдельно) и смещением фокуса мировой дискуссии после недавнего AI Action Summit. На саммите обсуждение регулирования и рисков было сведено к минимуму, а США и Великобритания и вовсе отказались подписывать и без того практически ни к чему не обязывающую декларацию.

На мой взгляд, истина где-то посередине.

- ЕС изначально сделал ставку на ex-ante подход, а не ex-post. То есть предполагалось, что ключевая роль в защите прав человека будет отведена требованиям к операторам систем и моделей ИИ ещё до их выхода на рынок на основе риск-ориентированного подхода. Поэтому сейчас все усилия направлены на то, чтобы сделать применение Регламента ЕС об ИИ максимально адекватным и не тормозящим инновации.

- В качестве механизма ex-post была принята уже упомянутая PLD, которая распространяет внедоговорную ответственность на всё ПО, включая ИИ.

- Текущая версия AILD остаётся сырой и не обладает непротиворечивой концепцией.

Таким образом, вероятно, было принято решение подождать несколько лет, пока Регламент ЕС об ИИ и PLD начнут действовать и возникнет какое-то понимание последствий. К этому времени, возможно, в странах-членах ЕС уже сложатся лучшие практики, которые затем можно будет гармонизировать. А пока это решение можно подать и в политическом ключе: ЕС тоже занимается дерегуляцией и выделяет на развитие ИИ 200 миллиардов евро🤩.

Кстати, мой большой разбор Product Liability Directive, PLD можно почитать тут.

Британский AI Safety Institute переформатируется в UK AI Security Institute

В качестве подарка на 14 февраля британский Department for Science, Innovation and Technology выпустил пресс-релиз о смене названия и приоритетов AI Safety Institute, переименовав его в UK AI Security Institute. Теперь основной акцент сделан на вопросах национальной безопасности и борьбе с преступным использованием ИИ.

Что за институт?

AI Safety Institute был создан осенью 2023 года вскоре после AI Safety Summit. Он сочетал в себе элементы стартапа (гибкость, быстрая адаптация) и исследовательской организации, выступая консультантом правительства.

Его задачи заключались в разработке методик, проведении внешних оценок моделей ИИ, а также в долгосрочных исследованиях в сфере AI Governance. В частности, в прошлом году институт совместно с U.S. AI Safety Institute провел предварительные оценки моделей OpenAI o1 и Anthropic Claude 3.5 Sonnet.

Что меняется?

Теперь институт сосредоточится на вопросах национальной безопасности. Основное внимание будет уделяться угрозам, связанным с использованием ИИ для: создания оружия, проведения кибератак, распространения запрещенного и сексуализированного контента и другой противоправной деятельности. Институт будет тесно сотрудничать с правоохранительными органами и военными структурами.

Однако в пресс-релизе прямо указано, что он больше не будет заниматься вопросами предвзятости, дискриминации и свободы слова🐱.

Эти изменения также отражают пересмотр роли института в проведении предварительных внешних оценок ИИ-моделей, которые вызывали раздражение у американских компаний. Теперь тестирование будет сосредоточено не на прозрачности и социально-этических аспектах, а на выявлении угроз национальной безопасности. Не исключено, что институт полностью откажется от независимых оценок, заменив их более тесным сотрудничеством с разработчиками и государственными структурами.

Таким образом, новое правительство Великобритании, с одной стороны, отказывается от AI Safety повестки прежнего правительства, а с другой — придерживается линии новой администрации США, смещая фокус с широких вопросов безопасности ИИ на вооружения, киберугрозы и защиту критической инфраструктуры.

Скоро стартует второй поток курса по AI Governance от RPPA, на котором я буду преподавать

Друзья, в этом году я продолжаю преподавать на курсе AI Governance, который проводит Regional Privacy Professionals Association.

Зачем и кому он нужен?

Курс поможет за несколько месяцев подробно разобраться в ландшафте нормативного правового регулирования и научиться выстраивать комплаенс ИИ-продуктов.

Это будет полезно не только юристам, но и всем, кто вовлечён в выстраивание процессов вокруг систем ИИ, включая DPO, специалистов по комплаенсу, управлению рисками и информационной безопасностью, а также руководителей направлений, продуктовых и проектных менеджеров.

Чем, на мой взгляд, этот курс удачен?

- Все преподаватели — фанаты своего дела. Каждый из них отвечает за занятия в рамках своей экспертизы: технические основы преподаёт инженер, за оборот данных и IP отвечают профильные специалисты и т. д. Это даёт возможность получить ценные экспертные знания и ознакомиться с разными точками зрения.

- Курс ориентирован на практику. Он помогает освоить ключевые навыки для выстраивания системы управления ИИ в организации. Подробно рассматриваются такие её элементы, как работа с данными, интеллектуальная собственность, управление рисками и качеством, а также кибербезопасность. Кроме того, домашние задания основаны на разборе и обсуждении реальных кейсов, с которыми сталкиваются преподаватели.

Материал сбалансирован, поэтому изученные лучшие практики можно применять как в иностранных юрисдикциях, так и в России. Полученные знания также помогут в подготовке к международным сертификациям, например AIGP от IAPP.

Мой вклад в курс

В рамках курса я проведу занятия по регулированию в сфере разработки и применения систем и моделей ИИ в ЕС, США и КНР, а также приму участие в семинарах и других активностях 🐱 .

Когда стартует обучение?

Занятия во втором потоке начинаются уже через несколько недель. Более подробно с программой можно ознакомиться по ссылке.