Беркли радует нас новыми документами по риск-менеджменту

Наступили выходные, а значит, самое время освежить свои знания по ИИ-рискам и риск-менеджменту 🤩. Благо Center for Long-Term Cybersecurity (CLTC) в UC Berkeley опубликовал несколько интересных документов:

1) Рекомендации по определению пороговых значений недопустимых рисков (Intolerable Risk Threshold Recommendations for AI).

Авторы определяют недопустимые риски следующим образом: риски, связанные с причинением значительного вреда общественной безопасности и правам человека, усилением неравенства, экономическими потерями или нежелательным изменением ценностей и общественных норм. Эти риски могут возникнуть в результате преднамеренного недобросовестного использования, сбоев в работе систем, непредвиденных последствий цепочки взаимосвязанных событий, а также каскадных, вторичных или одновременных отказов в работе передовых моделей.

Основные выводы из документа:

- пороговые значения должны быть установлены с достаточным запасом прочности, чтобы учитывать неопределённости, влияющие на достижение целей;

- оценка возможностей технологий двойного назначения должна проводиться с использованием бенчмарков, методов «красной команды» и других передовых практик;

- сравнение с соответствующими базовыми сценариями позволяет определить, является ли увеличение риска «минимальным» или «существенным»;

- анализ вероятности и последствий рисков должен включать определение типов возможного ущерба и моделирование его тяжести;

- количественные методы оценки рисков следует дополнять качественным анализом их последствий;

- сопоставление вероятности возникновения неприемлемых исходов с потенциальной степенью их тяжести помогает выявить уровни риска, требующие управления;

- установление пороговых значений должно происходить через обсуждение с заинтересованными сторонами, а их соблюдение — обеспечиваться проактивным подходом к безопасности;

2) Профиль стандартов управления рисками для ИИ общего назначения и фундаментальных моделей (AI Risk-Management Standards Profile for General-Purpose AI (GPAI) and Foundation Models).

По сути, этот документ адаптирует положения NIST AI Risk Management Framework и ISO/IEC 23894, делая акцент на специфику, с которой сталкиваются разработчики моделей ИИ общего назначения и фундаментальных моделей.

Интервью Ильи Стребулаева о венчурных инвестициях в ИИ и меняющемся мире под воздействием технологий

Пост для тех, кто устал от правовой тематики 🤩. Вчера решил немного отдохнуть и посмотрел стрим у Елизаветы Осетинской с участием профессора Стэнфорда Ильи Стребулаева. Кстати, у него недавно вышла книга The Venture Mindset. Последнюю я ещё не успел прочитать. Если кто-то уже ознакомился, пишите свои мысли в комментариях.

Кратко изложу несколько интересных идей. Не все из них являются новыми, но не будет лишним ещё раз поразмыслить:

- В ближайшем будущем возникнет огромное количество моделей и систем ИИ в различных отраслях (работы будет много). Однако внутри каждой отдельной отрасли возникнет олигополия, которая будет крайне недолговечной из-за постоянного появления на рынке новых игроков. Более того, по оценке спикера, уже сейчас есть около десятка компаний, которые имеют все шансы в скором времени стать триллионными и заменить привычные нам бренды.

- Распределение прибыли внутри цепочки поставки ИИ-продуктов между держателями моделей и фактическими эксплуатантами будет неоднородным и сильно зависеть от конкретной отрасли.

- Качественная инфраструктура, включая сбалансированное регулирование, важнее огромного количества денег. Хорошие инновации невозможно построить, бездумно заливая сектор лёгкими деньгами.

- ИИ не сократит рабочие места, а изменит структуру занятости. Появятся новые профессии, будет нормой постоянно повышать квалификацию и менять специализацию несколько раз в течение жизни, вне зависимости от возраста. С удивлением узнал, что в Стэнфорде уже есть программа при Distinguished Careers Institute (DCI), позволяющая людям в 60+ лет, уже добившимся всего, вернуться на студенческую скамью для освоения новой профессии. Однако конкуренция будет только расти. Поэтому Илья советует каждому уже сегодня задать себе вопрос: как я могу использовать ИИ, чтобы стать наиболее эффективным?

Сегодня стартуют основные мероприятия на AI Action Summit

10-11 февраля в Париже будет проходить одно из центральных мероприятий в сфере ИИ в этом году — AI Action Summit. Площадок очень много, можно выбрать на вкус и цвет.

Что и где смотреть?

Пленарное заседание начнется 10 февраля в 10:00 по CET (очень скоро). Ссылка на трансляцию тут.

Полную программу мероприятия можно найти тут.

Также в рамках саммита проходят параллельные дополнительные площадки (полный список тут). Обратите внимание, что на них нужна отдельная регистрация.

В дни саммита также проходят культурные мероприятия, включая выставки и инсталляции (отдельный перечень тут).

Если кто-то будет смотреть (или находится там), делитесь интересностями в комментариях 😌.

Что происходит с Европейским Кодексом практик для ИИ общего назначения?

В декабре Европейский AI Office опубликовал вторую версию проекта Кодекса практик для ИИ общего назначения (General-Purpose AI Code of Practice). О том, что это за документ, я писал здесь и здесь. Также ранее я делал подробный разбор первой версии документа в четырёх частях: 1, 2, 3, 4.

Что появилось нового во второй версии?

Общий текст документа стал более детализированным и значительно увеличился в объёме: с 36 до 66 страниц.

Структура документа также претерпела изменения: теперь он состоит из преамбулы и двух основных частей. Последние включают обязательства (commitments), которые содержат KPI.

Часть II. Обязательства поставщиков моделей ИИ общего назначения
(соответствуют статьям 53 и 54 Регламента ЕС об ИИ)

Требования о прозрачности были доработаны главным образом в части уточнения того, какая именно документация должна быть представлена поставщиками моделей ИИ AI Office, другим компетентным органам, а также последующим поставщикам (downstream providers).

В раздел об авторских правах добавлены исключения для малого бизнеса (SMEs). Также уточнены требования по необходимости соблюдения машиночитаемых отказов при майнинге данных. Во внутренней политике защиты авторских прав (copyright policy) должен содержаться перечень используемых краулеров с описанием их предназначения.

В январе AI Office опубликовал примерный шаблон описания контента, содержащегося в обучающем наборе данных. Это описание должно быть опубликовано в соответствии со статьёй 53 Регламента ЕС об ИИ (об этом сделаю отдельный пост).

Часть III. Обязательства поставщиков моделей ИИ общего назначения, представляющих системные риски
(соответствуют статье 55 Регламента ЕС об ИИ)

В разделе о системных рисках обновлён перечень потенциальных рисков, опасных характеристик и возможностей моделей ИИ.

Добавлен пример содержания Safety and Security Framework, а также уточнены требования к Safety and Security Model Report.

В целом изменилось множество деталей. Если кратко обобщить, то в тексте появилось больше исключений для малого и среднего бизнеса, а подход к описанию рисков, требованиям к технической документации и риск-менеджменту стал более согласованным с международными практиками и признанными фреймворками.

Что дальше?

В ближайшие дни будет опубликован третий вариант текста, который будет значительно приближен к финальной версии документа. Мы его также подробно разберём. В марте продолжатся обсуждения новой редакции, по итогам которых состоится пленарное заседание. Как член рабочих групп я приму в них участие и обязательно сообщу, если появятся важные новости🍊.

Еврокомиссия прекратила работу над проектом Директивы об ответственности в сфере ИИ

Когда-нибудь появятся новости не про ЕС. Но не сегодня. Еврокомиссия отозвала проект Директивы об ответственности в сфере ИИ (AI Liability Directive, AILD). Подтверждение этому можно найти в Программе работы Комиссии на 2025 год.

Подробно о проекте директивы я писал здесь и здесь.

Что это значит?

Решение вызвало неоднозначную реакцию в сообществе: сторонники невмешательства государства в бизнес ликуют, а вот правозащитники и часть юридического сообщества — нет.

Проблема в том, что недавно был принят другой документ — Директива об ответственности за качество продукции (Product Liability Directive, PLD). Она упрощает для граждан подачу исков за счёт обязательного раскрытия информации со стороны экономического оператора (производителя, поставщика и т. п.) системы ИИ. Однако её сфера действия не безгранична. Например, она не охватывает вопросы дискриминации, прав человека, конфиденциальности и интеллектуальной собственности. В результате в этих областях на уровне ЕС законодательство отсутствует, а значит, в каждой из 27 стран-членов будут применяться свои нормативные положения. Поэтому в каком-то смысле AILD была бы даже выгодна для бизнеса, так как позволила бы выработать общие подходы на уровне всего ЕС.

Некоторые издания связывают это внезапное решение с усилившейся риторикой США в пользу дерегуляции отрасли (про это я как-нибудь напишу отдельно) и смещением фокуса мировой дискуссии после недавнего AI Action Summit. На саммите обсуждение регулирования и рисков было сведено к минимуму, а США и Великобритания и вовсе отказались подписывать и без того практически ни к чему не обязывающую декларацию.

На мой взгляд, истина где-то посередине.

- ЕС изначально сделал ставку на ex-ante подход, а не ex-post. То есть предполагалось, что ключевая роль в защите прав человека будет отведена требованиям к операторам систем и моделей ИИ ещё до их выхода на рынок на основе риск-ориентированного подхода. Поэтому сейчас все усилия направлены на то, чтобы сделать применение Регламента ЕС об ИИ максимально адекватным и не тормозящим инновации.

- В качестве механизма ex-post была принята уже упомянутая PLD, которая распространяет внедоговорную ответственность на всё ПО, включая ИИ.

- Текущая версия AILD остаётся сырой и не обладает непротиворечивой концепцией.

Таким образом, вероятно, было принято решение подождать несколько лет, пока Регламент ЕС об ИИ и PLD начнут действовать и возникнет какое-то понимание последствий. К этому времени, возможно, в странах-членах ЕС уже сложатся лучшие практики, которые затем можно будет гармонизировать. А пока это решение можно подать и в политическом ключе: ЕС тоже занимается дерегуляцией и выделяет на развитие ИИ 200 миллиардов евро🤩.

Кстати, мой большой разбор Product Liability Directive, PLD можно почитать тут.

Британский AI Safety Institute переформатируется в UK AI Security Institute

В качестве подарка на 14 февраля британский Department for Science, Innovation and Technology выпустил пресс-релиз о смене названия и приоритетов AI Safety Institute, переименовав его в UK AI Security Institute. Теперь основной акцент сделан на вопросах национальной безопасности и борьбе с преступным использованием ИИ.

Что за институт?

AI Safety Institute был создан осенью 2023 года вскоре после AI Safety Summit. Он сочетал в себе элементы стартапа (гибкость, быстрая адаптация) и исследовательской организации, выступая консультантом правительства.

Его задачи заключались в разработке методик, проведении внешних оценок моделей ИИ, а также в долгосрочных исследованиях в сфере AI Governance. В частности, в прошлом году институт совместно с U.S. AI Safety Institute провел предварительные оценки моделей OpenAI o1 и Anthropic Claude 3.5 Sonnet.

Что меняется?

Теперь институт сосредоточится на вопросах национальной безопасности. Основное внимание будет уделяться угрозам, связанным с использованием ИИ для: создания оружия, проведения кибератак, распространения запрещенного и сексуализированного контента и другой противоправной деятельности. Институт будет тесно сотрудничать с правоохранительными органами и военными структурами.

Однако в пресс-релизе прямо указано, что он больше не будет заниматься вопросами предвзятости, дискриминации и свободы слова🐱.

Эти изменения также отражают пересмотр роли института в проведении предварительных внешних оценок ИИ-моделей, которые вызывали раздражение у американских компаний. Теперь тестирование будет сосредоточено не на прозрачности и социально-этических аспектах, а на выявлении угроз национальной безопасности. Не исключено, что институт полностью откажется от независимых оценок, заменив их более тесным сотрудничеством с разработчиками и государственными структурами.

Таким образом, новое правительство Великобритании, с одной стороны, отказывается от AI Safety повестки прежнего правительства, а с другой — придерживается линии новой администрации США, смещая фокус с широких вопросов безопасности ИИ на вооружения, киберугрозы и защиту критической инфраструктуры.

Скоро стартует второй поток курса по AI Governance от RPPA, на котором я буду преподавать

Друзья, в этом году я продолжаю преподавать на курсе AI Governance, который проводит Regional Privacy Professionals Association.

Зачем и кому он нужен?

Курс поможет за несколько месяцев подробно разобраться в ландшафте нормативного правового регулирования и научиться выстраивать комплаенс ИИ-продуктов.

Это будет полезно не только юристам, но и всем, кто вовлечён в выстраивание процессов вокруг систем ИИ, включая DPO, специалистов по комплаенсу, управлению рисками и информационной безопасностью, а также руководителей направлений, продуктовых и проектных менеджеров.

Чем, на мой взгляд, этот курс удачен?

- Все преподаватели — фанаты своего дела. Каждый из них отвечает за занятия в рамках своей экспертизы: технические основы преподаёт инженер, за оборот данных и IP отвечают профильные специалисты и т. д. Это даёт возможность получить ценные экспертные знания и ознакомиться с разными точками зрения.

- Курс ориентирован на практику. Он помогает освоить ключевые навыки для выстраивания системы управления ИИ в организации. Подробно рассматриваются такие её элементы, как работа с данными, интеллектуальная собственность, управление рисками и качеством, а также кибербезопасность. Кроме того, домашние задания основаны на разборе и обсуждении реальных кейсов, с которыми сталкиваются преподаватели.

Материал сбалансирован, поэтому изученные лучшие практики можно применять как в иностранных юрисдикциях, так и в России. Полученные знания также помогут в подготовке к международным сертификациям, например AIGP от IAPP.

Мой вклад в курс

В рамках курса я проведу занятия по регулированию в сфере разработки и применения систем и моделей ИИ в ЕС, США и КНР, а также приму участие в семинарах и других активностях 🐱 .

Когда стартует обучение?

Занятия во втором потоке начинаются уже через несколько недель. Более подробно с программой можно ознакомиться по ссылке.

В России решили пожить ещё пару лет без регулирования в сфере ИИ

Именно такие новости вчера появились по итогам презентации нацпроекта «Экономика данных».

Это хорошо или плохо?

Очень часто правовое регулирование напрасно ассоциируют с палками в колёса бизнеса. Однако такой палкой может быть только некачественное (или даже намеренно вредное) либо чрезмерное регулирование. В то же время отсутствие чётких и понятных правил, напротив, заставляет бизнес тратить больше денег на комплаенс и оценку рисков или вовсе выбирать иные юрисдикции.

Понятны ли сейчас правила в России?

К сожалению, нет. До сих пор полностью не решён вопрос с доступом к данным для бизнеса. Большинство принятых решений привели лишь к созданию государственной монополии на данные, при которой государственные органы могут сами решать, кому предоставлять доступ, а кому — нет. Отсутствует однозначное понимание того, каким образом могут охраняться модели ИИ, а также входные и выходные результаты их работы. Продолжаются бесконечные споры об особенностях применения норм гражданского права к случаям причинения вреда в результате функционирования систем ИИ.

Кроме того, никак, помимо общего законодательства, не регулируется применение систем ИИ в наиболее чувствительных областях — таких как образование, труд, финансовые услуги и т. д. Как мы недавно увидели на примере DeepSeek, граждане никак не защищены и от некачественной работы иностранных продуктов.

Однако наиболее важной проблемой, о которой я неоднократно писал ранее, является отсутствие каких-либо требований к разработке и применению систем ИИ со стороны государственных органов. По сути, сейчас все эти вопросы остаются полностью произвольными (подробнее писал об этом тут).

Нужно ли уже что-то делать бизнесу?

В отсутствие государственного регулирования и сформулированных органами власти лучших практик единственными мотиваторами могут быть конкурентные преимущества и деловая репутация. Иными словами, с одной стороны, важно избежать наступления негативных последствий (утечек данных, низкого качества работы моделей, юридических проблем), а с другой — сделать так, чтобы использование ваших систем ИИ было прозрачным и не отпугивало контрагентов из-за чрезмерных рисков.

Поэтому вне зависимости от регулирования крайне важно внутри организации постепенно выстраивать комплексную систему управления ИИ.

Что уже можно начать делать?

В мире сейчас набирает популярность стандарт ИСО/МЭК 42001, направленный на создание и поддержание системы ИИ-менеджмента внутри организации. К его плюсам можно отнести интеграцию с другими стандартами ИСО/МЭК (как связанными с ИИ, так и из смежных отраслей), а также его совместимость с региональным мягким и жёстким регулированием. Например, внедрение ИСО/МЭК 42001 может стать первым шагом в подготовке к соблюдению Регламента ЕС об ИИ, а в сочетании с NIST AI RMF и специализированными стандартами и законодательством — основой для выхода на американский рынок.

Например, этот стандарт уже используют Microsoft и их поставщики, а также Anthropic и некоторые европейские компании.

Отдельно хочу отметить, что стандарт ИСО/МЭК 42001, равно как и ряд других примыкающих к нему стандартов в сфере ИИ, с незначительными изменениями был утверждён Росстандартом и начал применяться с 1 января 2025 года.

Таким образом, можно не ждать решения своих проблем от государства, а начать самостоятельно выстраивать процессы так, чтобы обеспечить безопасность своих продуктов и иметь в дальнейшем более понятные перспективы для выхода на международные рынки.

Если у вас или вашего бизнеса есть вопросы, связанные с ИИ, буду рад помочь — обращайтесь за консультацией 👀

Сходил на подкаст про AI Governance. Делюсь с вами записью

Друзья, на днях я писал, что приму участие в прямом эфире про AI Governance на канале Privacy GDPR Russia.

Полную запись разговора можно найти по ссылке.

Если хотите продолжить дискуссию или задать вопросы, пишите в комментарии или в обратную связь🤩

Ищем себя на компасе отношения к ИИ

Друзья, в пятницу отвелкаю вас от серьезьезных тем 🤩. Наверняка многие в разные этапы жизни проходили знаменитый компас политических предпочтений, который снова стал популярным из-за текущего хайпа вокруг противостояния между правыми и левыми (никогда такого не было и вот опять).

Благодаря автору поста теперь у нас есть возможность проверить свое отношение к развитию искусственного интеллекта (с определенной долей иронии, конечно).

Нашли себя? Делитесь в комментариях!

Я заметил, что балансирую где-то между правым верхним и нижним левым квадратами.

Пояснения от автора:

Ось тряски-восторга: является ли ИИ потенциальным злом или добром.
Тряска (ИИ — опасная вещь, которая изменит жизнь людей к худшему) vs Восторг (ИИ — полезная вещь, которая изменит жизнь людей к лучшему).

Ось скептики-верующие: насколько ИИ с его текущей траекторией развития вообще способен поменять мир вокруг.
Скептики (ИИ сейчас никакой не интеллект, его развитие зашло в тупик) vs Верующие (ИИ изменит всё, технология развивается семимильными шагами).ется семимильными шагами).

Оргинал можно найти тут.

Что может быть лучше цветов и шампанского на 8 марта? Непредвзятые алгоритмы и равноправие

Друзья, поздравляю всех с праздником! Желаю вам вдохновения как у Фей-Фей Ли, а решимости – как у Сары Коннор (но без необходимости противостоять катастрофическим рискам) 🤩

Модели ИИ, безусловно, являются слепками общества со всеми его положительными и отрицательными чертами. При этом этот слепок не статичен: ИИ-системы не только отражают реальность, но и активно формируют ее, многократно усиливая эффекты за счет их целенаправленного использования — от автоматизации пропаганды до распространения дезинформации и разжигания агрессии. Более того, этот поток информации заполняет интернет, попадает в наборы данных и становится основой для последующих поколений ИИ-моделей. В результате негативные эффекты не просто сохраняются, а отдаются нарастающим эхом, создавая долгосрочные системные риски для общества.

Именно поэтому безопасность ИИ становится критически важной задачей, и ее неотъемлемым элементом является правовое регулирование. В последнее время мы много говорим о поиске баланса между развитием бизнеса и чрезмерными ограничениями, но эта дискуссия не должна приводить к обесцениванию необходимости правового регулирования как такового.

В качестве подарка делюсь небольшой подборкой исследований по вопросам равноправия и предвзятости в системах ИИ:

- Исследование, подготовленное по заказу Совета Европы, посвящено рискам ИИ, связанным с дискриминацией. Несмотря на то, что документ по современным меркам уже не новый (2023 год), он позволяет освежить знания о предвзятости ИИ и ознакомиться с объемным списком источников.

- Исследование под эгидой ЮНЕСКО, в котором анализируются специфические предвзятости больших языковых моделей в отношении женщин и девочек. Документ небольшой, но содержит много интересной информации. Например, о различиях в культурных и гендерных стереотипах, проявляющихся в результатах работы открытых ИИ-моделей в странах Глобального Юга и Севера.

- Свежий сборник статей The Cambridge Handbook of the Law, Ethics and Policy of Artificial Intelligence предлагает множество интересных публикаций на актуальные темы, включая вопросы этики и обеспечения равноправия.