В США создан институт и консорциум безопасности искусственного интеллекта

На прошлой неделе в США были предприняты дальнейшие шаги по формированию Института безопасности ИИ (USAISI) при Национальном институте стандартов и технологий (NIST). Его создание было предусмотрено октябрьским Указом Президента США в сфере разработки и применения систем ИИ, определившего ключевые направления государственной политики в данной сфере (разбирал его тут).

В начале февраля министром торговли США Джиной Раймондо были назначены ключевые сотрудники из числа руководства. Возглавила институт Элизабет Келли, ранее работавшая в администрации Президента США и занимавшая центральное место в разработке указа.

В поддержку института был создан консорциум, который объединяет более 200 разнообразных организаций, так или иначе связанных с разработкой или безопасностью передовых моделей и систем ИИ. Основной задачей консорциума станет разработка подходов и методов оценки передовых моделей и систем ИИ, требований к их безопасности, систем управления рисками.

Обновления по проекту Регламента ЕС об ИИ

Немного новостей в продолжение недавнего большого поста о текущем состоянии процесса принятия проекта Регламента ЕС об ИИ.

Сегодня на совместном заседании двух комитетов Европарламента – по гражданским свободам, правосудию и внутренним делам (LIBE) и по внутреннему рынку и защите прав потребителей (IMCO) абсолютным большинством голосов документ был принят к рассмотрению. Тем самым европарламентарии тоже подтвердили соглашение со своей стороны.

Теперь текст будет вынесен на пленарное заседание Европарламента предположительно 10-11 апреля. Если документ на нем будет принят, то он снова поступит в Евросовет для окончательного формального принятия.

Исследователи изучили влияние открытых базовых моделей на общество и предложили систему оценки рисков

Позавчера группа из 25 ученых, представляющих авторитетные американские образовательные и исследовательские организации и технологические компании, опубликовала препринт статьи о влиянии базовых моделей, распространяющихся по открытым лицензиям, на общество (On the Societal Impact of Open Foundation Models). Первые авторы – Саяш Капур (Princeton) и Риши Боммасани (Stanford) нам хорошо известны по другим публикациям, которые я разбирал на канале. Полный текст статьи можно прочитать тут, а выжимку – тут.

В работе исследователи рассмотрели три основных темы:

Во-первых, они выделили ключевые характеристики открытых моделей (широкий доступ к ним, гибкость настройки и доработки под конкретные требования, а также невозможность ограничения доступа к модели и внешнего контроля над ней).

Во-вторых, исходя из указанных характеристик, авторы раскрыли их положительные стороны (включают более широкие возможности по определению поведения модели (относительно частных), лучше стимулируют научный прогресс и инновационное развитие, более прозрачны, способствуют разнообразию и конкуренции).

В-третьих, авторы изучили исследованные в литературе сценарии вредного использования открытых базовых моделей в таких сферах, как биобезопасность, кибербезопасность, создание дипфейков на основе голоса, целевой фишинг, дезинформация, распространение интимных изображения без согласия и материалы о сексуальном насилии над детьми. На основе выявленных рисков исследователи предложили свою систему оценки рисков (пример в скриншоте сверху).

Данная система состоит из шести пунктов:

- определение угроз;

- существующие риски (без относительно существования открытых БМ);

- существующие методы уменьшения этих рисков (без относительно существования открытых БМ);

- специфические риски, характерные только для открытых БМ;

- потенциальные возможности по уменьшению таких рисков;

- существующие неопределенности и возможные предположения.

Более наглядно понять, каким образом работает данная система оценки риска, можно на скриншоте над постом. Там подробно описывается оценка рисков на примере кибербезопасности.

Следует отметить, что вопрос о необходимости отдельных подходов к правовому регулированию в сфере разработки и применения открытых базовых моделей сейчас активно обсуждается на разнообразных площадках в большинстве стран и регионов. Например, в Указе Президента США Указом Президента США в сфере разработки и применения систем ИИ компетентным органам поручено оценить соответствующие риски и подготовить доклад. Схожие задачи возложены и на новый Британский AI Safety Institute.

Также данный вопрос пока урегулирован законодателями по касательной . Например, актуальный текст проекта Регламента ЕС об ИИ будет распространяться на системы ИИ, распространяемые по открытым лицензиям, только в тех случаях, когда они подпадают к требованиям о прозрачности или/и базовым моделям общего назначения (Title IV) или относятся к запрещенным системам ИИ или системам ИИ повышенного риска. Не регулируются открытые модели и Китайскими временными мерами.

ВОИС о юридических рисках применения генеративных систем ИИ

Всемирная организация интеллектуальной собственности опубликовала небольшую справку о ключевых юридических рисках в сфере интеллектуальной собственности, возникающих в связи с применением генеративных систем ИИ.

Почти в самом начале документа указано, что полностью избежать всех правовых рисков применения генеративных систем ИИ (как и многих других) невозможно. Его основной целью является описание наиболее существенных рисков и шагов по их уменьшению.

Например, предлагаются следующие рекомендации по их уменьшению:

- Использование конфиденциальной информации.

Внедрить внутреннюю политику, обучить персонал и поощрять ответственное использование генеративных систем ИИ. Например, развивать грамотность и понимание рисков и ограничений таких систем, не использовать отдельные системы. Если в компании есть системы, которые обучены на конфиденциальной информации, то необходимо контролировать допуск к ним сотрудников.

- Нарушения прав интеллектуальной собственности.

При выборе поставщика генеративных систем ИИ предпочтение следует отдать тем, которые гарантируют отсутствие защищенных данных в датасете. Если компания создает и тренирует собственные модели или донастраивает чужие, то необходимо следить за попаданием защищенной информации в наборы данных. Также необходимо внимательно следить за изменением требований отдельных юрисдикций о необходимости раскрытия защищенной информации (привет, проект регламента ЕС об ИИ).

- Особенности использования продуктов с открытыми лицензиями.

При использовании сторонних решений необходимо отдавать предпочтения тем компаниям, которые предоставляют гарантии того, что в их продуктах используется исходный код, полученный с соблюдением необходимых лицензий. Также следует внимательно следить за использованием элементов кода при создании собственных моделей и продуктов на их основе.

- Учет прав при копировании человеческих голосов и изображений.

Необходимо избегать использование продуктов, нарушающих чужие права. Также, если есть необходимость синтезировать чей-то голос или изображение, то обзавестись всей нужной в той или иной юрисдикции документацией.

- Интеллектуальные права на выходные результаты.

Внимательно изучить пользовательские и лицензионные соглашения тех поставщиков, чьи генеративные системы ИИ предполагается использовать. Постараться заключить с ними соглашения (с учетом юрисдикции), определяющие принадлежность прав на выходной результат. Также необходимо документировать все изменения, если сгенерированный контент каким-либо образом дорабатывается людьми. В качестве общей рекомендации по возможности необходимо использовать сгенерированные результаты в тех сценариях, где не столь важная их правовая охрана.

Также в конце доклада ВОИС расположили примерный чеклист для организаций, способный уменьшить возможные риски. Не буду расписывать его полностью, так как он частично совпадает с предыдущим блоком.

Изложу для понимания основные блоки:

- разработка внутренних политик и обучение персонала;

- мониторинг и управление рисками;

- ведение учета и документирование;

- использование средств по оценке систем ИИ;

- оценка данных и их наборов;

- оценка выходных результатов генеративных систем ИИ.

ОЭСР дала пояснения по обновленному определению систем ИИ

Вчера ОЭСР выпустила меморандум, который призван подробно объяснить логику изменений, внесенных в определение систем ИИ, первоначально сформулированное в Принципах ОЭСР в сфере ИИ 2019 года.

Данные принципы крайне важны для регулирования в сфере ИИ, так как их отправные начала (в том числе и в терминологии) прямо положены в основу нормативных правовых актов многих юрисдикций, включая, например, ЕС, США, Великобританию, Канаду, Японию, а также косвенно влияли и на другие страны, которые не входят в ОЭСР (Китай, Россия).

Первоначальное определение в переводе на русский звучало следующим образом:

“Система ИИ — это машинная система, которая при заданном наборе целей, определяемых человеком, может делать прогнозы, давать рекомендации или принимать решения, влияющие на реальную или виртуальную среду. среды. Системы ИИ предназначены для работы с различными уровнями автономности”.

Для сравнения даю перевод новой версии:

“Система ИИ — это машинная система, которая для достижения явно или неявно поставленных целей на основе полученных входных данных определяет, каким образом генерировать выходные данные, такие как прогнозы, контент, рекомендации или решения, способные влиять на физическую или виртуальную среду. Системы ИИ различаются по уровню автономности и способности к адаптации после развертывания”.

В документе авторы подробно раскрывают ключевые признаки систем ИИ, которые положены в основу определения. Многие их этих признаков уже разбирались в литературе. Если хотите увидеть отдельный обзор, то напишите в комментариях.

Дискуссия ВОИС по вопросам интеллектуальной собственности и передовых технологий

Всемирная организация интеллектуальной собственности анонсировала 13 и 14 марта проведение масштабной дискуссии, в рамках которой будет продолжено обсуждение рисков в сфере IP и генеративных систем ИИ.

Данные риски были рассмотрены в недавно опубликованной справке (разбирал ее чуть выше тут)

Зарегистрироваться и изучить программу можно по ссылке. Программа есть на русском языке, а также обещают синхронный перевод.

Оценка требований в рамках проекта Регламента ЕС об ИИ_V.2

В сентябре прошлого года я писал о сервисе, разработанном исследователями из the Future of Life Institute, который позволяет бизнесу в общем виде понять, с какими требованиями грядущего акта предстоит иметь дело.

Теперь он обновлен в соответствии с последним опубликованным текстом документа. Интерфейс тоже стал более удобным.

Однако напоминаю, что сервис не является юридической консультацией, а проект Регламента ЕС об ИИ еще не принят в финальной редакции.

AI+Policy Symposium

Stanford Institute for Human-Centered AI (HAI) и Stanford Cyber Policy Center анонсировали проведение 16 апреля симпозиума о государственной политике и нормативном регулировании в сфере разработки и применения генеративных систем ИИ.

Обещают интересный набор спикеров из разных стран и регионов (в том числе БРИКС и Африки).

Зарегистрироваться и ознакомиться со списком участников можно по ссылке.

В Anthropic задумались о необходимости внешнего независимого тестирования для систем и моделей ИИ

На днях компания Anthropic (недавно выпустившая новую версию своего чата Claude 3, почти сравнявшегося или превзошедшего GPT-4 по некоторым бенчмаркам) опубликовала заметку, в которой изложила, почему необходимы внешние независимые тестирования систем и моделей ИИ и каким образом их осуществлять.

Необходимость достаточно очевидна: модели ИИ и системы, которые на них основаны, могут представлять существенные риски дискриминации, дезинформации, а также обладать скрытыми и опасными возможностями.

В Anthropic отмечают, что компания, как и другие разработчики ИИ, создает и использует свои собственные подходы к тестированию. Например, Responsible Scaling Policy (RSP) (предусматривает четыре уровня ИИ-безопасности ASL1-ASL4+). Однако, по их мнению, необходимо выработать единый подход, который бы затем мог быть положен в основу нормативного правового регулирования. Такой подход должен включать:

− общий взгляд государства, науки и бизнеса относительно предмета и содержания тестирования;

− временной период, в который компании должны оценить свои продукты сами и подвергнуть их внешнему тестированию;

− двухступенчатое тестирование: автоматизированное обширное тестирование и тестирование с участием человека при выявлении отклонений на первой стадии;

− увеличение государственной поддержки организаций, компетентных проводить тестирования и разрабатывать их методологию;

− введение юридически обязательных тестирований для отдельных систем и моделей ИИ. Вопрос о таком водоразделе предполагается решить в ближайшие годы. Прим.: очевидно, тестирований должно быть много, и они должны различаться для разных групп систем и моделей ИИ, а не только для передовых;

− обеспечение эффективного баланса между обеспечением безопасности и простотой проведения тестов.

В зависимости от нормативных предписаний для разных систем и моделей ИИ могут быть предусмотрены разные наборы тестов, которые могут проводиться разными субъектами:

− для отдельной группы моделей и систем (скорее всего, самой обширной) тестирования могут проводиться частными компаниями или специализированными организациями. По аналогии с финансовыми аудитами государственные органы могут уполномочивать другие организации на сертификацию аудиторов и схем сертификации.;

− университеты и научные центры могут разрабатывать свои методы оценки и тестирования, которые затем могут быть применены государственными органами;

− для отдельных систем и моделей ИИ (продвинутых или разработанных для работы в наиболее чувствительных сферах) могут быть предусмотрены обязательные тестирования компетентными государственными органами.

Также в заметке поднимается интересный вопрос об оценке открыто распространяемых систем и моделей ИИ. В компании отмечают, что текущие продукты по большей части не представляют большой угрозы для их широкого распространения. Однако в дальнейшем выводить передовые модели сразу в широкий доступ может быть опасно. Для того, чтобы избежать негативных последствий, компания предлагает распространить тестирование и на опенсорс-решения. Такие тесты помогут оценить потенциальные опасности и ограничить отдельные характеристики продуктов или возможности по их модификации и настройки.