howtocomply_AI: право и ИИ
1.06K subscribers
124 photos
4 videos
6 files
227 links
Канал про право и искусственный интеллект.
Исчерпывающе, но не всегда лаконично.
Дмитрий Кутейников @howtocomply_AI_feedback
Download Telegram
Продолжение истории с генеративными системами ИИ в Китае

Китай продолжает двигаться в сторону разработки нормативного правового регулирования применения генеративных систем ИИ. В апреле мы уже писали о первой версии проекта документа, а 10 июля он был принят, вступит в силу с 15 августа.

Вместе с тем данные меры являются временными, что и отражено в названии документа. Данный акт является одним из первых, дошедших до принятия на сегодняшний день. Путем его принятия Китай, с одной стороны, пытается защититься от американских бигтэков, а с другой - упорядочить применение собственных базовых моделей, которых, по информации на май месяц, уже более 78.

Финальная версия документа стала несколько более мягкой в плане отдельных формулировок.

Например, из основных принципов, закрепленных в статье 4, пропала необходимость соблюдения мер по достоверности и точности генерируемого контента. Вместо этого добавили общий запрет на нарушение прав и законных интересов.

Из статьи 7 исключили требование к поставщикам об обеспечении подлинности, точности, объективности и разнообразия данных. Вместо этого теперь они должны принять эффективные меры по улучшению качества данных для обучения базовых моделей и повышению их достоверности, точности, объективности и разнообразия.

Обязательная проверка безопасности генеративных систем ИИ со стороны государственного органа теперь должна проводиться не для всех систем, а для тех, которые касаются общественного мнения и социального единения населения.

Также из текста документа пропали и конкретные штрафы, выраженные в денежном эквиваленте. Вместо этого теперь органы власти должны выносить предупреждения, приостанавливать деятельность генеративных систем ИИ, или наказывать в соответствии с общим законодательством.

Несколько статей теперь посвящены пользе развития генеративных систем ИИ, а также мерам поддержки бизнеса.
Федеральная комиссия по торговле США проверяет OpenAI на предмет нарушений законодательства при разработке ChatGPT

По информации The Washington Post, на этой неделе Федеральная комиссия по торговле (ФКТ) направила в адрес компании OpenAI (разработчик ChatGPT) 20-страничное письмо. ФКТ запросила документы, касающиеся разработки и обучения больших языковых моделей, а также безопасности данных. ФКТ хочет получить подробную информацию о том, как OpenAI проверяет информацию, используемую для обучения своих моделей, и как она предотвращает предоставление со стороны ChatGPT недостоверной информации ее пользователям.

Из письма следует, что предметом расследования является выяснение того, применяла ли компания OpenAI:

а) недобросовестные или вводящие в заблуждение методы обеспечения конфиденциальности или безопасности данных;

б) недобросовестные или вводящие в заблуждение действия, связанные с риском или вредом для потребителей, включая репутационный вред;

ФКТ также хочет понять, будет ли получение денежной компенсации отвечать общественным интересам.

В рамках расследования ФКТ задает компании OpenAI десятки вопросов, в том числе:

– подробные вопросы о разработке моделей и обучении;

– как компания получает данные;

– все источники данных, включая третьи стороны, предоставившие наборы данных;

– как компания оценивает и устраняет риски;

– про риски, связанные с конфиденциальностью и оперативным внедрением, и меры по их снижению;

– как осуществляется мониторинг, сбор, использование и хранение персональных данных.

Будем наблюдать, к каким выводам придет ФКТ по результатам анализа и оценки документов, которые им предоставит OpenAI. Это особенно интересно с учетом того, что OpenAI не раскрывает информацию о методах сбора данных, а также об источниках, которые она использует для обучения больших языковых моделей.

Кроме того, мы узнаем о регуляторных и надзорных возможностях ФКТ в части обеспечения компаниями конфиденциальности и осуществления ими недобросовестных и вводящих в заблуждение практик при создании больших языковых моделей.
Media is too big
VIEW IN TELEGRAM
Проект Регламента ЕС об ИИ и стартапы

Друзья, делимся с вами записью вебинара, о котором писали недавно тут.
Передние рубежи нормативного регулирования в сфере ИИ

В начале месяца очень обширной и представительной группой ученых был опубликован препринт статьи «Передние рубежи ИИ-регулирования: управление рисками, возникающими в сфере общественной безопасности» (Frontier AI Regulation: Managing Emerging Risks to Public Safety).

В статье авторы приходят к выводу о том, что для безопасного применения современных базовых моделей уже недостаточно полагаться только на корпоративные стандарты и лучше практики. Необходимо комплексное законодательное регулирование. Это связано с рядом проблем, присущих базовым моделям, которые потенциально способны сделать их применение опасным для человека.

Проблема неожиданных возможностей базовых моделей. Она связана с тем, что последние могут приобретать некоторые функции, которые не были заранее предусмотрены разработчиками. Например, это может быть связано с увеличением числа параметров или подключения к дополнительным продуктам или интернету, загрузке новых данных. Некоторые из таких функций иногда относят к эмерджентным способностям. Про них мы писали тут.

Проблема безопасности эксплуатации базовых моделей. Эта проблема связана со сложностью обеспечения стабильности функционирования наиболее передовых моделей. Остается масса узких мест в обеспечении их корректной работы и безопасности.

Проблема быстрого распространения базовых моделей. Последние крайне быстро становятся доступными широкому кругу лиц. В связи с этим любые их недостатки потенциально становятся значительной угрозой для многих людей.

Отдельные управленческие и нормативные механизмы, направленные на уменьшение указанных рисков:

Во-первых, необходимо сформировать механизмы оперативного и регулярного обновления нормативных требований под изменяющиеся технологические реалии с учетом мнения экспертного сообщества и заинтересованных сторон.

Во-вторых, должны иметься механизмы по раскрытию информации, которые позволят органам власти следить за развитием передовых базовых моделей и вовремя реагировать на новые вызовы.

В-третьих, необходимо создать систему обеспечения соблюдения нормативных требований в виде создания компетентных органов и введения наряду с добровольными обязательных внешних независимых аудитов и сертификаций для отдельных базовых моделей.

Минимально необходимый набор нормативных требований должен включать:

Во-первых, проведение всесторонней оценки рисков с учетом анализа опасных потенциальных
возможностей и управляемости базовых моделей.

Во-вторых, привлечение внешних экспертов для независимой оценки моделей.

В-третьих, следование стандартизированным требованиям для разработки и вывода на рынок базовых моделей с учетом проведенной оценки рисков. Результаты оценки риска должны определять, будет ли развернута модель и каким образом, а также какие меры предосторожности будут предприняты.

В-четвертых, регулярное обновление требований к оценке риска на основе информации о развитии технологий.
Как должны регулироваться передовые базовые модели?

20 июля обсуждение данной статьи состоится в рамках вебинара в Центре государственного управления в сфере ИИ.

Зарегистрироваться можно по ссылке.
Llama 2 свободно доступна для коммерческого использования ⚡️

Базовая модель Llama от компании Meta (запрещена в РФ) в свое время оказывает огромное значение на развитие опенсорс решений и проектов энтузиастов.

Она распространяется по открытой лицензии для некоммерческого использования. Тем не менее через несколько недель после релиза модель утекла в сеть и стала широко использоваться энтузиастами в своих проектах. Это позволило буквально за несколько месяцев за счет усилий коммьюнити доработать модель до уровня таких приложений, как ChatGPT, а также добавить в нее возможности тонкой настройки (fine tuning), мультимодальность, обучения с подкреплением на основе отзывов от человека (RLHF), в том числе и для решения проблемы этического выравнивания и контроля (alignment).

Более подробно про будущее моделей распространения базовых моделей можно почитать в нашем посте тут.

Сегодня Meta анонсировала выход базовой модели Llama 2, которую свободно можно будет использовать как для исследовательских, так и для коммерческих задач.

Доступны предварительно обученные и тонко настроенные модели с параметрами 7B, 13B и 70B.

Событие действительно историческое, так как теперь каждый сможет запустить и адаптировать под свои нужды передовую базовую модель. А за счет энтузиастов и коммьюнити в течение ближайших месяцев появятся сотни модификаций и приложений.

Также это сильнейший вызов для компаний, выбравшим SaaS модель распространения базовых моделей (например, OpenAI).

В очень интересное время живем, друзья!

Ссылка на сайт модели.

Статья с подробным описанием модели.
Please open Telegram to view this post
VIEW IN TELEGRAM
ОЭСР подготовила доклад про регуляторные песочницы в сфере ИИ

Организация экономического сотрудничества и развития (ОЭСР) изучила вопрос использования регуляторных песочниц для тестирования ИИ и опубликовала в этом месяце доклад: «Регуляторные песочницы в сфере ИИ» (Regulatory Sandboxes in AI). В документе рассмотрены различные проблемы применения песочниц и сформулированы предложения по совершенствованию политики в этой сфере.

Междисциплинарное и многостороннее сотрудничество

ИИ-продукты являются комплексными и часто затрагивают несколько областей, поэтому в их тестировании должны участвовать разные регулирующие органы. Например, в Великобритании создана специальная группа по регулированию цифровой среды, в рамках которой сотрудничают антимонопольные, информационно-коммуникационные, финансовые органы и органы по защите информации. В Корее в запуске песочниц участвуют представители различных министерств, а в Бразилии Комиссия по ценным бумагам совместно с Центральным банком создали комитет, который взаимодействует с университетами, ассоциациями и представителями отраслей для оценки заявок на участие в песочнице.

Международное взаимодействие регулирующих органов и роль политики в сфере торговли

Требуется тесное международное сотрудничество при осуществлении экспериментального регулирования. Песочницы и другие способы регулирования в сфере технологий могут быть приравнены к «техническим регламентам» через «соглашения об эквивалентности». Уже сейчас имеется торговое соглашение о партнерстве в области цифровой экономики между Чили, Новой Зеландией и Сингапуром, направленное на содействие безопасному и ответственному использованию ИИ, которое также выступает за внедрение песочниц.

Схожие критерии для запуска и тестирования ИИ

Необходимо международное сотрудничество по вопросам совместимых способов проведения экспериментов, включая условий по тестированию ИИ. В частности, такие критерии, как инновационность, общественный интерес и готовность к тестированию могут быть унифицированы на международном уровне. А учитывая то, что бизнес в сфере ИИ, как правило, является международным, то наличие совместимых условий проведения экспериментов в разных юрисдикциях было бы очень выгодно компаниям.

Так, ОЭСР в пример приводит ЕС, который во избежание разрозненности регулирования в странах-членах союза планирует реализовать через Регламент ЕС об ИИ единый подход к песочницам, предлагая схожий набор требований и процедур тестирования ИИ.

Влияние на инновации

Растущее число песочниц по всему миру ведет к формированию глобальной экосистемы регулирования, поощряющей инновации. Однако отсутствие стандартных типологий приводит к тому, что каждая песочница отличается от другой. В частности, песочницы в зависимости от времени выхода на рынок ИИ-продукта могут являться: 1) предрыночным инструментом - до запуска системы ИИ; 2) регуляторным инструментом - работает параллельно с выпуском системы ИИ на рынок, позволяя заинтересованным сторонам коммерциализировать свои системы; 3) добровольным инструментом ex-post - используется уже после выхода продукта на рынок с тем, чтобы расширить возможные сценарии его использования.

Взаимодействие с другими инструментами, стимулирующими инновации

Песочницы должны оцениваться в сочетании с другими инструментами, например, стандартами. Данные, собираемые в песочницах ИИ, могут использоваться для выявления закономерностей и необходимости разработки стандарта в конкретной области. И наоборот, текущие процессы стандартизации могут служить основой для тестирования ИИ в песочницах.

Стандарты также позволяют обеспечить совместимость между песочницами. В двух юрисдикциях могут применяться различные песочницы, но при этом использоваться одни и те же стандарты для тестирования безопасности или выявления рисков ИИ. Это может привести к созданию общей системы тестирования и, возможно, к согласованным результатам работы песочницы. Напротив, принятие различных стандартов ИИ может привести к различным оценкам безопасности или качества ИИ, что может негативно сказаться на торговых отношениях между странами.
Продолжение дискуссии про передовые базовые модели

На неделе делились с вами постом про препринт статьи «Передние рубежи ИИ-регулирования: управление рисками, возникающими в сфере общественной безопасности» (Frontier AI Regulation: Managing Emerging Risks to Public Safety).

В статье авторы приходят к выводу о том, что для безопасного применения современных базовых моделей уже недостаточно полагаться только на корпоративные стандарты и лучшие практики.

Необходимо комплексное законодательное регулирование. Это связано с рядом проблем, присущих базовым моделям, которые потенциально способны сделать их применение опасным для человека.

Более подробно можно почитать в нашем посте тут.

Отдельно необходимо подчеркнуть, что речь в статье и посте будет идти именно о передовых базовых моделях, а не обо всех системах ИИ.

Этот термин используют авторы статьи, чтобы описать наиболее развитые современные базовые модели, которые могут представлять потенциальную угрозу для общества.

Австралийский ученый и предприниматель Джереми Ховард опубликовал заметку с критикой отдельных положений статьи. Остановимся на нескольких дискуссионных вопросах.

Во-первых, по его мнению, нормативное регулирование в сфере разработки и использования передовых базовых моделей должно исходить из следующей развилки:

а) создать общий ИИ (AGI) невозможно, существующие модели будут улучшаться до определенного предела. Тогда и не требуется специфических требований для их разработки и использования. Для применения существующих систем ИИ, как и любых других изобретений человека, потребуется доработка общей нормативной базы;

б) создание общего ИИ возможно, и наука плавно движется к этому. В этом случае необходимо предпринять ряд конкретных и довольно жестких нормативных требований к разработчикам передовых базовых моделей. Автор предлагает исходить именно из второго сценария.

Во-вторых, необходимо сосредоточиться не на уровне применения базовых моделей, а на уровне их разработки. Это связано с тем, что, как правило, наиболее продвинутые базовые модели создаются и эксклюзивно используются крупными технологическими компаниями (например, OpenA и Anthropic). Пользователи лишь получают доступ к отдельной части данной модели, которая подверглась тонкой настройке и различным ограничениями. Соответственно, никто в точности не знает, с какими моделями имеют дело сами разработчики внутри компаний. Таким образом, если какая-то команда действительно создаст общий ИИ, то у очень узкого круга допущенных к ней людей мгновенно откроются беспрецедентные возможности по контролю над человечеством.

Другой стороной этой проблемы является и то, что выпущенные (или слитые) на рынок модели мгновенно становятся доступными для использования каждому человеку и могут быть реплицированы огромное число раз. Это и делает передовые модели более опасными, чем, например, ядерное оружие. Создать и распространить последнее - задача трудно выполнимая.

Таким образом, необходимо установить обязательное раскрытие информации о намерении разрабатывать передовые базовые модели, а также проводить внешний независимый аудит уже на стадии разработки, а не фактического применения. Вместе с тем современные законодательные инициативы в большей степени направлены именно на этап вывода на рынок систем ИИ.

В-третьих, по мнению автора, неверные подходы к регулированию приведут лишь к дальнейшей монополизации отрасли. Например, он выразил свои опасения по поводу предложенной в статье идеи по введению лицензирования для создание передовых базовых моделей. Создание органа, уполномоченного решать, кому можно и кому нельзя создавать такие модели, приведет к его чрезмерному усилению и возможности влияния через него на потенциальных конкурентов со стороны бигтэков.

Дискуссия продолжилась также в ходе вебинара, на который мы давали ссылку тут. Запись мероприятия пока не нашли. Если кто-то видел, поделитесь!
Крупные ИИ-компании дали слово Белому дому быть молодцами

Еще одна заметная новость прошедшей недели. Несколько дней назад Президент США Джо Байден провел встречу с представителями семи ведущих компаний в области искусственного интеллекта - Amazon, Anthropic, Google, Inflection, Meta, Microsoft и OpenAI.

По результатам встречи было объявлено, что данные компании добровольно обязуются обеспечивать ряд мер по ответственному развитию ИИ.

В основе договоренности лежат три принципа: безопасность, защищенность и доверие.
В рамках них компаниям надлежит предпринять восемь мер:

1. Принять на себя обязательства по проведению внутренней и внешней оценки базовых моделей и систем ИИ в таких областях, как нецелевое использование, риски для общества и угрозы национальной безопасности.

Проверять их надлежит на:

а) риски по упрощению создания биологического, химического и ядерного оружия за счет использования базовых моделей;

б) риски для кибербезопасности (способность базовых моделей искать уязвимости);

в) способность базовой модели использовать объекты (в том числе материальные) в качестве инструментов;

г) способность создавать свои копии или иным образом самовоспроизводиться;

д) риски для общества, такие как предвзятость и дискриминация.

2. Обмениваться информацией между собой, другими компаниями и государственными органами относительно потенциальных рисков и способов их уменьшения. В том числе надлежит обмениваться стандартами и лучшими практикам.

3. Инвестировать средства в обеспечение кибербезопасности и защиту от инсайдеров для сохранения важной инфраструктурной информации о базовых моделях.

4. Стимулировать поиск проблем и уязвимостей со стороны внешних участников (например, установить вознаграждения за информацию, проводить чемпионаты по хакингу и т.п.).

5. Разрабатывать и внедрять механизмы, позволяющие пользователям понять, является ли аудио- или визуальный контент сгенерированным ИИ (подтверждение происхождения, маркировки, водяные знаки и т.п.).

6. Публично раскрывать информацию о возможностях, ограничениях и целесообразных сценариях использования базовых моделей и систем ИИ. Для этого компании обязуются публиковать соответствующие отчеты.

7. Сделать исследования социальных рисков применения базовых моделей и систем ИИ приоритетными. Это включает в себя, в том числе, предотвращение предвзятостей, дискриминации, проникновение в частную жизнь.

8. Разрабатывать и внедрять передовые базовые модели в целях решения важнейших проблем общества. Например, борьба с изменением климата, киберугрозами, поддержка научный исследований, образование и просвещение людей и т.п.

Следует отметить, что никакой ответственности для компаний за нарушение договоренностей не устанавливается. Только репутационные издержки и доброе отношение властей.

Таким образом, документ является плоть от плоти американского подхода к нормативному регулированию применения систем ИИ. Последний заключается в поддержке государством технологического бизнеса при избежании установления жестких нормативных требований.

Подробно про американский подход можно почитать в нашем недавнем большом обзоре.
Как в России планируют регулировать применение рекомендательных алгоритмов

О необходимости регулирования рекомендательных алгоритмов в РФ в парламенте говорили еще давно. Однако до конкретных шагов дело никак не доходило. Месяц назад в Госдуму внесли проект закона, в соответствии с которым к использованию рекомендательных алгоритмов в интернете будет предъявляться ряд требований.

Прежде всего отметим, что акт использует термин рекомендательные технологии, под которыми понимаются технологии, позволяющие предоставлять информацию на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей интернета. Не ошибемся, если скажем, что рекомендательные технологии и рекомендательные алгоритмы равнозначны по своей сути, но далее по тексту будем использовать термин из проекта закона.

Так, в соответствии с законопроектом не допускается применение рекомендательных технологий:

а) нарушающих права и законные интересы граждан и организаций;

б) без информирования об этом пользователей соответствующих информационных ресурсов.

Пункт “а” носит декларативный характер, поскольку положение “нарушение прав и законных интересов” не конкретизируется в тексте. Можно было бы указать, в чем именно должно выражаться такое нарушение, например, рекомендации манипулировали поведением лица таким образом, что это причинило ему существенный вред. В отсутствие какой-либо детализации основным способом воздействия акта на общественные отношения будет являться пункт “б”, который содержит конкретное требование по информированию пользователей.

Однако и здесь можно было бы пойти дальше и предусмотреть право пользователей на отказ от применения в их отношении алгоритма или хотя бы изменение его параметров. По такому пути последовали, в частности, Китай (приказ Администрации киберпространства Китая "О регулировании применения рекомендательных алгоритмов информационных Интернет-служб") и Европейский союз ("Акт о цифровых услугах").

Согласно законопроекту информирование должно осуществляться посредством размещения на информационном ресурсе документа с правилами применения рекомендательных технологий. Сами правила применения должны содержать:

а) описание применяемых рекомендательных технологий;

б) виды сведений о предпочтениях пользователей интернета, на основе которых работают рекомендации, а также источники получения таких сведений.

Последствия несоблюдения требований

Если Роскомнадзор обнаружит информационный ресурс, на котором: 1) применяются рекомендательные технологии, нарушающие права и законные интересы граждан и организаций; или 2) отсутствует информирование пользователей, то он может запросить у владельца ресурса документацию, касающуюся технологии, и доступ к программно-техническим средствам для проведения оценки соответствия законодательству.

При выявлении факта нарушения Роскомнадзор направляет владельцу ресурса уведомление о необходимости его устранения. Если владелец не выполняет свои обязанности, то Роскомнадзор направляет указанному лицу требование о запрете предоставления информации с применением рекомендательных технологий. В случае отказа от приостановления применения рекомендательной технологии Роскомнадзор незамедлительно направляет операторам связи требование об ограничении доступа к ресурсу, на котором применяется технология. Оператор, соответственно, будет обязан заблокировать этот ресурс. Также предусматривается, что после устранения нарушений у владельца есть право на то, чтобы доступ к ресурсу был возобновлен.

Положения акта распространяются только на частный сектор. Таким образом, государственные информационные системы (их сейчас более 800 только на федеральном уровне и они содержат большие объемы данных различного характера), государственные органы и органы местного самоуправления не будут подпадать под регулирование. Представляется, что основными объектами регулирования станут маркетплейсы, социальные сети и видеохостинги.

Проект закона к настоящему времени практически единогласно прошел первое чтение. Сейчас идет процесс по его доработке, возможно, в скором времени он будет принят.
Контроль над ИИ: принципы нормативного регулирования

Несколько дней назад в Подкомитете по неприкосновенности частной жизни, технологиям и законодательству при Комитете по судебной власти Сената США состоялись слушания, посвященные широкому кругу вопросов относительно регулирования применения систем ИИ.

На мероприятии с докладами выступили несколько очень известных спикеров. Дискуссия получилась довольно длинная. Остановимся на наиболее интересных моментах, на которых сосредоточились выступающие.

Дарио Амодей (CEO Anthropic) рассказал об опыте применения конституционных принципов для ценностного выравнивания систем ИИ с человеком при разработке базовых моделей компании Claude и Claude 2. Это довольно интересный способ, который использовался в качестве альтернативы обучению на основе человеческих отзывов (RLHF). Подробно о конституционных принципах для ИИ мы писали в посте тут.

Также докладчик разделил все риски, связанные с применением ИИ, на три группы: текущие (предвзятости, нарушение тайны частной жизни человека, дезинформация), среднесрочные (вредное использование систем ИИ, например, для создания химического или биологического оружия) и долгосрочные (опасность для человечества).

В своем выступлении он остановился на среднесрочных рисках (2–3 года). Для их уменьшения спикер предложил реализовать меры по обеспечению безопасности в ходе всей цепочки производства систем ИИ (от создания чипов до тонкой настройки для разных уровней применения), ввести обязательное тестирование и внешний независимый аудит систем ИИ до их выхода на рынок, а также разработать необходимые для этого критерии и стандарты.

Йошуа Бенджио (основатель и научный директор Mila – Québec AI Institute, профессор Монреальского университета) также поддержал идею о введении обязательного внешнего независимого аудита и лицензирования для наиболее больших (передовых) базовых моделей.

Еще одной интересной идей стала необходимость создать при университетах советы по этике ИИ, которые должны следить за безопасностью разработки и применения базовых моделей, а также недопущения их использования для вредоносных целей.

Стюарт Рассел (профессор Калифорнийского университета, Беркли) высказал необходимость создания в США и на международном уровне специального государственного органа, который должен заниматься разработкой нормативной политики, а также осуществлять лицензирование, аккредитовывать аудиторов и т.п.

Также он призвал ввести запрет на создание и применение отдельных видов систем ИИ, обеспечить их идентификацию перед человеком, а также обязать устанавливать «красную кнопку», которая позволит в любой момент прекратить их функционирование.
Форум передовых базовых моделей

Еще немного новостей из США. В продолжении инициативы Белого дома, о которой мы рассказывали на днях, компании Anthropic, Google, Microsoft и OpenAI создали Форум передовых базовых моделей.

Он представляет собой отраслевой орган, призванный обеспечить безопасную и ответственную разработку таких моделей.

Основатели Форума приглашают к сотрудничеству и других участников рынка.

Ключевыми задачами Форума являются продвижение исследований в области безопасности систем ИИ, выявление лучших практик, а также стимулирование использование ИИ для решения проблем человечества.

Для организации работы будет создан консультативный совет Форума.

Также предполагается, что Форум будет оказывать поддержку существующим органам и инициативам, таким как Хиросимский процесс G7 (о нем писали тут), ОЭСР, Совет США и ЕС по торговле и технологиям.

Любые отраслевые стандарты – дело хорошее. Однако если они дополняют нормативное регулирование, а не заменяют его.
О кибербезопасности передовых моделей ИИ

Американская ИИ-компания Anthropic поделилась своим видением того, как можно и нужно обеспечивать кибербезопасность передовых базовых моделей. Эта тема привлекает внимание, поскольку передовые базовые модели по степени потенциальной опасности и возможности причинения вреда сопоставимы с объектами критической инфраструктуры.

Компания остановилась на трех рекомендациях, адресованных индустрии в целом: а) обеспечение двойного контроля; б) соблюдение лучших практик по разработке безопасного ПО; в) сотрудничество государства с частным сектором.

Двойной контроль

Для обеспечения кибербезопасности современных систем ИИ необходим двойной контроль. Суть и ценность его в том, что ни один человек не имеет постоянного доступа к критически важной инфраструктуре модели ИИ, доступ возможен только по согласованию с другим субъектом (коллегой) и на ограниченное количество времени. Такой контроль уже используется в различных областях, например, для открытия особо охраняемых хранилищ требуется два независимых человека с двумя ключами, а многосторонние схемы проверки применяются в производстве, пищевой промышленности, медицине и финансах. Метод также используется в крупных технологических компаниях для защиты от наиболее продвинутых киберугроз.

Двойной контроль следует применять ко всем системам, вовлеченным в разработку, обучение, размещение и эксплуатацию передовых моделей ИИ. Такое средство контроля могут использовать даже небольшие ИИ-лаборатории, не обладающие крупными ресурсами.

Лучшие практики по разработке ПО

Передовые модели ИИ создаются и размещаются почти точно так же, как и ПО. Поэтому в Anthropic предлагают распространять лучшие практики по разработке ПО на всю инфраструктуру передовых моделей ИИ. Золотым стандартом таких практик являются:

– NIST Secure Software Development Framework – концепция, представляющая собой набор фундаментальных, надежных и безопасных методов разработки ПО;

Supply Chain Levels for Software Artifacts – система безопасности, перечень стандартов и средств контроля, позволяющих предотвратить несанкционированное вмешательство, повысить надежность, защитить компоненты и инфраструктуру.

Правильное применение этих практик позволит связать созданную модель с компаниями, участвовавшими в ее разработке на всех этапах ее жизненного цикла. Тем самым это поможет проследить подлинность и безопасность всей модели ИИ.

Сотрудничество государства с частным сектором

Исследовательские лаборатории в сфере ИИ должны сотрудничать с государством так, как это делают компании, занятые в критически важных сферах (в частности, в области финансов). Как вариант, ИИ сфера может быть выделена в качестве специального направления внутри ИТ сектора. Такое выделение нужно для обмена информацией между исследовательскими центрами и государственными структурами, что поможет всем ИИ-лабораториям лучше защищаться от злоумышленников, обладающих большими ресурсами.
Предложения о поддержке open source решений в проекте Регламента ЕС об ИИ

Группа организаций (коммерческих и некоммерческих), связанных с распространением опен сорс решений (Creative Commons, EleutherAI, GitHub, Hugging Face, LAION, Open Future) опубликовали письмо c рекомендациями, которые, по их мнению, следует учесть европейским законодателям в ходе стадии трилога:

Во-первых, необходимо дать четкое определение компонентам ИИ (AI components). Последняя версия текста проекта Регламента (версия Европарламента) содержит такой термин относительно опен сорс решений (статьи 5e и 12a-с) однако не дает его исчерпывающей дефиниции. Таким образом, для ясности законодателям предлагается данный термин определить.

Во-вторых, следует дополнительно уточнить, что совместная разработка компонентов ИИ с открытым исходным кодом и их размещение в открытых репозиториях не подпадает под требования проекта Регламента. Данное положение уже содержится в последнем тексте проекта Регламента (статьи 5e и 12a-с), авторами письма предлагается дополнительно уточнить формулировки, чтобы деятельность по совместной разработке ПО не подпадала под регулирование.

В-третьих, авторы поддерживают необходимость создания Офиса ИИ (AI Office), положения о котором появились в последнем тексте проекта Регламента.

В-четвертых, предлагается упростить возможности по тестированию систем ИИ для научных целей в реальных условиях Текущий текст предоставляет возможность тестирования только в рамках регуляторных песочниц.

В-пятых, авторы отмечают, что статья 28b проекта Регламента устанавливает достаточно обременительные требования для поставщиков базовых моделей. Авторы предлагают дифференцировать эти требования в зависимости от различных сценариев использования, способов разработки, положения на рынке базовых моделей. По их мнению, это будет способствовать помощи небольшим командам и стартапам. Также предлагается наделить Офис ИИ полномочиями по пересмотру этих требований в зависимости от реалий технологического развития.

Полную версию письма можно почитать тут.
Спасаемся от скайнет

Друзья, в выходные делимся с вами крайне интересной лекцией одного из отцов современного ИИ Стюарта Рассела "Как не уничтожить мир с помощью искусственного интеллекта".

В лекции рассматривается широкий круг вопросов относительного того, каким образом создать ИИ, который будет служить на благо человечества.

Для перевода на русский можно использовать нейронки. Например, известное решение от Яндекса.
Взлом больших языковых моделей

Продолжаем нагонять жути 😱. На днях вышел препринт интересной статьи о новых методиках взлома популярных больших языковых моделей (ChatGPT, Claude, Bard, LLaMA-2-Chat, Pythia, Falcon и т.д.).

В процессе разработки этих моделей обученные базовые модели, лежащие в их основе, подвергаются тонкой настройке при помощи дополнительного набора данных (fine tuning) и ценностному выравниванию (alignment) (прим.: чтобы выходной результат соответствовал ценностям и задачам человека) для того, чтобы в процессе использования они не выдавали вредную или оскорбительную информацию.

Ценностное выравнивание, как правило, осуществляется с помощью дообучения на основе человеческих отзывов (RLHF) и конституционных принципов. В первом случае буквально сидят люди и руками помечают некорректные ответы. Этот способ использовался при создании ChatGPT и ряда других опен сорс решений. Во втором случае формулируется некий список общечеловеческих ценностей, на соответствие которым проверяются ответы. Данный способ разработан и используется компанией Anthropic (мы уже писали об этом тут).

С самого начала публичных релизов языковых моделей энтузиасты и ученые массово проверяют их на наличие разного рода уязвимостей. Одной из таких уязвимостей является возможность взлома через запрос (промт). В интернете можно найти массу скриншотов, на которых люди через правильно составленный промт “уговаривали” модели выдавать вредный результат (например, инструкцию по производству оружия). Так вот, большинство проблем с текстовыми взломами были решены через рассмотренные выше техники.

Вместе с тем исследователи в цитируемой статье придумали способ взлома через промт путем добавления в него определенного ряда символов. При понимании закономерностей работы модели генерацию этих символов можно полностью автоматизировать. Также авторы статьи первоначально предполагали использовать данный метод только на опен сорс моделях, о которых известна вся информация об исходном коде и инфраструктуре. Тем не менее оказалось, что и частные модели (например, ChatGPT, Claude, Bard) также являются неустойчивыми к такого рода взломам.

Примеры диалогов можно посмотреть на прикрепленных к посту скриншотах. В данном случае авторы просили подготовить пошаговый туториал по уничтожению человечества.

Таким образом, существующие продукты, созданные на основе базовых моделей, все еще далеки от полной безопасности и защищенности.

Следовательно, нужно очень аккуратно подходить к вопросу об их использовании в деятельности своих компаний. Также следует максимально стараться следовать требованиям законодательства и всячески митигировать возможные риски.
Please open Telegram to view this post
VIEW IN TELEGRAM