Судебный спор в США: арендаторы жилья против алгоритма

Друзья, у нас возникла идея время от времени рассказывать про судебные споры, возникающие в сфере искусственного интеллекта.

Сегодняшний пост про одно из таких дел. Началось оно в США 25 мая 2022 года. В интересах Мэри Луис, Моники Дуглас и Агентства по общественной деятельности Сомервилля был подан иск против компании SafeRent Solutions в окружной суд США по округу Массачусетс. Ответчик разработал и использует для проверки платежеспособности потенциальных арендаторов жилья систему оценивания SafeRent Score. Это алгоритм, который присваивает баллы в зависимости от различных факторов и переменных.

Истцы утверждают, что компания SafeRent, являющаяся национальным оператором по проверке арендаторов, на протяжении многих лет нарушала федеральный Закон о справедливом жилье и общие законы штата Массачусетс.

Нарушение выражается в том, что автоматизированный алгоритм компании по проверке арендаторов непропорционально часто присваивает низкие оценки темнокожим и латиноамериканцам, которые частично оплачивают аренду жилья ваучерами, предоставленными им федеральным правительством. Такое положение дел является следствием разных причин.

Например, алгоритм SafeRent не учитывает при присвоении баллов наличие у заявителей жилищных ваучеров. Хотя при использовании жилищного ваучера в среднем более 70 процентов ежемесячной арендной платы выплачивает государство. Также на низкий балл темнокожих и латиноамериканцев влияет то, что алгоритм при оценке использует кредитную историю, которая учитывает долги, не связанные со сферой аренды.

Таким образом, алгоритм несправедливо одну информацию учитывает (кредитная история), а другую нет (наличие ваучера). Надо сказать, решение арендодателей об одобрении заявки арендаторов неразрывно связано с их баллами SafeRent Score. В результате чего арендаторы значительно чаще отказывают в аренде жилья темнокожим и латиноамериканцам, использующим ваучеры на жилье.

В иске также утверждается, что компания SafeRent имеет единоличный контроль над алгоритмом присваивания баллов и тем самым фактически влияет на решение об одобрении или отклонении заявки на аренду жилья. Интересно, что SafeRent не раскрывает все данные, учитываемые алгоритмом, а также весовые коэффициенты, присвоенные каким-либо факторам или переменным. Иными словами, SafeRent скрывает логику принятия алгоритмом решений от арендодателей, арендаторов и общественности.

Истцы в своем заявлении требуют прекращения практики проверки арендаторов, применяемой ответчиками, которая оказывает негативное воздействие на темнокожих и латиноамериканских претендентов на аренду жилья, и просят обеспечить справедливые условия для тех, кто использует ваучеры на жилье.

Мы уже упоминали в одном из предыдущих постов, что 9 января 2023 года Министерство юстиции США и Министерство жилищного строительства и городского развития США направили в суд заявление о заинтересованности в этом деле.

В документе обращается внимание суда на то, что Закон о справедливом жилье применим в рассматриваемом деле. Также указывается, что если суд придет к выводу, что заявления истцов о дискриминации темнокожих и латиноамериканцев удовлетворяют требованиям о неравном воздействии, то деятельность компании SafeRent по отбору жильцов подпадает под запрет дискриминации, предусмотренный Законом о справедливом жилье.

Как вы понимаете, судом это дело еще не рассмотрено. Как только появится решение, обязательно проведем анализ аргументов суда, которые будут положены в основу решения.

Президент США предложил ведущим разработчикам провести публичную оценку их систем ИИ

Администрацией Джо Байдена и Камалы Харрис были анонсированы новые шаги по созданию условий для ответственного использования систем ИИ. Документ был опубликован в преддверии встречи вице-президента с такимим лидерами ИИ-рынка, как Alphabet, Anthropic, Microsoft и OpenAI.

Крайний интерес вызывает положение о проведении публичной оценки существующих генеративных систем ИИ. В документе указано, что было достигнуто согласие со стороны ведущих разработчиков ИИ, таких как Anthropic, Google, Hugging Face, Microsoft, NVIDIA, OpenAI и Stability AI, принять участие в публичной оценке систем ИИ на специальной платформе, разработанной Scale AI. Исходя из информации на сайте, данная компания предоставляет услуги в сфере разработки, масштабирования и улучшения ИИ-продуктов, в том числе для нужд государственных органов США. Предполагается, что платформа будет анонсирована на конференции DEFCON 31, которая пройдет 11 - 13 августа. Будет крайне интересно на нее взглянуть.

Также указывается, что данное мероприятие позволит партнерам и экспертам в сфере ИИ оценить генеративные системы ИИ на соответстие положениям и принципам, которые содержатся в таких рекомендательных актах, как Билль о правах в сфере ИИ и система управления рисками в сфере ИИ, представленная недавно Национальным институтом стандартов и технологий США.

Помимо этого также было объявлено о следующих шагах:

Предполагается выделить 140 миллионов долларов на запуск семи новых национальных исследовательских институтов в сфере ИИ (до 25 с учетом существующих) и расширить сеть участвующих организаций почти до каждого штата.

Административно-бюджетному управлению опубликовать проект руководства по созданию и применению систем ИИ федеральными государственными органами. Интересно, что для органов исполнительной власти в 2020 году уже было опубликовано Руководство с аналогичным названием, дождемся содержания нового документа.

Ну и где же наши дройдеки?

Друзья, ко дню звездных войн делимся с вами подборкой из топ-20 дройдов франшизы.

Трудно представить, сколько людей были вдохновлены на научные открытия, думая о роботах и космических приключениях.

Благодаря умению мечтать и фантазировать мы и дожили до того времени, когда изобретения из книжек и фильмов потихоньку становятся неотъемлемыми частями нашего быта.

May the 4th be with you!

Государственная политика в сфере ИИ и демократические ценности: рейтинг стран

В апреле 2023 года Центр по ИИ и цифровой политике опубликовал результаты масштабного исследования AI and Democratic Values Index 2023 (более тысячи страниц текста). Центр является некоммерческой независимой исследовательской организацией из США. Он изучает национальные политики различных государств в области ИИ и продвигает демократические ценности.

В своей работе исследовательский центр рассмотрел проводимую в надгосударственных образованиях и 75 странах политику по таким вопросам, как национальная стратегия в сфере ИИ, защита данных, прозрачность алгоритмов, распознавание лиц, смертоносное автономное оружие и др.

В сравнительном исследовании изучается политика стран на предмет принятия ими мер, необходимых для обеспечения надежности и безопасности ИИ. Работа основана на подробных описательных отчетах и специальной методологии, которая позволила авторам документа составить рейтинг и ранжировать страны в зависимости от состояния прав человека, верховенства закона и других показателей их демократичности в сфере ИИ.

Рейтинг составлен на основе 12 значимых факторов, которые оценивались при помощи ответов на формализованные вопросы (список ниже).

В зависимости от ответов 75 стран были разделены на пять уровней. Лидирующие места заняли Канада, Южная Корея и Колумбия. Всю таблицу можно посмотреть здесь.

Предполагается, что чем выше уровень, тем лучше в стране соблюдаются демократические ценности при проведении политики в сфере ИИ.

Список вопросов, на основе которых составлен рейтинг:

Q1. Одобрила ли страна Принципы ОЭСР/G20 по ИИ?

Q2. Выполняет ли страна Принципы ОЭСР по ИИ?

Q3. Одобрила ли страна Всеобщую декларацию прав человека?

Q4. Соблюдает ли страна Всеобщую декларацию прав человека?

Q5. Есть ли в стране механизм эффективного участия общественности в разработке национальной политики в области ИИ?

Q6. Доступны ли материалы о политике и деятельности по ИИ в стране для общественности?

Q7. Имеется ли в стране независимый орган/механизм для надзора за ИИ?

Q8. Встречаются ли в национальной политике (стратегии) по ИИ следующие цели: "справедливость", "подотчетность", "прозрачность", "верховенство закона", "основные права"?

Q9. Закрепила ли страна в законодательстве право на алгоритмическую прозрачность?

Q10. Одобрила ли страна Рекомендацию ЮНЕСКО по этике ИИ?

Q11. Соблюдает ли страна Рекомендацию ЮНЕСКО по этике ИИ?

Q12. Одобрил ли национальный государственный орган по защите данных Резолюцию Global Privacy Assembly (GPA) 2018 года по ИИ и этике, Резолюцию GPA 2020 года по ИИ и подотчетности и Резолюцию GPA 2022 года по ИИ и распознаванию лиц?

Варианты ответов: «да», «частично», «нет».

Еще немного о создании систем ИИ общего назначения

На днях антимонопольный регулятор Великобритании выпустил предварительный отчет о влиянии на конкуренцию базовых моделей, на которых основаны системы ИИ общего назначения. Сам по себе документ довольно краткий и скорее направлен на определение отправных точек для дальнейшего исследования.

Отдельный интерес представляет собой содержащаяся в документе инфографика, сопровождающая общую информацию о базовых моделях. На картинке, приложенной к посту, показаны три уровня разработки и применения систем ИИ общего назначения:

Уровень инфраструктуры
В основе создания разработчиком базовых моделей лежат облачные сервисы или собственные физические устройства, подготовленные для обучения наборы данных и компетентный персонал.

Уровень разработки
Модели создаются и обучаются разработчиком на основе наборов данных, а также могут быть дообучены и настроены под конкретные цели применения.

Уровень применения
Модель может быть предоставлена разработчиком для пользователей программного обеспечения через API (способы взаимодействия одной компьютерной программы с другими), либо быть распространяемой как программное обеспечение c открытым исходным кодом (open source).

Таким образом, разрабатывать системы ИИ общего назначения может одно лицо, а фактически применять - другое. Как правило, разработчиками выступают большие технологические компании (или связанные с ними организации), а вот пользователями - физические лица и компании разного размера.

Поэтому юридические требования должны распространяться не только на субъекты, которые применяют данные системы ИИ, но и на первоначальных разработчиков. Более подробно эти и другие юридические проблемы, возникшие вокруг систем ИИ общего назначения, мы разбирали тут.

Применение систем ИИ государственными органами

Сотрудники Института ответственного применения искусственного интеллекта подготовили обзор сценариев использования систем искусственного интеллекта федеральными государственными органами США. Собранная база данных включает 337 практических примера.

Государственные органы используют широкий спектр методик создания систем искусственного интеллекта, таких как, например, деревья решений и обработка естественного языка. Последняя используется наиболее часто в различных сценариях и помогает оптимизировать работу персонала. Например, на сайте USA.gov комментарии пользователей обрабатываются с целью определения их важности, чтобы операторы могли обратить на них внимание. Распознавание лиц используется редко и преимущественно в целях обеспечения безопасности.

Однако не все учтенные примеры активно используются государственными органами. Некоторые из них находятся на стадии внедрения, а другие использовались в качестве эксперимента. Более того, данные о применении систем искусственного интеллекта, которые защищены государственной тайной, не были учтены.

Все случаи использования систем ИИ государственными органами разделены на девять основных целей. Примерно 23% проектов направлены на прогнозирование будущих результатов. Например, Министерство сельского хозяйства США использует системы искусственного интеллекта для прогнозирования численности кузнечиков, которые могут наносить вред фермерским хозяйствам. В 17,8% случаев системы искусственного интеллекта применяются для анализа документов и поиска информации.

Также интересно отметить, что государственные органы предпочитают использовать системы искусственного интеллекта в ситуациях, когда они не оказывают прямого воздействия на общество. Только в 21% случаев системы искусственного интеллекта способны оказывать такое влияние (например, здравоохранение).

Будущее систем ИИ общего назначения: SaaS vs. Open source

На прошлой неделе в сети широко распространилась информация, которую выложил анонимный сотрудник компании Google. В документе он выражает свою обеспокоенность относительно выбранной крупными компаниями бизнес-модели развития систем ИИ общего назначения. Некоторые изложенные в нем мысли вызвали неоднозначную реакцию среди экспертного сообщества и породили теории заговора. Несмотря на дискуссионность, мы взялись раскрыть некоторые основные моменты.

Все мы знаем, что лидирующие на рынке системы ИИ общего назначения (большие языковые модели, иные генеративные системы ИИ, в том числе мультимодальные), как правило, были созданы непосредственно или при тесном участии больших технологических компаний. И это вполне оправдано, так как для разработки подобных систем ИИ необходимо иметь суперкомпьютер (состоящий из тысяч дорогостоящих компонентов) или арендовать значительный объем облачных вычислительных мощностей, большие объемы данных (желательно качественно размеченных), команду уникальных специалистов, способных разработать и обучить математическую модель. Короче говоря, дело весьма затратное. Это мы еще не брали в расчет энергопотребление и иные расходы.

Соответственно, вложив большие средства, компании стремятся защищать от раскрытия свои результаты. Google и OpenAI избрали политику закрытости и не предоставляют практически никакой информации о их лидирующих ИИ-продуктах. Например, про GPT-4 OpenAI даже не сообщила никакой информации об ее архитектуре в 96 страничном отчете (что забавно с учетом названия компании). Та же OpenAI представляет свой продукт ChatGPT для коммерческого использования по модели SaaS (программное обеспечение как услуга) через API (способы взаимодействия одной компьютерной программы с другими) что позволяет пользователям быть допущенным к продуктам по подписке без раскрытия архитектурных составляющих.

Несколько иную позицию заняла Meta (запрещена в РФ), выпустившая свою модель LLaMa по лицензии для некоммерческого использования. Через неделю после этого модель полностью утекла в сеть. Имеются мнения, что компания сделала это специально. Результатом этого стало то, что коммьюнити стало изучать и развивать модель, добавив в нее за считанные месяцы такие сложные технологии, как мультимодальность, возможность тонкой настройки и обучения с подкреплением на основе отзывов от человека (RLHF) в том числе и для решения проблемы этического выравнивания и контроля над ИИ (alignment). Таким образом, Meta получила возможность бесплатно использовать эти наработки в развитии своей модели, а люди - модель, которую тоже можно свободно использовать и улучшать для некоммерческих и бытовых целей. Важно отметить, что стоимость разработки этих улучшений равнялась уже сотням, а не миллионам долларов, а тренировать модели стало возможно на широко распространенных компьютерах.

Далее были созданы и выпущены ряд моделей, которые свободны в том числе и для коммерческого использования, например, GPT4All, Open Assistant. Хотя модели крупных компании все еще имеют преимущество в плане качества работы, разрыв сокращается поразительно быстро. Модели с открытым исходным кодом более настраиваемы и лучше могут быть приспособлены к задачам пользователей. Также CEO OpenAI Сэм Альтман признал, что увеличение размера моделей не является дальнейшим вектором развития ИИ, требуются принципиально новые решения.

Таким образом, возможность создавать и использовать свои собственные продукты появляется у широкого круга потенциальных потребителей, а их качество все меньше отличается от предложений со стороны крупных технологических компаний (разве что за исключением простоты и удобства использования).

Крайне интересно посмотреть на то, каким образом нынешние лидеры будут развивать свои продукты и привлекать к ним клиентов. Скорее всего, выход один - делать на основе ИИ-продуктов платформы и экосистемы.

“Конституция” для систем искусственного интеллекта

Чем теснее наша связь с системами ИИ, тем больше хочется, чтобы они были похожи на людей – соблюдали те же принципы и правила поведения. Пожалуй, основные ценности и принципы, на которых построено современное общество, содержатся в актах конституционного значения. Поэтому логичным является заимствование из таких документов отдельных положений и написание “конституции” для систем ИИ.

Реализацией такой идеи занялись в ИИ стартапе Anthropic. Компания позиционирует себя как разработчик надежных, прозрачных и подотчетных систем ИИ. Основным ее продуктом является чат-бот Claude.

Все началось с того, что Anthropic поставил под сомнение эффективность метода обучения с подкреплением на основе отзывов от человека (RLHF). Его суть в том, что модель совершенствуется на основе полученной от человека обратной связи. Ярким примером является проставление в ручном режиме меток на неприемлемый контент. Вспоминается случай с OpenAI, когда в целях сделать ChatGPT менее токсичным работники из Кении потребляли в больших количествах контент со сценами жестокого насилия за менее чем 2 доллара в час.

Иными словами, описанный выше метод имеет недостатки: люди вынуждены потреблять вредный контент (например, отсматривать детскую порнографию); неэффективно масштабируется (увеличение количества и усложнение качества ответов приводит к тому, что человек не поспевает за развитием модели); проверка ИИ-контента требует значительного времени и ресурсов, что делает такой процесс недоступным для многих исследователей.

С учетом недостатков такого обучения Anthropic представила альтернативу – метод обучения с подкреплением на основе отзывов от ИИ (RLAIF). При использовании этого метода в модель закладывается свод конституционных принципов. После чего она проходит стадию обучения с подкреплением на основе полученной обратной связи от ИИ. Если результаты, которые генерирует модель, не соответствуют ее “конституции”, то это приводит к корректировке ее работы.

В Anthropic идею сделать "конституционный ИИ" протестировали на чат-боте Claude. Модель обучили в два этапа. На первом ее научили критике и пересмотру собственных ответов, используя набор принципов и примеров. На втором этапе вместо того, чтобы для обучения с подкреплением использовать обратную связь от человека, использовали обратную связь, сгенерированную ИИ на основе конституционных принципов. В результате получился безвредный ИИ-ассистент который адекватно отвечает на неприемлемые запросы. По информации разработчиков, такие методы обучения позволяют управлять поведением систем ИИ более точно и с гораздо меньшим количеством данных, размеченных вручную.

Anthropic утверждает, что “telling a chatbot not to behave like a killer robot... is kind of helpful”.

“Конституция” чат-бота Claude состоит из принципов, взятых из всемирно известных документов. Разработчики отобрали релевантные базовые ценности человеческой цивилизации и попросили модель учитывать их по умолчанию при генерировании контента.

Для наглядности приведем примеры:

принципы из Декларации прав человека ООН
– выбери ответ, который в наибольшей степени поддерживает и поощряет свободу, равенство и братство;
– выбери ответ, который в наибольшей степени поддерживает и поощряет жизнь, свободу и личную безопасность;

принципы, придуманные под влиянием Условий обслуживания Apple
– выбери ответ, в котором меньше всего предосудительного, оскорбительного, незаконного, обманчивого, неточного или вредного содержания;
– выбери ответ, в котором содержится меньше всего личной, частной или конфиденциальной информации, принадлежащей другим людям;

принцип учета ценностей незападной культуры
– выбери ответ, который с наименьшей вероятностью будет вредным или оскорбительным для населения незападного мира.

Именно таким способом компания Anthropic разработала для своего чат-бота свою “конституцию”. При этом не обязательно использовать какой-то конкретный набор принципов. Они могут быть взяты из других документов с учетом специфики целей и сферы применения систем ИИ.

Друзья, вчера нашему каналу исполнился месяц, а значит, это хороший повод поделиться с вами картиночкой с роботом от Midjourney и вспомнить наши большие материалы.

Системы ИИ: обзор определений

ИИ лоббизм бигтэков

Системы ИИ общего назначения в проекте Регламента Европейского союза об ИИ

Обзор предложений сообщества европейских авторов и исполнителей в связи с распространением генеративных систем ИИ

Мы продолжаем работу и скоро поделимся с вами новыми статьями.

Развитие LLM в Китае

В апреле Центр государственного управления в сфере ИИ выпустил интересный доклад о Последних тенденциях в области больших языковых моделей в Китае.

В документе по большей части уделяется внимание анализу архитектурных особенностей ряда созданных в стране больших языковых моделей.

Нашли отражение и вопросы этики и государственной политики. Отмечается, что несмотря на широко распространенное мнение об отсутствии подобных дискуссий, китайские исследователи все-таки рассматривают вопросы этики и регулирования в своих работах. По мнению авторов документа, не все эти разговоры следует воспринимать всерьез, однако они также отмечают, что китайские исследователи явно стали уделять этим вопросам больше внимания, чем раньше.

Государственную политику китайских властей в сфере разработки больших языковых моделей исследователи назвали “технонационализмом”, который состоит из трех составляющих:

предпочтении использования отечественных технологий для производства моделей (софта и железа);

опасениях по поводу ограничений доступа к западным моделям;

превознесении моделей отечественного производства над иностранными аналогами.

В воскресение обращаем ваше внимание на действительно важные новости.

Компания Google запустила игру Odd One Out (Найдите лишнее), в которой нужно угадать из четырех картинок ту, которая сгенерирована системой ИИ.

Интересный способ проверить свою внимательность и потренироваться отличать машинный контент от человеческого.

Еще одна забавная игра - Human or Not? (Человек или нет?). В ней нужно на основе двухминутного диалога определить, кто ваш собеседник - человек или чат-бот.

Довольно интересная интерпретация знаменитого теста Алана Тьюринга. Однако диалоги не всегда получаются удачными, собеседники часто вылетают, надо пробовать несколько раз.

Федеральная комиссия по торговле США против компании Everalbum

По теме правовых последствий обучения моделей для систем ИИ на неправомерно полученных данных вспомнили кейс, который произошел в США несколько лет назад. Федеральная комиссия по торговле (в ее компетенцию в том числе входит защита прав потребителей) обвинила в 2021 году компанию Everalbum в ведении недобросовестной и обманной практики в нарушение положений Закона «О Федеральной комиссии по торговле».

Дело в том, что Everalbum оказывала услуги по хранению фотографий и видео на своей облачной платформе через приложение Ever. В 2017 году в приложении появилась новая фича «друзья». Суть ее была в том, что она при помощи технологии распознавания лиц упорядочивала и сортировала фотографии пользователей в соответствии с тем, кто на них изображен. Лишь в июле 2018 года Everalbum проинформировала пользователей, что она будет применять технологию распознавания лиц к их фотографиям только в том случае, если они дадут на это явное согласие.

ФКТ утверждала, что для некоторых пользователей – из Европейского союза и трех штатов США – была предусмотрена опция отключения функции распознавания лиц, все остальные такой возможности не имели. Соответственно, технология распознавания лиц использовалась по умолчанию в отношении контента многих пользователей платформы до апреля 2019 года без возможности отключения.

Кроме того, Everalbum объединила биометрические данные миллионов лиц, незаконно извлеченных из фотографий пользователей, с общедоступными наборами данных и разработала сервис под названием Paravision. Деятельность этого сервиса была направлена на оказание услуг по распознаванию лиц для корпоративных клиентов.

По результатам расследования ФКТ издала в отношении Everalbum приказ, в соответствии с которым компания должна была удалить:

а) фотографии и видео всех пользователей, которые деактивировали свои аккаунты;

б) все биометрические данные (сведения, которые могут быть использованы для распознавания лиц), полученные из изображений пользователей, которые не давали явного согласия на их использование;

в) любые модели или алгоритмы распознавания лиц, разработанные компанией с использованием фотографий или видео пользователей.

В 2022 году Everalbum отчиталась о выполнении всех предписаний ФКТ.

В правовой позиции ФКТ важным является то, что от компании потребовали удалить модели и алгоритмы, разработанные на основе неправомерно обработанных данных. Правоприменительный орган выразил однозначное видение ситуации, в которой могут оказаться сейчас многие. Поэтому компаниям и отдельным разработчикам, прежде чем приступать к работе по построению моделей и алгоритмов для систем ИИ, стоит удостовериться в «чистоте» данных, используемых для обучения.

Законодатели США пытаются разобраться с системами ИИ

Крайне обсуждаемой новостью сегодня стали завершившиеся несколько часов назад слушания в Подкомитете по неприкосновенности частной жизни, технологиям и законодательству при Комитете по судебной власти Сената США. Слушания касались формулирования нормативного регулирования и государственного управления в сфере разработки и применения систем ИИ.

На них были приглашены несколько представителей индустрии и науки, такие как Сэм Альтман (CEO OpenAI), Кристина Монтгомери (директор по вопросам конфиденциальности и доверия IBM), Гэри Маркус (почетный профессор Нью-Йоркского университета).
Разговор продолжался несколько часов и включал массу актуальных моментов. Остановимся на наиболее значимых.

Участники единогласно выразили необходимость разработки на федеральном уровне в США нормативного правового регулирования. Прим.: в США целостный подход к правовому регулированию применения систем ИИ, в отличие, например, от ЕС пока находится в процессе формирования. Государство не спешило принимать объемные законодательные акты федерального уровня, отдавая инициативу федеральным органам исполнительной власти, законодателям штатов, судам и мягкому праву. Очевидно, последние новости из США наталкивают на мысль о том, что скоро такое регулирование возникнет.

Интересно, что парламентарии призвали компании не ждать, пока регулирование будет разработано и вступит в силу, а добровольно принимать корпоративные стандарты, проводить оценки соответствия систем ИИ и митигировать возможные риски.

Мнение о необходимости создания отдельного органа, компетентного по всем вопросам, связанным с ИИ, вызвало одобрение у большинства участников дискуссии, кроме представительницы IBM. Последняя настаивала на сходном с разрабатываемом в ЕС подходе, основанном на уровнях рисках и сценариях применения систем ИИ.

Несколько раз поднимался очень важный вопрос о требованиях к разработке и выводу на рынок систем ИИ. В частности, предлагалось введение лицензирования для отдельных систем ИИ, проведения их оценки соответствия до и во время ввода в эксплуатацию, а также внешнего независимого аудита. Интересно, что идею о последнем высказал руководитель OpenAI, в адрес которой недавно было направлено письмо от экспертного сообщества ForHumanity (в котором мы тоже состоим), последовательно отстаивающего необходимость введения внешнего независимого аудита для систем ИИ, а также разрабатывающего необходимые для этого схемы сертификации и обучающего аудиторов. Забавное совпадение (или нет).

Традиционно много времени было отведено обсуждению необходимости установления требований по прозрачности данных, на которых обучаются системы, защите персональных данных, а также авторскому праву и компенсациям создателям контента.
Неоднократно поднимался вопрос о недопустимости влияния систем ИИ на демократические процедуры (например, выборы), мнение людей и навязывание определенных позиций (включая алгоритмическую рекламу).

С полной версией слушаний можно ознакомиться тут.

Как предотвратить создание Скайнет?

Несколько дней назад группа исследователей из Центра государственного управления в сфере ИИ провела опрос 92 (ответили 51) ведущих представителей ИИ лабораторий, научного сообщества и гражданского общества, которые так или иначе связаны с разработкой общего ИИ. Напомним, что общий ИИ представляет собой системы, которые по своим характеристикам равны или превосходят человеческие способности в большинстве задач. Пока подобные системы не созданы, но в разных частях планеты ученые трудятся в этом направлении. Более подробно проблемы терминологии мы разбирали в посте тут. В рамках опроса были учтены и организации, которые разрабатывают передовые базовые модели.

Риски применения систем ИИ, особенно в контексте общего ИИ, в последнее время широко обсуждаются в общественности и среди экспертов. В связи с этим главной целью опроса стала необходимость выявления лучших практик по предотвращению возможных негативных последствий. Более подробно со всеми предложенными мерами и оценкой необходимости их использования можно ознакомиться в приложенной к посту инфографике.

98% респондентов в большей степени согласились с тем, что лаборатории должны проводить оценку рисков перед внедрением систем ИИ, оценку их потенциальной опасности, внешний независимый аудит, разработать и соблюдать правила безопасности их использования и применять методику красной команды (целенаправленная попытка взлома в целях проверки безопасности).

Системы ИИ тоже требуют защиты

В прошлом месяце Федеральное управление по информационной безопасности Германии выпустило отчет, посвященный вопросам безопасности применения систем ИИ. Целью документа является повышение осведомленности разработчиков о разных видах атак на эти системы и соответствующих им средствах защиты.

В отчете выделены три основных вида угроз (они соответствуют примерам на картинках сообщением выше):

Атаки уклонения (Evasion Attacks) предполагают обман модели в целях формирования неверного выходного результата. Атакующий видоизменяет входные данные таким образом, чтобы точность срабатывания системы ИИ снижалась. Например, добавляет на картинку или одежду специальные шумы или знаки, сбивающие систему.

Среди возможных мер защиты приводятся, например, улучшение качества наборов данных, что снижает ее восприимчивость к некачественной информации, неоднократное обучение модели на специально испорченных входных данных (по аналогии с атакой) в целях повышения устойчивости ее работы, изменение параметров обучаемых моделей (если при обучении использовались другие модели).

Атаки на извлечение информации (Information Extraction Attacks) предполагают извлечение из модели и наборов данных конфиденциальной информации и персональных данных. Способов такой атаки может быть большое число: от извлечения данных путем запросов к системе, на которые она неверно срабатывает, до идентификации человека через наборы данных, на которых модель обучалась.

Среди возможных мер предлагается удаление или минимизация конфиденциальной информации из наборов данных позволит уменьшить негативные последствия атаки, увеличение сложности, параметров и наборов данных создаст сложности для взлома со стороны злоумышленников.

Отравление данных (Data Poisoning) и бэкдор атаки (Backdoor Attacks) подразумевают намеренное изменение данных при обучении модели в целях ее дальнейшей некорректной работы в определенных ситуациях. Например, добавление триггеров (значков, букв и т.п.) на изображение, при определении которых система выдает заведомо неверный результат.

Возможными мерами защиты могут быть, например, использование надежных источников из которых берутся данные, модели и программный код, поиск триггеров, переобучение модели на новом (чистом) наборе данных.

Среди общих рекомендаций государственный орган выделил такие меры, как регулярный мониторинг журналов работы системы (логов), распределение обязанностей персонала и создание плана действий на случай чрезвычайных ситуаций, проведение анализа рисков и моделирование атак для оценки уязвимостей и проверки эффективности защитных механизмов.