Ирландия начала готовиться к вступлению в силу Регламента ЕС об ИИ
Национальный орган по стандартизации Ирландии (National Standards Authority of Ireland, NSAI) представил дорожную карту (AI Standards & Assurance Roadmap Actions) по реализации политики в сфере ИИ. Ключевым фактором, из-за которого принята дорожная карта, является то, что государство таким способом готовится к последствиям принятия Регламента ЕС об ИИ (Регламент). В Ирландии расположены штаб-квартиры многих крупных технологических компаний, работающих в ИИ-индустрии. Поэтому Ирландия очень заинтересована в том, чтобы у бизнеса, находящегося под их юрисдикцией, были максимально комфортные правовые и организационные условия для работы.
Сейчас на уровне ЕС активно разрабатываются унифицированные стандарты для систем ИИ. Европейская комиссия в мае этого года утвердила финальную версию запроса в адрес европейских организаций по стандартизации с тем, чтобы они разработали ряд стандартов. В запросе содержится десять тематик, по которым требуются стандарты (риск-менеджмент, управление датасетами, прозрачность и информированность пользователей и т.п.).
Из дорожной карты следует, что Ирландия намерена полноценно участвовать в разработке международных и европейских стандартов с тем, чтобы обеспечить свои интересы. В частности, на национальном уровне в NSAI существует комитет, занимающийся вопросами ИИ (NSAI/TC2/SC18). В состав этого комитета входят ирландские эксперты, обладающие широким спектром знаний в области ИИ. Он является зеркальным комитетом по отношению к комитетам по ИИ: а) Международной организации по стандартизации (ISO/IEC JTC 1/SC 42); и б) европейских организаций по стандартизации (CEN-CENELEC 21 "Искусственный интеллект”). Через этот комитет Ирландия активно участвует в работе. Несколько его членов играют ведущую роль в разработке стандартов на международном и европейском уровнях, являясь председателями комитетов, организаторами рабочих групп и руководителями проектов.
Такой интерес Ирландии к стандартам закономерен, поскольку Регламент предусматривает, что системы ИИ, соответствующие унифицированным стандартам, будут расцениваться как уже удовлетворяющие значимым требованиям европейского акта. В частности, Регламент потребует прохождения процедуры оценки соответствия (по общему правилу) организациями, разрабатывающими и внедряющими высокорисковые системы ИИ. Таким образом, Ирландия всячески будет стремиться к тому, чтобы их отечественные компании соблюдали унифицированные стандарты, касающиеся сферы ИИ. Это позволит поставщикам и эксплуатантам систем ИИ пользоваться в том числе упрощенными процедурами оценки соответствия.
Среди конкретных мер, которые Ирландия планирует принять в соответствие с дорожной картой, мы бы хотели обратить внимание на следующие:
– заблаговременное назначение национального регулирующего органа, который будет выполнять функции компетентного органа в сфере ИИ;
– своевременное принятие руководств для индустрии, разъясняющих систему регулирования применения систем ИИ, в том числе юридические особенности прохождения процедуры оценки соответствия;
– развитие национальной экосистемы создания надежных систем ИИ для укрепления репутации Ирландии на международном уровне;
– для тех случаев, когда высокорисковые системы ИИ являются компонентами других продуктов, которые подлежат прохождению процедуры оценки соответствия в силу других актов, важно, чтобы отраслевые национальные органы и нотификационные органы работали сообща для того, чтобы интегрировать в свои проверочные мероприятия процедуры оценки соответствия систем ИИ (чтобы организациям не приходилось проводить процедуру оценки соответствия два раза).
Еще одним любопытным обстоятельством является то, что согласно дорожной карте NSAI планирует получить статус нотификационного органа в значении Регламента. NSAI уже является нотифицированным органом по медицинским изделиям, метрологии и строительству. Поэтому авторы этой идеи посчитали, что именно эта организация лучше всего подойдет для выполнения функций по нотификации.
Национальный орган по стандартизации Ирландии (National Standards Authority of Ireland, NSAI) представил дорожную карту (AI Standards & Assurance Roadmap Actions) по реализации политики в сфере ИИ. Ключевым фактором, из-за которого принята дорожная карта, является то, что государство таким способом готовится к последствиям принятия Регламента ЕС об ИИ (Регламент). В Ирландии расположены штаб-квартиры многих крупных технологических компаний, работающих в ИИ-индустрии. Поэтому Ирландия очень заинтересована в том, чтобы у бизнеса, находящегося под их юрисдикцией, были максимально комфортные правовые и организационные условия для работы.
Сейчас на уровне ЕС активно разрабатываются унифицированные стандарты для систем ИИ. Европейская комиссия в мае этого года утвердила финальную версию запроса в адрес европейских организаций по стандартизации с тем, чтобы они разработали ряд стандартов. В запросе содержится десять тематик, по которым требуются стандарты (риск-менеджмент, управление датасетами, прозрачность и информированность пользователей и т.п.).
Из дорожной карты следует, что Ирландия намерена полноценно участвовать в разработке международных и европейских стандартов с тем, чтобы обеспечить свои интересы. В частности, на национальном уровне в NSAI существует комитет, занимающийся вопросами ИИ (NSAI/TC2/SC18). В состав этого комитета входят ирландские эксперты, обладающие широким спектром знаний в области ИИ. Он является зеркальным комитетом по отношению к комитетам по ИИ: а) Международной организации по стандартизации (ISO/IEC JTC 1/SC 42); и б) европейских организаций по стандартизации (CEN-CENELEC 21 "Искусственный интеллект”). Через этот комитет Ирландия активно участвует в работе. Несколько его членов играют ведущую роль в разработке стандартов на международном и европейском уровнях, являясь председателями комитетов, организаторами рабочих групп и руководителями проектов.
Такой интерес Ирландии к стандартам закономерен, поскольку Регламент предусматривает, что системы ИИ, соответствующие унифицированным стандартам, будут расцениваться как уже удовлетворяющие значимым требованиям европейского акта. В частности, Регламент потребует прохождения процедуры оценки соответствия (по общему правилу) организациями, разрабатывающими и внедряющими высокорисковые системы ИИ. Таким образом, Ирландия всячески будет стремиться к тому, чтобы их отечественные компании соблюдали унифицированные стандарты, касающиеся сферы ИИ. Это позволит поставщикам и эксплуатантам систем ИИ пользоваться в том числе упрощенными процедурами оценки соответствия.
Среди конкретных мер, которые Ирландия планирует принять в соответствие с дорожной картой, мы бы хотели обратить внимание на следующие:
– заблаговременное назначение национального регулирующего органа, который будет выполнять функции компетентного органа в сфере ИИ;
– своевременное принятие руководств для индустрии, разъясняющих систему регулирования применения систем ИИ, в том числе юридические особенности прохождения процедуры оценки соответствия;
– развитие национальной экосистемы создания надежных систем ИИ для укрепления репутации Ирландии на международном уровне;
– для тех случаев, когда высокорисковые системы ИИ являются компонентами других продуктов, которые подлежат прохождению процедуры оценки соответствия в силу других актов, важно, чтобы отраслевые национальные органы и нотификационные органы работали сообща для того, чтобы интегрировать в свои проверочные мероприятия процедуры оценки соответствия систем ИИ (чтобы организациям не приходилось проводить процедуру оценки соответствия два раза).
Еще одним любопытным обстоятельством является то, что согласно дорожной карте NSAI планирует получить статус нотификационного органа в значении Регламента. NSAI уже является нотифицированным органом по медицинским изделиям, метрологии и строительству. Поэтому авторы этой идеи посчитали, что именно эта организация лучше всего подойдет для выполнения функций по нотификации.
❤2🔥2
В России принят федеральный закон, регулирующий применение рекомендательных алгоритмов
С 1 октября 2023 года в России вступит в силу федеральный закон, который потребует от интернет-ресурсов информировать своих пользователей о применении рекомендательных алгоритмов. Информирование должно осуществляться владельцами через размещение на самом ресурсе документа с описанием того, как работает алгоритм. В частности, необходимо будет указывать виды сведений о предпочтениях пользователей, на основе которых работают рекомендации, а также источники их получения. При нарушении владельцем интернет-ресурса требований закона, Роскомнадзор будет блокировать доступ к соответствующим ресурсам.
Подробный обзор положений закона можете почитать здесь.
С 1 октября 2023 года в России вступит в силу федеральный закон, который потребует от интернет-ресурсов информировать своих пользователей о применении рекомендательных алгоритмов. Информирование должно осуществляться владельцами через размещение на самом ресурсе документа с описанием того, как работает алгоритм. В частности, необходимо будет указывать виды сведений о предпочтениях пользователей, на основе которых работают рекомендации, а также источники их получения. При нарушении владельцем интернет-ресурса требований закона, Роскомнадзор будет блокировать доступ к соответствующим ресурсам.
Подробный обзор положений закона можете почитать здесь.
Telegram
howtocomply_AI
Как в России планируют регулировать применение рекомендательных алгоритмов
О необходимости регулирования рекомендательных алгоритмов в РФ в парламенте говорили еще давно. Однако до конкретных шагов дело никак не доходило. Месяц назад в Госдуму внесли проект…
О необходимости регулирования рекомендательных алгоритмов в РФ в парламенте говорили еще давно. Однако до конкретных шагов дело никак не доходило. Месяц назад в Госдуму внесли проект…
❤4👍2
В Сенате США обсудили проблемы авторских прав в контексте генеративного ИИ
Часть 1.
В Подкомитете по неприкосновенности частной жизни, технологиям и законодательству при Комитете по судебной власти Сената США состоялись слушания на тему Искусственный интеллект и интеллектуальная собственность - часть II: авторское право.
Напомним, что разбор первой части про патенты, инновации и конкуренцию мы опубликовали тут.
На мероприятие были приглашены несколько представителей креативной индустрии, ИИ-компаний и науки. Заседание получилось насыщенным, остановимся на наиболее острых вопросах:
Бен Брукс (руководитель отдела по государственной политике, Stability AI) пытался заверить публику, что их системы ИИ призваны быть помощниками, не заменой креативного класса.
Также он отметил ряд шагов, которые позволят лучше защитить права авторов:
Передовые методы обучения. Поскольку Stable Diffusion предварительно обучается на контенте из открытых наборов данных, это позволяет авторам определить, появятся ли в этих датасетах их работы. Stability AI проактивно запрашивает у авторов запросы на отказ от участия в обучении и будет учитывать эти запросы при обучении новых моделей Stable Diffusion (сейчас их уже более 160 миллионов). Компания соблюдает существующие цифровые протоколы (например, robot.txt), которые показывают, согласен ли сайт на автоматизированный сбор данных с него. Также он указал, что Stability AI занимается разработкой машиночитаемых отказов, которые бы вшивались в метаданные контента.
Идентификация контента. Компания внедряет различные идентификаторы подлинности контента и скрытые водяные знаки, которые призваны в дальнейшим помогать выявлять сгенерированные данные держателям цифровых платформ.
Качество датасетов. Stability AI активно занимается улучшением качества и репрезентативности своих датасетов, чтобы избежать проблем нарушения прав авторов из-за ошибок работы моделей (например, переобучения).
Меры по предотвращению ненадлежащего использования продуктов. Компания использует лицензию Open Responsible AI License (для Stable Diffusion), что позволяет запретить ряд вредных сценариев использования. Также встраиваются фильтры для данных и промтов, а также имеется карточка продукта, описывающая его особенности и ограничения использования (разместим ее под постом).
Дана Рао (исполнительный вице-президент, главный советник и директор по обеспечения доверия, Adobe Inc.) остановился на особенностях нового продукта компании Adobe Firefly, который был полностью обучен на юридически чистых данных (своем датасете Adobe Stock, а также на работах с открытой лицензией и контенте, находящемся в общественном достоянии, авторские права на который истекли). Также у компании имеется целая команда модераторов, которые проверяют новые данные на риски нарушения авторских прав перед добавлением их в датасеты.
Спикер также остановился на технологии Content Credentials, которую внедряет целый ряд компаний, входящих в Инициативу по аутентичности контента. Технология позволяет добавлять в метаданные пометку “Do Not Train”, что должно позволить не включать в дальнейшем эти данные в датасеты, ставить цифровую метку об авторстве произведения, а также разделять сгенерированный контент и авторский (в целях защиты созданных человеком элементов авторским правом). Прим.: это как раз соответствует сформулированной в позиции Ведомства по патентам и товарным знакам США в мартовском разъяснении и по запросу Кристины Каштановой.
Что касается законодательных изменений, то спикер высказал необходимость разработки нормативных механизмов по защите от копирования авторского стиля. Adobe также работает над соответствующим продуктом, чтобы обеспечить генерацию контента в стиле конкретного автора с возможностью отчисления за это вознаграждения со стороны пользователя.
Мэтью Саг (профессор права, Университет Эмори) указал, что действующее американское законодательство не нуждается в серьезных изменениях в данный момент времени. В частности, по его мнению:
во-первых, системы ИИ не могут быть признаны авторами произведений;
Часть 1.
В Подкомитете по неприкосновенности частной жизни, технологиям и законодательству при Комитете по судебной власти Сената США состоялись слушания на тему Искусственный интеллект и интеллектуальная собственность - часть II: авторское право.
Напомним, что разбор первой части про патенты, инновации и конкуренцию мы опубликовали тут.
На мероприятие были приглашены несколько представителей креативной индустрии, ИИ-компаний и науки. Заседание получилось насыщенным, остановимся на наиболее острых вопросах:
Бен Брукс (руководитель отдела по государственной политике, Stability AI) пытался заверить публику, что их системы ИИ призваны быть помощниками, не заменой креативного класса.
Также он отметил ряд шагов, которые позволят лучше защитить права авторов:
Передовые методы обучения. Поскольку Stable Diffusion предварительно обучается на контенте из открытых наборов данных, это позволяет авторам определить, появятся ли в этих датасетах их работы. Stability AI проактивно запрашивает у авторов запросы на отказ от участия в обучении и будет учитывать эти запросы при обучении новых моделей Stable Diffusion (сейчас их уже более 160 миллионов). Компания соблюдает существующие цифровые протоколы (например, robot.txt), которые показывают, согласен ли сайт на автоматизированный сбор данных с него. Также он указал, что Stability AI занимается разработкой машиночитаемых отказов, которые бы вшивались в метаданные контента.
Идентификация контента. Компания внедряет различные идентификаторы подлинности контента и скрытые водяные знаки, которые призваны в дальнейшим помогать выявлять сгенерированные данные держателям цифровых платформ.
Качество датасетов. Stability AI активно занимается улучшением качества и репрезентативности своих датасетов, чтобы избежать проблем нарушения прав авторов из-за ошибок работы моделей (например, переобучения).
Меры по предотвращению ненадлежащего использования продуктов. Компания использует лицензию Open Responsible AI License (для Stable Diffusion), что позволяет запретить ряд вредных сценариев использования. Также встраиваются фильтры для данных и промтов, а также имеется карточка продукта, описывающая его особенности и ограничения использования (разместим ее под постом).
Дана Рао (исполнительный вице-президент, главный советник и директор по обеспечения доверия, Adobe Inc.) остановился на особенностях нового продукта компании Adobe Firefly, который был полностью обучен на юридически чистых данных (своем датасете Adobe Stock, а также на работах с открытой лицензией и контенте, находящемся в общественном достоянии, авторские права на который истекли). Также у компании имеется целая команда модераторов, которые проверяют новые данные на риски нарушения авторских прав перед добавлением их в датасеты.
Спикер также остановился на технологии Content Credentials, которую внедряет целый ряд компаний, входящих в Инициативу по аутентичности контента. Технология позволяет добавлять в метаданные пометку “Do Not Train”, что должно позволить не включать в дальнейшем эти данные в датасеты, ставить цифровую метку об авторстве произведения, а также разделять сгенерированный контент и авторский (в целях защиты созданных человеком элементов авторским правом). Прим.: это как раз соответствует сформулированной в позиции Ведомства по патентам и товарным знакам США в мартовском разъяснении и по запросу Кристины Каштановой.
Что касается законодательных изменений, то спикер высказал необходимость разработки нормативных механизмов по защите от копирования авторского стиля. Adobe также работает над соответствующим продуктом, чтобы обеспечить генерацию контента в стиле конкретного автора с возможностью отчисления за это вознаграждения со стороны пользователя.
Мэтью Саг (профессор права, Университет Эмори) указал, что действующее американское законодательство не нуждается в серьезных изменениях в данный момент времени. В частности, по его мнению:
во-первых, системы ИИ не могут быть признаны авторами произведений;
👍3
Часть 2.
во-вторых, обучение моделей на произведениях, защищенных авторским правом, обычно является добросовестным использованием, так как технически не нацелено на копирование существующих работ, если модель функционирует должным образом;
в-третьих, спикер высказал предположения о возможных судебных решениях по использованию данных для тренировки моделей для коммерческого использования из теневых библиотек (прим.: один иск уже подан против OpenAI, мы разбирали тут), а также при игнорировании при сборе данных сертификатов о запрете их использования для обучения моделей.
Карла Ортис (концепт-художник, иллюстратор и художник (делала контент, например, для последних Стражей Галактики, Доктора Стрэнджа и сериала Локи)) ожидаемо высказалась за поддержку сообщества авторов. В частности, по ее мнению, необходимо установить обязательный механизм отзыва согласия на использование контента для обучения моделей, а также ввести штрафы за обучение без согласия автора.
Также в ходе обсуждения был затронут интересный вопрос “машинного разобучения” (Machine unlearning), которое бы позволяло извлекать данные не только из датасетов, но и из обученных моделей без необходимости их обучать заново. Сейчас данный вопрос как раз находится в центре внимания исследователей.
Джеффри Харлстон (главный советник и исполнительный вице-президент по коммерческим и юридическим вопросам Universal Music Group) как представитель индустрии выступил за следующие законодательные новеллы:
во-первых, необходимость защиты артистов от дипфейков;
во-вторых, прозрачный допуск держателей контента к датасетам;
в-третьих, маркировку сгенерированного контента.
во-вторых, обучение моделей на произведениях, защищенных авторским правом, обычно является добросовестным использованием, так как технически не нацелено на копирование существующих работ, если модель функционирует должным образом;
в-третьих, спикер высказал предположения о возможных судебных решениях по использованию данных для тренировки моделей для коммерческого использования из теневых библиотек (прим.: один иск уже подан против OpenAI, мы разбирали тут), а также при игнорировании при сборе данных сертификатов о запрете их использования для обучения моделей.
Карла Ортис (концепт-художник, иллюстратор и художник (делала контент, например, для последних Стражей Галактики, Доктора Стрэнджа и сериала Локи)) ожидаемо высказалась за поддержку сообщества авторов. В частности, по ее мнению, необходимо установить обязательный механизм отзыва согласия на использование контента для обучения моделей, а также ввести штрафы за обучение без согласия автора.
Также в ходе обсуждения был затронут интересный вопрос “машинного разобучения” (Machine unlearning), которое бы позволяло извлекать данные не только из датасетов, но и из обученных моделей без необходимости их обучать заново. Сейчас данный вопрос как раз находится в центре внимания исследователей.
Джеффри Харлстон (главный советник и исполнительный вице-президент по коммерческим и юридическим вопросам Universal Music Group) как представитель индустрии выступил за следующие законодательные новеллы:
во-первых, необходимость защиты артистов от дипфейков;
во-вторых, прозрачный допуск держателей контента к датасетам;
в-третьих, маркировку сгенерированного контента.
🔥5
Anthropic тестирует свою большую языковую модель на биобезопасность
В Массачусетском технологическом институте провели любопытный эксперимент. Перед студентами, не обладающим исследовательскими навыками в биологии, поставили задачу выяснить, можно ли при помощи чат-ботов, работающих на основе больших языковых моделей (модель), вызвать пандемию. За час работы чат-боты предложили четыре варианта болезнетворных микроорганизмов, которые потенциально могут привести к пандемии. Чат-боты объяснили, как их можно получить из синтетической ДНК, используя методы обратной генетики (манипуляции последовательностями генов). Кроме того, они назвали компании, занимающиеся синтезом ДНК, а также рекомендовали всем, кто не владеет методами обратной генетики, привлечь исследовательские центры. Этот эксперимент показывает, что модели могут помогать создавать биооружие даже людям, у которых низкий или вообще нулевой опыт исследовательской работы.
В этой связи хотим вам рассказать про опыт компании Anthropic, которая задумалась о способах минимизации рисков, связанных с потенциальной возможностью моделей помогать злоумышленникам в создании биологического оружия. Недавно компания выпустила материал, в котором поделилась своим опытом использования подхода Red Teaming (имитация реальных атак с целью оценки кибербезопасности систем – атака «красной команды») для выявления рисков, заложенных в их модель. Работая с экспертами-биологами, в компании пришли к выводу, что в скором времени модели могут представлять угрозу для национальной безопасности, если не заниматься их нивелированием (устранением).
Для этих целей в компании провели Red Teaming передовых угроз модели, что потребовало привлечения профильных экспертов с большим опытом. Сперва исследователи выявили: а) какая информация является опасной; б) как эта информация комбинируется для создания вреда и какая степень точности требуется для того, чтобы она была опасной. Например, чтобы нанести вред, часто необходимо объединить множество фрагментов точной и разной информации, а не просто сгенерировать один выходной вредный результат.
Последние шесть месяцев сотрудники Anthropic совместно работали с ведущими экспертами в области биобезопасности. Они проводили Red Teaming, оценивая возможности модели по выдаче вредоносной биологической информации. В частности, по разработке и приобретению биологического оружия. Эксперты учились общаться с моделью компании, взламывать ее и оценивать. Были разработаны количественные оценки возможностей модели. По результатам тестирования модели исследователи сделали следующие выводы:
– модели иногда могут выдавать сложные, точные, полезные и детальные знания на уровне экспертов. В большинстве изученных в рамках теста областей это происходило редко. В то же время в некоторых сферах это часто имело место;
– модели становятся более способными по мере увеличения их размера. Это также может способствовать расширению их возможностей в биологии;
– в случае немитигирования рисков модели усилия злоумышленников по неправомерному использованию знаний из биологии может ускориться и позволит им решать задачи, которые они не могли бы решить иначе. Такой сценарий развития событий сегодня, вероятно, невелик, но быстро растет. Если эти риски не будут устранены, то есть опасения, что они могут быть реализованы в ближайшие два-три года, а не пять и более.
Эксперты предложили некоторые меры по снижению рисков. Например, простые изменения в процессе обучения существенно снижают вредные результаты, позволяя модели лучше различать вредное и безвредное использование знаний из биологии. Они также обнаружили, что фильтры, основанные на классификаторах, могут затруднить получение злоумышленниками многочисленных, объединенных в цепочку сведений экспертного уровня, необходимых для нанесения вреда. И, напоследок, учитывая реальность биоугроз со стороны моделей, в компании рекомендуют всем разработчикам моделей незамедлительно провести дополнительный анализ и создать надежные средства защиты, поделившись этой информацией с ответственными разработчиками и государственными органами.
В Массачусетском технологическом институте провели любопытный эксперимент. Перед студентами, не обладающим исследовательскими навыками в биологии, поставили задачу выяснить, можно ли при помощи чат-ботов, работающих на основе больших языковых моделей (модель), вызвать пандемию. За час работы чат-боты предложили четыре варианта болезнетворных микроорганизмов, которые потенциально могут привести к пандемии. Чат-боты объяснили, как их можно получить из синтетической ДНК, используя методы обратной генетики (манипуляции последовательностями генов). Кроме того, они назвали компании, занимающиеся синтезом ДНК, а также рекомендовали всем, кто не владеет методами обратной генетики, привлечь исследовательские центры. Этот эксперимент показывает, что модели могут помогать создавать биооружие даже людям, у которых низкий или вообще нулевой опыт исследовательской работы.
В этой связи хотим вам рассказать про опыт компании Anthropic, которая задумалась о способах минимизации рисков, связанных с потенциальной возможностью моделей помогать злоумышленникам в создании биологического оружия. Недавно компания выпустила материал, в котором поделилась своим опытом использования подхода Red Teaming (имитация реальных атак с целью оценки кибербезопасности систем – атака «красной команды») для выявления рисков, заложенных в их модель. Работая с экспертами-биологами, в компании пришли к выводу, что в скором времени модели могут представлять угрозу для национальной безопасности, если не заниматься их нивелированием (устранением).
Для этих целей в компании провели Red Teaming передовых угроз модели, что потребовало привлечения профильных экспертов с большим опытом. Сперва исследователи выявили: а) какая информация является опасной; б) как эта информация комбинируется для создания вреда и какая степень точности требуется для того, чтобы она была опасной. Например, чтобы нанести вред, часто необходимо объединить множество фрагментов точной и разной информации, а не просто сгенерировать один выходной вредный результат.
Последние шесть месяцев сотрудники Anthropic совместно работали с ведущими экспертами в области биобезопасности. Они проводили Red Teaming, оценивая возможности модели по выдаче вредоносной биологической информации. В частности, по разработке и приобретению биологического оружия. Эксперты учились общаться с моделью компании, взламывать ее и оценивать. Были разработаны количественные оценки возможностей модели. По результатам тестирования модели исследователи сделали следующие выводы:
– модели иногда могут выдавать сложные, точные, полезные и детальные знания на уровне экспертов. В большинстве изученных в рамках теста областей это происходило редко. В то же время в некоторых сферах это часто имело место;
– модели становятся более способными по мере увеличения их размера. Это также может способствовать расширению их возможностей в биологии;
– в случае немитигирования рисков модели усилия злоумышленников по неправомерному использованию знаний из биологии может ускориться и позволит им решать задачи, которые они не могли бы решить иначе. Такой сценарий развития событий сегодня, вероятно, невелик, но быстро растет. Если эти риски не будут устранены, то есть опасения, что они могут быть реализованы в ближайшие два-три года, а не пять и более.
Эксперты предложили некоторые меры по снижению рисков. Например, простые изменения в процессе обучения существенно снижают вредные результаты, позволяя модели лучше различать вредное и безвредное использование знаний из биологии. Они также обнаружили, что фильтры, основанные на классификаторах, могут затруднить получение злоумышленниками многочисленных, объединенных в цепочку сведений экспертного уровня, необходимых для нанесения вреда. И, напоследок, учитывая реальность биоугроз со стороны моделей, в компании рекомендуют всем разработчикам моделей незамедлительно провести дополнительный анализ и создать надежные средства защиты, поделившись этой информацией с ответственными разработчиками и государственными органами.
Anthropic
Frontier Threats Red Teaming for AI Safety
Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.
🔥2👍1
Соотношение AIA и GDPR в контексте базовых моделей
Сегодня обращаем ваше внимание на интересную статью «Уроки от GDPR для разработки нормативной политики в сфере ИИ» (Lessons from GDPR for AI Policymaking).
Авторы проводят сравнение положений Общего регламента по защите данных (GDPR) и проекта Регламента ЕС об ИИ (AIA) относительно требований, которые они налагают на поставщиков базовых моделей. Напоминаем, что проект Регламента ЕС об ИИ еще не принят. В статье проводится анализ положений актуального текста.
Во-первых, оба документа исходят из разных подходов к регулированию. В GDPR используется подход, основанный на правах человека, в котором главное внимание уделяется формулированию конкретных прав на защиту данных. В основе AIA лежит риск-ориентированный подход, который определяет требования поставщикам базовых моделей и систем ИИ в зависимости от уровня риска, который эти системы представляют для прав человека.
Во-вторых, GDPR потенциально создает трудности для развития базовых моделей в части сбора данных, необходимых для их обучения. Наборы данных, на которых тренировались наиболее популярные передовые базовые модели, компаниями не раскрывались. В частности, OpenAI в технической документации к модели GPT-4 дали лишь очень размытое описание: GPT-4 использует информацию из различных лицензированных, созданных и общедоступных источников данных, которые могут включать общедоступную персональную информацию. Соответственно, однозначный ответ о наличии/отсутствии в датасете персональных данных на сегодняшний день дать не представляется возможным.
Вместе с тем GDPR содержит ряд положений, которые в принципе не очень сочетаются с идеей массового сбора данных в интернете для обучения моделей. Один из ключевых принципов документа сформулирован именно в минимизации обработки персональных данных в рамках четко определенных оснований. При анализе последних (статья 6 GDPR) можно сделать вывод о том, что для целей сбора данных для тренировки базовых моделей могут быть применены лишь два из шести оснований: согласие лица (письменно и для конкретных целей) или наличие договорных отношений. Очевидно, что для массного сбора информации из интернета оба основания не особо подходят. Также компании не обеспечивают и другие права лицам, данные которых попали в датасеты (доступ к данным, отзыв согласия и т.п.).
Следует отметить и то, что технические возможности по изъятию данных из уже обученных моделей (не фильтры) без полного переобучения сейчас крайне ограничены и находятся на стадии научных исследований.
В-третьих, правоприменителям в обозримой перспективе будет проще работать с GDPR при возможных нарушениях в силу его большей конкретности. Органам нужно будет доказать факт использования персональных данных при обучении базовых моделей в отсутствии необходимых на то законных оснований. Вместе с тем AIA устанавливает более размытые требования к поставщикам базовых моделей, отдавая им возможность реализовывать собственные шаги по обеспечению прозрачности и снижению рисков. Однако правоприменителям сложнее будет оценить эффективность предпринятых компаниями мер.
Таким образом, формирование сбалансированного регуляторного пространства в ЕС займет еще достаточно длительное время даже после принятия и вступления в силу Регламента ЕС об ИИ.
Сегодня обращаем ваше внимание на интересную статью «Уроки от GDPR для разработки нормативной политики в сфере ИИ» (Lessons from GDPR for AI Policymaking).
Авторы проводят сравнение положений Общего регламента по защите данных (GDPR) и проекта Регламента ЕС об ИИ (AIA) относительно требований, которые они налагают на поставщиков базовых моделей. Напоминаем, что проект Регламента ЕС об ИИ еще не принят. В статье проводится анализ положений актуального текста.
Во-первых, оба документа исходят из разных подходов к регулированию. В GDPR используется подход, основанный на правах человека, в котором главное внимание уделяется формулированию конкретных прав на защиту данных. В основе AIA лежит риск-ориентированный подход, который определяет требования поставщикам базовых моделей и систем ИИ в зависимости от уровня риска, который эти системы представляют для прав человека.
Во-вторых, GDPR потенциально создает трудности для развития базовых моделей в части сбора данных, необходимых для их обучения. Наборы данных, на которых тренировались наиболее популярные передовые базовые модели, компаниями не раскрывались. В частности, OpenAI в технической документации к модели GPT-4 дали лишь очень размытое описание: GPT-4 использует информацию из различных лицензированных, созданных и общедоступных источников данных, которые могут включать общедоступную персональную информацию. Соответственно, однозначный ответ о наличии/отсутствии в датасете персональных данных на сегодняшний день дать не представляется возможным.
Вместе с тем GDPR содержит ряд положений, которые в принципе не очень сочетаются с идеей массового сбора данных в интернете для обучения моделей. Один из ключевых принципов документа сформулирован именно в минимизации обработки персональных данных в рамках четко определенных оснований. При анализе последних (статья 6 GDPR) можно сделать вывод о том, что для целей сбора данных для тренировки базовых моделей могут быть применены лишь два из шести оснований: согласие лица (письменно и для конкретных целей) или наличие договорных отношений. Очевидно, что для массного сбора информации из интернета оба основания не особо подходят. Также компании не обеспечивают и другие права лицам, данные которых попали в датасеты (доступ к данным, отзыв согласия и т.п.).
Следует отметить и то, что технические возможности по изъятию данных из уже обученных моделей (не фильтры) без полного переобучения сейчас крайне ограничены и находятся на стадии научных исследований.
В-третьих, правоприменителям в обозримой перспективе будет проще работать с GDPR при возможных нарушениях в силу его большей конкретности. Органам нужно будет доказать факт использования персональных данных при обучении базовых моделей в отсутствии необходимых на то законных оснований. Вместе с тем AIA устанавливает более размытые требования к поставщикам базовых моделей, отдавая им возможность реализовывать собственные шаги по обеспечению прозрачности и снижению рисков. Однако правоприменителям сложнее будет оценить эффективность предпринятых компаниями мер.
Таким образом, формирование сбалансированного регуляторного пространства в ЕС займет еще достаточно длительное время даже после принятия и вступления в силу Регламента ЕС об ИИ.
Ssrn
Lessons from GDPR for AI Policymaking
The ChatGPT chatbot has not just caught the public imagination; it is also amplifying concern across industry, academia, and government policymakers interested
👍4❤3
Что британцы думают об искусственном интеллекте
Институт Ады Лавлейс и Институт Алана Тьюринга опубликовали результаты опроса более 4 тыс. британцев (людей, а не котов) по поводу их мнений и ожиданий относительно регулирования и применения систем ИИ. Опрос проводился в конце 2022 года.
Рассмотрим некоторые интересные результаты, касающиеся нормативки и государственной политики.
Во-первых, результаты свидетельствуют о запросе со стороны людей на разработку нормативных актов, предусматривающих возмещение вреда, причиненного системами ИИ, а также установления механизмов по оспариванию принятых с их помощью решений. Например, за общую необходимость регулирования выступило 62% респондентов, за установление процедуры обжалования решений, принятых системами ИИ - 59%, за обеспечение безопасности и приватности - 56%, а за объяснимость принятых системами ИИ решений - 53%.
Во-вторых, наиболее популярным вариантом ответа на вопрос о субъекте, который должен нести ответственность за обеспечение безопасного применения систем ИИ, стал “независимый регулятор” (41%). Остальные варианты набрали существенно меньше: компании-разработчики ИИ - 26%, независимые комитеты с участием граждан - 24%. Также идея о необходимости создания отдельного органа, который бы занимался всеми вопросами, связанными с системами ИИ, была поддержана респондентами в рамках опроса PublicFirst (62%)
Интересно, что предпочтения людей несколько меняются в зависимости от возрастной группы. Например, более молодые респонденты (18–24 лет) считают, что компании-разработчики ИИ также должны нести ответственность за безопасность применения систем ИИ (43%) наряду с госорганами и иными регуляторами. Вместе с тем люди старше 55 лет в меньшей степени полагаются на бизнес (17%).
В опросе также анализировались несколько конкретных юзкейсов: социальное обеспечение и прогнозирование рисков развития онкологических заболеваний. Примечательно, что в обоих случаях люди более склонны доверять университетам и ученым, нежели чем бизнесу и государству.
Институт Ады Лавлейс и Институт Алана Тьюринга опубликовали результаты опроса более 4 тыс. британцев (людей, а не котов) по поводу их мнений и ожиданий относительно регулирования и применения систем ИИ. Опрос проводился в конце 2022 года.
Рассмотрим некоторые интересные результаты, касающиеся нормативки и государственной политики.
Во-первых, результаты свидетельствуют о запросе со стороны людей на разработку нормативных актов, предусматривающих возмещение вреда, причиненного системами ИИ, а также установления механизмов по оспариванию принятых с их помощью решений. Например, за общую необходимость регулирования выступило 62% респондентов, за установление процедуры обжалования решений, принятых системами ИИ - 59%, за обеспечение безопасности и приватности - 56%, а за объяснимость принятых системами ИИ решений - 53%.
Во-вторых, наиболее популярным вариантом ответа на вопрос о субъекте, который должен нести ответственность за обеспечение безопасного применения систем ИИ, стал “независимый регулятор” (41%). Остальные варианты набрали существенно меньше: компании-разработчики ИИ - 26%, независимые комитеты с участием граждан - 24%. Также идея о необходимости создания отдельного органа, который бы занимался всеми вопросами, связанными с системами ИИ, была поддержана респондентами в рамках опроса PublicFirst (62%)
Интересно, что предпочтения людей несколько меняются в зависимости от возрастной группы. Например, более молодые респонденты (18–24 лет) считают, что компании-разработчики ИИ также должны нести ответственность за безопасность применения систем ИИ (43%) наряду с госорганами и иными регуляторами. Вместе с тем люди старше 55 лет в меньшей степени полагаются на бизнес (17%).
В опросе также анализировались несколько конкретных юзкейсов: социальное обеспечение и прогнозирование рисков развития онкологических заболеваний. Примечательно, что в обоих случаях люди более склонны доверять университетам и ученым, нежели чем бизнесу и государству.
👍3
С более подробным обсуждением всех результатов опроса можно ознакомиться на вебинаре.
YouTube
How do people feel about AI?
In late 2022 the Ada Lovelace Institute and The Alan Turing Institute conducted a nationally representative survey of over 4,000 members of the British public, to understand their awareness, experience and attitudes towards different uses of artificial intelligence…
Генеративные системы ИИ для госслужащих
Правительство Великобритании издало рекомендации для гражданских служащих по использованию различных генеративных систем ИИ.
В руководстве отмечается, что использовать эти системы можно и нужно (а не по классике: закрыть и запретить), а их правильное и осторожное применение может повысить качество и продуктивность работы.
Также отмечается, что данный гайдлайн будет пересматриваться с учетом развития технологий каждые шесть месяцев.
Сами по себе рекомендации довольно простые и понятные:
При использовании таких систем ИИ следует проявлять общую осторожность и осмотрительность. В частности, задавать себе следующие вопросы: каким образом будет использоваться системой загруженная информация? каким образом система может ввести в заблуждение? каким образом данная система функционирует?
Ни в коем случае не следует вводить или загружать в такие системы секретные, конфиденциальные данные или иную информацию, раскрывающую намерения госорганов. Следует учитывать требования GDPR.
Выходные данные могут содержать предвзятости и неточную или ложную информацию, поэтому их необходимо проверять и соответствующим образом цитировать.
Также составители руководства остановились на некоторых типичных сценариях, для которых генеративные системы ИИ могут использоваться на рабочем месте. Они разбиты на две группы: приемлемые и неприемлемые.
К приемлемым относятся:
Помощь в поиске информации: использование генеративных систем ИИ для быстрого ознакомления с новыми знаниями. При этом информацию следует проверять в надежных источниках.
Обобщение информации: использование генеративных систем ИИ для краткого изложения публично доступных данных (например, статьей, исследований).
Разработка программного кода.
Исследование текстовых данных для аналитики и машинного обучения (но не рекомендуется использовать сторонние решения).
К неприемлемым относятся:
Использование для написания сообщений и краткого изложения фактов другим людям (из-за неточностей и возможности утечки информации вместе с промтом).
Использование для анализа данных без согласия владельца данных.
Правительство Великобритании издало рекомендации для гражданских служащих по использованию различных генеративных систем ИИ.
В руководстве отмечается, что использовать эти системы можно и нужно (а не по классике: закрыть и запретить), а их правильное и осторожное применение может повысить качество и продуктивность работы.
Также отмечается, что данный гайдлайн будет пересматриваться с учетом развития технологий каждые шесть месяцев.
Сами по себе рекомендации довольно простые и понятные:
При использовании таких систем ИИ следует проявлять общую осторожность и осмотрительность. В частности, задавать себе следующие вопросы: каким образом будет использоваться системой загруженная информация? каким образом система может ввести в заблуждение? каким образом данная система функционирует?
Ни в коем случае не следует вводить или загружать в такие системы секретные, конфиденциальные данные или иную информацию, раскрывающую намерения госорганов. Следует учитывать требования GDPR.
Выходные данные могут содержать предвзятости и неточную или ложную информацию, поэтому их необходимо проверять и соответствующим образом цитировать.
Также составители руководства остановились на некоторых типичных сценариях, для которых генеративные системы ИИ могут использоваться на рабочем месте. Они разбиты на две группы: приемлемые и неприемлемые.
К приемлемым относятся:
Помощь в поиске информации: использование генеративных систем ИИ для быстрого ознакомления с новыми знаниями. При этом информацию следует проверять в надежных источниках.
Обобщение информации: использование генеративных систем ИИ для краткого изложения публично доступных данных (например, статьей, исследований).
Разработка программного кода.
Исследование текстовых данных для аналитики и машинного обучения (но не рекомендуется использовать сторонние решения).
К неприемлемым относятся:
Использование для написания сообщений и краткого изложения фактов другим людям (из-за неточностей и возможности утечки информации вместе с промтом).
Использование для анализа данных без согласия владельца данных.
GOV.UK
Guidance to civil servants on use of generative AI
Generative AI is a broad label used to describe any type of artificial intelligence (AI) that can be used to create new text, images, video, audio, or code. Large Language Models (LLMs) are part of this category of AI and produce text outputs.
👍6
Модель оценки риска применения систем ИИ, основанная на пропорциональности
Проект Регламента ЕС об ИИ использует риск-ориентированный подход. Он предполагает разделение систем ИИ на группы относительно их опасности для прав человека. В зависимости от их принадлежности к определенной группе, к их выходу на рынок предъявляются более жесткие или мягкие требования. Всего в акте содержатся четыре группы систем ИИ: запрещенные; высокорисковые; ограниченного и низкого риска.
Критериями определения систем ИИ к той или иной группе риска являются цель и сфера применения. Например, запрещены системы, применяемые для социального скоринга, а системы, используемые для отправления правосудия, относятся к группе высокого риска.
Вместе с тем некоторые эксперты считают эти критерии недостаточными для целей эффективного правоприменения. Одни из таких исследователей в статье “Как оценивать риски ИИ: модель для Регламента ЕС об ИИ, основанная на пропорциональности” предлагают свою систему определения риска, которую можно будет использовать не изменяя текст Регламента.
Их модель оценки риска состоит из двух этапов: а) разработка сценариев риска; б) прохождение теста на пропорциональность (метод количественной оценки).
Первый этап
Разработка сценариев предусматривает, что группа риска не определяется по умолчанию в зависимости от сферы применения. Сценарии будут выявляться через т.н. факторы (определители) риска. К ним авторы относят: опасность (предвзятость данных и т.п.); воздействие (влияние на права человека, на окружающую среду и т.п.); уязвимость (доход, образование, пол, состояние здоровья и т.п.); реакция среды (институциональные гарантии безопасной разработки систем ИИ и т.п.).
На этом этапе группы, предусмотренные Регламентом, превращаются в сценарии риска, которые могут меняться в зависимости от взаимодействия факторов риска. Это должно привести к более точному пониманию риска, т.е. вероятности нанесения ущерба и тяжести последствий для ценностей ЕС. В показателях это выглядит, как комбинация: а) степени риска (неприемлемый, высокий, ограниченный и низкий); б) степени тяжести последствий (тяжкая, существенная, умеренная и т.п.); в) вероятности наступления риска (измеряется в процентах от 0 до 1).
Второй этап
После определения сценария риска в статье предлагается использовать известный в теории права тест на пропорциональность. Этот тест часто используется при оценке судами степени нарушений прав человека. Считается, что правовая норма, воздействующая на фундаментальные ценности, является легитимной, если она отвечает следующим критериям:
уместность – не допускается принятие мер, препятствующих реализации хотя бы одного принципа и при этом не способствующих осуществлению другого принципа, ради которого эти меры предприняты. В Регламенте такой мерой будет считаться отнесение системы ИИ к определенной категории риска (влияет на право ведения экономической деятельности из-за доп. требований к поставщикам). Такая мера будет признаваться уместной, если она влияет на другой принцип, в частности, на безопасность;
необходимость – из двух мер, способствующих соблюдению одного принципа, нужно выбрать ту, которая менее интенсивно вмешивается в конкурирующий принцип. Другими словами, мера, оказывающая негативное воздействие на один принцип, необходима, если она оказывает положительное воздействие на другой и лучшей альтернативы нет;
пропорциональность в узком смысле – чем больше ограничивается осуществление одного принципа, тем важнее должно быть удовлетворение другого. Т.е. чем больше требований будет предъявляться к системам ИИ, тем более важные ценности они должны защищать.
Таким образом, если, например, максимальная выгода отнесения к группе высокого риска систем ИИ в правоохранительной деятельности превышает максимальный ущерб для конкурирующих принципов, то такая группа риска будет являться оправданной.
Авторы отмечают, что их двухэтапная модель оценки риска может способствовать более определенному и гибкому применению риск-ориентированного подхода Регламента.
Проект Регламента ЕС об ИИ использует риск-ориентированный подход. Он предполагает разделение систем ИИ на группы относительно их опасности для прав человека. В зависимости от их принадлежности к определенной группе, к их выходу на рынок предъявляются более жесткие или мягкие требования. Всего в акте содержатся четыре группы систем ИИ: запрещенные; высокорисковые; ограниченного и низкого риска.
Критериями определения систем ИИ к той или иной группе риска являются цель и сфера применения. Например, запрещены системы, применяемые для социального скоринга, а системы, используемые для отправления правосудия, относятся к группе высокого риска.
Вместе с тем некоторые эксперты считают эти критерии недостаточными для целей эффективного правоприменения. Одни из таких исследователей в статье “Как оценивать риски ИИ: модель для Регламента ЕС об ИИ, основанная на пропорциональности” предлагают свою систему определения риска, которую можно будет использовать не изменяя текст Регламента.
Их модель оценки риска состоит из двух этапов: а) разработка сценариев риска; б) прохождение теста на пропорциональность (метод количественной оценки).
Первый этап
Разработка сценариев предусматривает, что группа риска не определяется по умолчанию в зависимости от сферы применения. Сценарии будут выявляться через т.н. факторы (определители) риска. К ним авторы относят: опасность (предвзятость данных и т.п.); воздействие (влияние на права человека, на окружающую среду и т.п.); уязвимость (доход, образование, пол, состояние здоровья и т.п.); реакция среды (институциональные гарантии безопасной разработки систем ИИ и т.п.).
На этом этапе группы, предусмотренные Регламентом, превращаются в сценарии риска, которые могут меняться в зависимости от взаимодействия факторов риска. Это должно привести к более точному пониманию риска, т.е. вероятности нанесения ущерба и тяжести последствий для ценностей ЕС. В показателях это выглядит, как комбинация: а) степени риска (неприемлемый, высокий, ограниченный и низкий); б) степени тяжести последствий (тяжкая, существенная, умеренная и т.п.); в) вероятности наступления риска (измеряется в процентах от 0 до 1).
Второй этап
После определения сценария риска в статье предлагается использовать известный в теории права тест на пропорциональность. Этот тест часто используется при оценке судами степени нарушений прав человека. Считается, что правовая норма, воздействующая на фундаментальные ценности, является легитимной, если она отвечает следующим критериям:
уместность – не допускается принятие мер, препятствующих реализации хотя бы одного принципа и при этом не способствующих осуществлению другого принципа, ради которого эти меры предприняты. В Регламенте такой мерой будет считаться отнесение системы ИИ к определенной категории риска (влияет на право ведения экономической деятельности из-за доп. требований к поставщикам). Такая мера будет признаваться уместной, если она влияет на другой принцип, в частности, на безопасность;
необходимость – из двух мер, способствующих соблюдению одного принципа, нужно выбрать ту, которая менее интенсивно вмешивается в конкурирующий принцип. Другими словами, мера, оказывающая негативное воздействие на один принцип, необходима, если она оказывает положительное воздействие на другой и лучшей альтернативы нет;
пропорциональность в узком смысле – чем больше ограничивается осуществление одного принципа, тем важнее должно быть удовлетворение другого. Т.е. чем больше требований будет предъявляться к системам ИИ, тем более важные ценности они должны защищать.
Таким образом, если, например, максимальная выгода отнесения к группе высокого риска систем ИИ в правоохранительной деятельности превышает максимальный ущерб для конкурирующих принципов, то такая группа риска будет являться оправданной.
Авторы отмечают, что их двухэтапная модель оценки риска может способствовать более определенному и гибкому применению риск-ориентированного подхода Регламента.
Ssrn
AI Risk Assessment: A Scenario-Based, Proportional Methodology for the AI Act
The EU Artificial Intelligence Act (AIA) defines four risk categories for AI systems: unacceptable, high, limited, and minimal. However, it lacks a clear method
🔥3👍2
Друзья, по традиции отмечаем четвертый месяц нашего канала мемчиком с котиком и подборкой наших авторских материалов. Как правило, мы выпускаем их примерно раз в месяц. Размер и тематика довольно разная, но все имеют аналитическую направленность. Также иногда стоит делать поправку на устаревание нормативки. Законодательство, к сожалению, вообще стареет плохо.
Обзор требований Акта Нью-Йорка об аудите предвзятости при применении автоматизированных инструментов принятия решений в сфере трудоустройства
Государственная политика и нормативное регулирование применения систем ИИ в США
Системы ИИ: обзор определений
ИИ лоббизм бигтэков
Системы ИИ общего назначения в проекте Регламента Европейского союза об ИИ
Обзор предложений сообщества европейских авторов и исполнителей в связи с распространением генеративных систем ИИ
Обзор требований Акта Нью-Йорка об аудите предвзятости при применении автоматизированных инструментов принятия решений в сфере трудоустройства
Государственная политика и нормативное регулирование применения систем ИИ в США
Системы ИИ: обзор определений
ИИ лоббизм бигтэков
Системы ИИ общего назначения в проекте Регламента Европейского союза об ИИ
Обзор предложений сообщества европейских авторов и исполнителей в связи с распространением генеративных систем ИИ
🔥11👍2❤1
Катастрофические риски применения систем ИИ
Группа авторов из Центра безопасности в сфере ИИ опубликовала исследование, в котором они сосредоточились на попытке выявить наиболее критические и разрушительные риски разработки и применения систем ИИ.
В частности, авторы выделяют ряд основных сценариев и предлагают меры по их предотвращению. Рассмотрим некоторые их них.
Вредное использование. Какая-то группа людей или один человек могут специально злонамеренно использовать системы ИИ. Например, среди таких сценариев можно выделить биотерроризм (создание новых вирусов, химического и биологического оружия), создавание опасных ИИ-агентов (как в фанатичных целях уничтожения человечества, так и в целях заработка), использование системы ИИ для манипуляции людьми, дезинформации и захвата власти.
Среди возможных путей их уменьшения авторы выделяют биобезопасность (удаление из базовых моделей всей релевантной информации, а также контроль за их утечками), ограничение доступа (к наиболее продвинутым моделям и их инфраструктуре со стороны пользователя), выявление аномалий в функционировании систем ИИ, установление юридической ответственности для разработчиков систем ИИ общего назначения.
Следующий сценарий авторы назвали ИИ-гонка. Они рассматривают эту гонку в двух аспектах: гонка вооружений среди государств и гонка корпораций (по уровню технологического развития и внедрению автоматизации процессов). Оба этих сценария, по мнению авторов, могут привести к своего рода “естественному отбору” среди систем ИИ, что станет драйвером к их развитию и увеличения влияния над человеческим обществом за счет желания государств и корпораций победить в конкурентной борьбе.
К способам уменьшения рисков данного сценария авторы относят: проактивное нормативное регулирование в сфере ИИ-безопасности, кибербезопасность, прозрачность и подотчетность данных и алгоритмов, контроль со стороны человека за решениями, принимаемыми системами ИИ, общественный контроль над функционированием систем ИИ общего назначения, международное сотрудничество.
В качестве следующего сценария в статье выделяются организационные риски, которые могут приводить к катастрофическим событиям разного рода (техногенные катастрофы, крушения космических кораблей, самолетов, судов). Если в других индустриях у человечества было достаточно времени разработать правила поведения, основанные на произошедших катастрофах, то в сфере ИИ опасность возможной ошибки будет куда больше.
Таким образом, уменьшить риски возникновения данного рода негативных последствий можно за счет установления комплексных мер безопасности в том числе за счет введения обязательных экспертных проверок, внешнего независимого аудита и систем управления рисками.
Еще одним сценарием, по мнению авторов, может быть бунт со стороны систем ИИ. Это может произойти через постепенное размывание и смещение заложенных человеком целей их функционирования или же в результате резкой потери контроля или обмана со стороны систем ИИ.
Данные риски можно уменьшить, например, за счет ограничения наиболее высокорисковых сценариев их использования, существования “красной кнопки”, а также открытого допуска исследователей к базовым моделям.
Группа авторов из Центра безопасности в сфере ИИ опубликовала исследование, в котором они сосредоточились на попытке выявить наиболее критические и разрушительные риски разработки и применения систем ИИ.
В частности, авторы выделяют ряд основных сценариев и предлагают меры по их предотвращению. Рассмотрим некоторые их них.
Вредное использование. Какая-то группа людей или один человек могут специально злонамеренно использовать системы ИИ. Например, среди таких сценариев можно выделить биотерроризм (создание новых вирусов, химического и биологического оружия), создавание опасных ИИ-агентов (как в фанатичных целях уничтожения человечества, так и в целях заработка), использование системы ИИ для манипуляции людьми, дезинформации и захвата власти.
Среди возможных путей их уменьшения авторы выделяют биобезопасность (удаление из базовых моделей всей релевантной информации, а также контроль за их утечками), ограничение доступа (к наиболее продвинутым моделям и их инфраструктуре со стороны пользователя), выявление аномалий в функционировании систем ИИ, установление юридической ответственности для разработчиков систем ИИ общего назначения.
Следующий сценарий авторы назвали ИИ-гонка. Они рассматривают эту гонку в двух аспектах: гонка вооружений среди государств и гонка корпораций (по уровню технологического развития и внедрению автоматизации процессов). Оба этих сценария, по мнению авторов, могут привести к своего рода “естественному отбору” среди систем ИИ, что станет драйвером к их развитию и увеличения влияния над человеческим обществом за счет желания государств и корпораций победить в конкурентной борьбе.
К способам уменьшения рисков данного сценария авторы относят: проактивное нормативное регулирование в сфере ИИ-безопасности, кибербезопасность, прозрачность и подотчетность данных и алгоритмов, контроль со стороны человека за решениями, принимаемыми системами ИИ, общественный контроль над функционированием систем ИИ общего назначения, международное сотрудничество.
В качестве следующего сценария в статье выделяются организационные риски, которые могут приводить к катастрофическим событиям разного рода (техногенные катастрофы, крушения космических кораблей, самолетов, судов). Если в других индустриях у человечества было достаточно времени разработать правила поведения, основанные на произошедших катастрофах, то в сфере ИИ опасность возможной ошибки будет куда больше.
Таким образом, уменьшить риски возникновения данного рода негативных последствий можно за счет установления комплексных мер безопасности в том числе за счет введения обязательных экспертных проверок, внешнего независимого аудита и систем управления рисками.
Еще одним сценарием, по мнению авторов, может быть бунт со стороны систем ИИ. Это может произойти через постепенное размывание и смещение заложенных человеком целей их функционирования или же в результате резкой потери контроля или обмана со стороны систем ИИ.
Данные риски можно уменьшить, например, за счет ограничения наиболее высокорисковых сценариев их использования, существования “красной кнопки”, а также открытого допуска исследователей к базовым моделям.
Center for AI Safety
AI Risks that Could Lead to Catastrophe | CAIS
There are many potential risks from AI. CAIS focusses on mitigating risks that could lead to catastrophic outcomes for society, such as bioterrorism or loss of control over military AI systems.
👍5
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
Про внедоговорную гражданско-правовую ответственность за вред, причиненный неисправностью систем ИИ (ЕС)
В Европейском союзе внедоговорная гражданско-правовая ответственность за неисправные продукты определяется Product Liability Directive (PLD). Директива использует строгую (безвиновную) ответственность как способ установления субъекта гражданско-правовой ответственности. Таким субъектом является производитель неисправных продуктов, то есть при причинении вреда он несет ответственность вне зависимости от вины.
Однако эта директива была принята еще в 1985 году. Она не учитывает технологическое развитие продуктов, в частности, появление систем ИИ. Например, текущая редакция PLD продуктом признает “любую движимую вещь, даже если она входит в состав другой движимой вещи или недвижимости. Термин продукт включает в себя электричество”. Таким образом, программное обеспечение в значении PLD не является продуктом и на неисправные системы ИИ его положения не распространяются. В целях восполнения этого и некоторых других недостатков в сентябре 2022 года Еврокомиссия разработала новый проект PLD.
В предложенном варианте директивы основными новшествами, касающимися сферы ИИ, являются следующие.
Во-первых, программное обеспечение и продукты, в которых интегрировано ПО, явно признаются “продуктами” и, следовательно, системы ИИ будут подпадать под действие PLD. Это означает возникновение у потерпевших возможности получить компенсацию в случае причинения вреда неисправными системами ИИ без необходимости доказывания вины производителя.
Во-вторых, в директиве четко указано, что к ответственности могут быть привлечены не только производители аппаратного обеспечения, но и поставщики программного обеспечения и цифровых услуг, влияющих на работу продукта.
В-третьих, директива гарантирует, что производители могут быть привлечены к ответственности за изменения, которые они вносят в уже выпущенные на рынок продукты, в том числе когда эти изменения вызваны обновлениями программного обеспечения или машинным обучением.
По теме гражданско-правовой ответственности в сфере ИИ мы также ранее разбирали AI Liability Directive. В отличие от PLD в ней определяется гражданско-правовая ответственность, основанная на вине поставщика (или иных субъектов) систем ИИ. Подробнее можно почитать здесь.
В Европейском союзе внедоговорная гражданско-правовая ответственность за неисправные продукты определяется Product Liability Directive (PLD). Директива использует строгую (безвиновную) ответственность как способ установления субъекта гражданско-правовой ответственности. Таким субъектом является производитель неисправных продуктов, то есть при причинении вреда он несет ответственность вне зависимости от вины.
Однако эта директива была принята еще в 1985 году. Она не учитывает технологическое развитие продуктов, в частности, появление систем ИИ. Например, текущая редакция PLD продуктом признает “любую движимую вещь, даже если она входит в состав другой движимой вещи или недвижимости. Термин продукт включает в себя электричество”. Таким образом, программное обеспечение в значении PLD не является продуктом и на неисправные системы ИИ его положения не распространяются. В целях восполнения этого и некоторых других недостатков в сентябре 2022 года Еврокомиссия разработала новый проект PLD.
В предложенном варианте директивы основными новшествами, касающимися сферы ИИ, являются следующие.
Во-первых, программное обеспечение и продукты, в которых интегрировано ПО, явно признаются “продуктами” и, следовательно, системы ИИ будут подпадать под действие PLD. Это означает возникновение у потерпевших возможности получить компенсацию в случае причинения вреда неисправными системами ИИ без необходимости доказывания вины производителя.
Во-вторых, в директиве четко указано, что к ответственности могут быть привлечены не только производители аппаратного обеспечения, но и поставщики программного обеспечения и цифровых услуг, влияющих на работу продукта.
В-третьих, директива гарантирует, что производители могут быть привлечены к ответственности за изменения, которые они вносят в уже выпущенные на рынок продукты, в том числе когда эти изменения вызваны обновлениями программного обеспечения или машинным обучением.
По теме гражданско-правовой ответственности в сфере ИИ мы также ранее разбирали AI Liability Directive. В отличие от PLD в ней определяется гражданско-правовая ответственность, основанная на вине поставщика (или иных субъектов) систем ИИ. Подробнее можно почитать здесь.
🔥3❤1👍1👎1
Генеративные системы ИИ. Лучшие практики из Канады
Правительство Канады анонсировало разработку Кодекса лучших практик для бизнеса по разработке и применению генеративных систем ИИ.
Напомним, что в 2022 году в парламенте страны был инициирован законопроект Об искусственном интеллекте и данных, который является частью более большого пакета законодательных инициатив в сфере регулирования цифровых технологий. Над законопроектом все еще ведется активная работа. Ожидается, что он будет принят и вступит в силу не раньше 2025 года.
Вместе с тем добровольный Кодекс лучших практик направлен на поддержку канадских компаний в условиях отсутствия комплексной нормативной базы.
Правительство Канады предлагает для общественного обсуждения следующие основные элементы кодекса:
Безопасность на протяжении всего жизненного цикла систем ИИ:
Разработчикам и пользователям следует идентифицировать и предотвращать способы вредного использования систем ИИ.
Разработчикам, поставщикам и операторам следует идентифицировать варианты нецелевого использования систем ИИ и предпринимать шаги для предотвращения этого, например, путем ясного объяснения пользователю возможностей и ограничений системы.
Добросовестность и равноправие:
Разработчикам следует оценивать и анализировать наборы данных, чтобы избежать некачественных и нерепрезентативных данных.
Разработчикам, поставщикам и операторам следует осуществлять меры по оценке и снижению рисков получения предвзятых выходных результатов (например, через тонкую настройку)
Прозрачность:
Разработчикам и поставщикам предоставлять методы обнаружения контента, созданного системами ИИ, а также предоставлять разъяснения о работе системе и обучающих наборах данных.
Операторам обеспечивать меры, позволяющие однозначно идентифицировать и разделять человека и системы ИИ.
Контроль и надзор со стороны человека:
Поставщикам и операторам следует обеспечить контроль при на уровне применения систем ИИ.
Разработчикам, поставщикам и операторам следует внедрить механизмы обратной связи о неблагоприятных последствиях (например, вести базу данных о происшествиях) и регулярно обновлять и донастраивать системы ИИ.
Техническая устойчивость и надежность:
Разработчикам следует применять широкий круг методов по тестированию систем ИИ.
Разработчикам, поставщикам и операторам необходимо предпринимать меры по обеспечению кибербезопасности и предотвращению возможных атак.
Ответственность:
Разработчикам, поставщикам и операторам следует обеспечивать: несколько уровней защиты систем ИИ, проводить внутренний и внешний аудит систем ИИ до и после их введения в эксплуатацию, внедрять систему управления рисками, четко распределять роли среди сотрудников компании.
Правительство Канады анонсировало разработку Кодекса лучших практик для бизнеса по разработке и применению генеративных систем ИИ.
Напомним, что в 2022 году в парламенте страны был инициирован законопроект Об искусственном интеллекте и данных, который является частью более большого пакета законодательных инициатив в сфере регулирования цифровых технологий. Над законопроектом все еще ведется активная работа. Ожидается, что он будет принят и вступит в силу не раньше 2025 года.
Вместе с тем добровольный Кодекс лучших практик направлен на поддержку канадских компаний в условиях отсутствия комплексной нормативной базы.
Правительство Канады предлагает для общественного обсуждения следующие основные элементы кодекса:
Безопасность на протяжении всего жизненного цикла систем ИИ:
Разработчикам и пользователям следует идентифицировать и предотвращать способы вредного использования систем ИИ.
Разработчикам, поставщикам и операторам следует идентифицировать варианты нецелевого использования систем ИИ и предпринимать шаги для предотвращения этого, например, путем ясного объяснения пользователю возможностей и ограничений системы.
Добросовестность и равноправие:
Разработчикам следует оценивать и анализировать наборы данных, чтобы избежать некачественных и нерепрезентативных данных.
Разработчикам, поставщикам и операторам следует осуществлять меры по оценке и снижению рисков получения предвзятых выходных результатов (например, через тонкую настройку)
Прозрачность:
Разработчикам и поставщикам предоставлять методы обнаружения контента, созданного системами ИИ, а также предоставлять разъяснения о работе системе и обучающих наборах данных.
Операторам обеспечивать меры, позволяющие однозначно идентифицировать и разделять человека и системы ИИ.
Контроль и надзор со стороны человека:
Поставщикам и операторам следует обеспечить контроль при на уровне применения систем ИИ.
Разработчикам, поставщикам и операторам следует внедрить механизмы обратной связи о неблагоприятных последствиях (например, вести базу данных о происшествиях) и регулярно обновлять и донастраивать системы ИИ.
Техническая устойчивость и надежность:
Разработчикам следует применять широкий круг методов по тестированию систем ИИ.
Разработчикам, поставщикам и операторам необходимо предпринимать меры по обеспечению кибербезопасности и предотвращению возможных атак.
Ответственность:
Разработчикам, поставщикам и операторам следует обеспечивать: несколько уровней защиты систем ИИ, проводить внутренний и внешний аудит систем ИИ до и после их введения в эксплуатацию, внедрять систему управления рисками, четко распределять роли среди сотрудников компании.
ised-isde.canada.ca
Canadian Guardrails for Generative AI – Code of Practice
From: Innovation, Science and Economic Development Canada
👍4
Стивен Талер продолжает попытки (безуспешно) добиться признания за ИИ права на авторство
Ранее уже писали про Стивена Талера – юрист, известный тем, что обращался в многочисленные инстанции в разных юрисдикциях с требованием признать за ИИ право на авторство. В том посте речь шла про иск в Верховный Суд США, когда С. Талер оспаривал отказ Бюро по патентам и товарным знакам США признать систему ИИ по имени «Дабус» автором изобретения.
Вот и сейчас он обратился в Окружной суд Округа Колумбия, оспаривая уже отказ Бюро авторского права США на признание за компьютерной программой “Creativity Machine” права на авторство сгенерированного им изображения «A recent Entrance to Paradise» (фото прикреплено к посту).
Истец в этот раз ссылался на теоретические правовые конструкции, в соответствии с которыми авторское право на изобретение компьютера может быть передано ему, поскольку он является владельцем компьютера. В частности, он ссылался на принципы общего права.
Суд отметил, что его аргументы касаются вопроса о том, как передается право на авторство. Однако Бюро авторского права США, отказывая С. Таллеру, указывал, что право на авторство никогда не признавалось за кем-либо помимо человека, поэтому нет никакого спора о том, кому может быть передано такое право.
Согласно позиции суда, никакие теории о передаче авторства не имеют в этом деле значения, поскольку у компьютерной программы не возникает изначально права на авторство. То есть нет права и, соответственно, нечего обсуждать передачу того, чего не существует. Иными словами, как написал суд, не нужно ставить «телегу впереди лошади».
Таким образом, в очередной раз было подтверждено, что авторское право США защищает только работы, созданные человеком. Суд отказал С. Талеру в удовлетворении его требований.
По этой теме можно еще почитать наш пост, в котором рассказывали про обсуждение ИИ-авторства в Сенате США.
Ранее уже писали про Стивена Талера – юрист, известный тем, что обращался в многочисленные инстанции в разных юрисдикциях с требованием признать за ИИ право на авторство. В том посте речь шла про иск в Верховный Суд США, когда С. Талер оспаривал отказ Бюро по патентам и товарным знакам США признать систему ИИ по имени «Дабус» автором изобретения.
Вот и сейчас он обратился в Окружной суд Округа Колумбия, оспаривая уже отказ Бюро авторского права США на признание за компьютерной программой “Creativity Machine” права на авторство сгенерированного им изображения «A recent Entrance to Paradise» (фото прикреплено к посту).
Истец в этот раз ссылался на теоретические правовые конструкции, в соответствии с которыми авторское право на изобретение компьютера может быть передано ему, поскольку он является владельцем компьютера. В частности, он ссылался на принципы общего права.
Суд отметил, что его аргументы касаются вопроса о том, как передается право на авторство. Однако Бюро авторского права США, отказывая С. Таллеру, указывал, что право на авторство никогда не признавалось за кем-либо помимо человека, поэтому нет никакого спора о том, кому может быть передано такое право.
Согласно позиции суда, никакие теории о передаче авторства не имеют в этом деле значения, поскольку у компьютерной программы не возникает изначально права на авторство. То есть нет права и, соответственно, нечего обсуждать передачу того, чего не существует. Иными словами, как написал суд, не нужно ставить «телегу впереди лошади».
Таким образом, в очередной раз было подтверждено, что авторское право США защищает только работы, созданные человеком. Суд отказал С. Талеру в удовлетворении его требований.
По этой теме можно еще почитать наш пост, в котором рассказывали про обсуждение ИИ-авторства в Сенате США.
🔥5👍2👎1