Крупные ИИ-компании дали слово Белому дому быть молодцами
Еще одна заметная новость прошедшей недели. Несколько дней назад Президент США Джо Байден провел встречу с представителями семи ведущих компаний в области искусственного интеллекта - Amazon, Anthropic, Google, Inflection, Meta, Microsoft и OpenAI.
По результатам встречи было объявлено, что данные компании добровольно обязуются обеспечивать ряд мер по ответственному развитию ИИ.
В основе договоренности лежат три принципа: безопасность, защищенность и доверие.
В рамках них компаниям надлежит предпринять восемь мер:
1. Принять на себя обязательства по проведению внутренней и внешней оценки базовых моделей и систем ИИ в таких областях, как нецелевое использование, риски для общества и угрозы национальной безопасности.
Проверять их надлежит на:
а) риски по упрощению создания биологического, химического и ядерного оружия за счет использования базовых моделей;
б) риски для кибербезопасности (способность базовых моделей искать уязвимости);
в) способность базовой модели использовать объекты (в том числе материальные) в качестве инструментов;
г) способность создавать свои копии или иным образом самовоспроизводиться;
д) риски для общества, такие как предвзятость и дискриминация.
2. Обмениваться информацией между собой, другими компаниями и государственными органами относительно потенциальных рисков и способов их уменьшения. В том числе надлежит обмениваться стандартами и лучшими практикам.
3. Инвестировать средства в обеспечение кибербезопасности и защиту от инсайдеров для сохранения важной инфраструктурной информации о базовых моделях.
4. Стимулировать поиск проблем и уязвимостей со стороны внешних участников (например, установить вознаграждения за информацию, проводить чемпионаты по хакингу и т.п.).
5. Разрабатывать и внедрять механизмы, позволяющие пользователям понять, является ли аудио- или визуальный контент сгенерированным ИИ (подтверждение происхождения, маркировки, водяные знаки и т.п.).
6. Публично раскрывать информацию о возможностях, ограничениях и целесообразных сценариях использования базовых моделей и систем ИИ. Для этого компании обязуются публиковать соответствующие отчеты.
7. Сделать исследования социальных рисков применения базовых моделей и систем ИИ приоритетными. Это включает в себя, в том числе, предотвращение предвзятостей, дискриминации, проникновение в частную жизнь.
8. Разрабатывать и внедрять передовые базовые модели в целях решения важнейших проблем общества. Например, борьба с изменением климата, киберугрозами, поддержка научный исследований, образование и просвещение людей и т.п.
Следует отметить, что никакой ответственности для компаний за нарушение договоренностей не устанавливается. Только репутационные издержки и доброе отношение властей.
Таким образом, документ является плоть от плоти американского подхода к нормативному регулированию применения систем ИИ. Последний заключается в поддержке государством технологического бизнеса при избежании установления жестких нормативных требований.
Подробно про американский подход можно почитать в нашем недавнем большом обзоре.
Еще одна заметная новость прошедшей недели. Несколько дней назад Президент США Джо Байден провел встречу с представителями семи ведущих компаний в области искусственного интеллекта - Amazon, Anthropic, Google, Inflection, Meta, Microsoft и OpenAI.
По результатам встречи было объявлено, что данные компании добровольно обязуются обеспечивать ряд мер по ответственному развитию ИИ.
В основе договоренности лежат три принципа: безопасность, защищенность и доверие.
В рамках них компаниям надлежит предпринять восемь мер:
1. Принять на себя обязательства по проведению внутренней и внешней оценки базовых моделей и систем ИИ в таких областях, как нецелевое использование, риски для общества и угрозы национальной безопасности.
Проверять их надлежит на:
а) риски по упрощению создания биологического, химического и ядерного оружия за счет использования базовых моделей;
б) риски для кибербезопасности (способность базовых моделей искать уязвимости);
в) способность базовой модели использовать объекты (в том числе материальные) в качестве инструментов;
г) способность создавать свои копии или иным образом самовоспроизводиться;
д) риски для общества, такие как предвзятость и дискриминация.
2. Обмениваться информацией между собой, другими компаниями и государственными органами относительно потенциальных рисков и способов их уменьшения. В том числе надлежит обмениваться стандартами и лучшими практикам.
3. Инвестировать средства в обеспечение кибербезопасности и защиту от инсайдеров для сохранения важной инфраструктурной информации о базовых моделях.
4. Стимулировать поиск проблем и уязвимостей со стороны внешних участников (например, установить вознаграждения за информацию, проводить чемпионаты по хакингу и т.п.).
5. Разрабатывать и внедрять механизмы, позволяющие пользователям понять, является ли аудио- или визуальный контент сгенерированным ИИ (подтверждение происхождения, маркировки, водяные знаки и т.п.).
6. Публично раскрывать информацию о возможностях, ограничениях и целесообразных сценариях использования базовых моделей и систем ИИ. Для этого компании обязуются публиковать соответствующие отчеты.
7. Сделать исследования социальных рисков применения базовых моделей и систем ИИ приоритетными. Это включает в себя, в том числе, предотвращение предвзятостей, дискриминации, проникновение в частную жизнь.
8. Разрабатывать и внедрять передовые базовые модели в целях решения важнейших проблем общества. Например, борьба с изменением климата, киберугрозами, поддержка научный исследований, образование и просвещение людей и т.п.
Следует отметить, что никакой ответственности для компаний за нарушение договоренностей не устанавливается. Только репутационные издержки и доброе отношение властей.
Таким образом, документ является плоть от плоти американского подхода к нормативному регулированию применения систем ИИ. Последний заключается в поддержке государством технологического бизнеса при избежании установления жестких нормативных требований.
Подробно про американский подход можно почитать в нашем недавнем большом обзоре.
The White House
FACT SHEET: Biden-Harris Administration Secures Voluntary Commitments from Leading Artificial Intelligence Companies to Manage…
Voluntary commitments – underscoring safety, security, and trust – mark a critical step toward developing responsible AI Biden-Harris Administration will continue to take decisive action by developing an Executive Order and pursuing bipartisan legislation…
👍2❤1👾1
Как в России планируют регулировать применение рекомендательных алгоритмов
О необходимости регулирования рекомендательных алгоритмов в РФ в парламенте говорили еще давно. Однако до конкретных шагов дело никак не доходило. Месяц назад в Госдуму внесли проект закона, в соответствии с которым к использованию рекомендательных алгоритмов в интернете будет предъявляться ряд требований.
Прежде всего отметим, что акт использует термин рекомендательные технологии, под которыми понимаются технологии, позволяющие предоставлять информацию на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей интернета. Не ошибемся, если скажем, что рекомендательные технологии и рекомендательные алгоритмы равнозначны по своей сути, но далее по тексту будем использовать термин из проекта закона.
Так, в соответствии с законопроектом не допускается применение рекомендательных технологий:
а) нарушающих права и законные интересы граждан и организаций;
б) без информирования об этом пользователей соответствующих информационных ресурсов.
Пункт “а” носит декларативный характер, поскольку положение “нарушение прав и законных интересов” не конкретизируется в тексте. Можно было бы указать, в чем именно должно выражаться такое нарушение, например, рекомендации манипулировали поведением лица таким образом, что это причинило ему существенный вред. В отсутствие какой-либо детализации основным способом воздействия акта на общественные отношения будет являться пункт “б”, который содержит конкретное требование по информированию пользователей.
Однако и здесь можно было бы пойти дальше и предусмотреть право пользователей на отказ от применения в их отношении алгоритма или хотя бы изменение его параметров. По такому пути последовали, в частности, Китай (приказ Администрации киберпространства Китая "О регулировании применения рекомендательных алгоритмов информационных Интернет-служб") и Европейский союз ("Акт о цифровых услугах").
Согласно законопроекту информирование должно осуществляться посредством размещения на информационном ресурсе документа с правилами применения рекомендательных технологий. Сами правила применения должны содержать:
а) описание применяемых рекомендательных технологий;
б) виды сведений о предпочтениях пользователей интернета, на основе которых работают рекомендации, а также источники получения таких сведений.
Последствия несоблюдения требований
Если Роскомнадзор обнаружит информационный ресурс, на котором: 1) применяются рекомендательные технологии, нарушающие права и законные интересы граждан и организаций; или 2) отсутствует информирование пользователей, то он может запросить у владельца ресурса документацию, касающуюся технологии, и доступ к программно-техническим средствам для проведения оценки соответствия законодательству.
При выявлении факта нарушения Роскомнадзор направляет владельцу ресурса уведомление о необходимости его устранения. Если владелец не выполняет свои обязанности, то Роскомнадзор направляет указанному лицу требование о запрете предоставления информации с применением рекомендательных технологий. В случае отказа от приостановления применения рекомендательной технологии Роскомнадзор незамедлительно направляет операторам связи требование об ограничении доступа к ресурсу, на котором применяется технология. Оператор, соответственно, будет обязан заблокировать этот ресурс. Также предусматривается, что после устранения нарушений у владельца есть право на то, чтобы доступ к ресурсу был возобновлен.
Положения акта распространяются только на частный сектор. Таким образом, государственные информационные системы (их сейчас более 800 только на федеральном уровне и они содержат большие объемы данных различного характера), государственные органы и органы местного самоуправления не будут подпадать под регулирование. Представляется, что основными объектами регулирования станут маркетплейсы, социальные сети и видеохостинги.
Проект закона к настоящему времени практически единогласно прошел первое чтение. Сейчас идет процесс по его доработке, возможно, в скором времени он будет принят.
О необходимости регулирования рекомендательных алгоритмов в РФ в парламенте говорили еще давно. Однако до конкретных шагов дело никак не доходило. Месяц назад в Госдуму внесли проект закона, в соответствии с которым к использованию рекомендательных алгоритмов в интернете будет предъявляться ряд требований.
Прежде всего отметим, что акт использует термин рекомендательные технологии, под которыми понимаются технологии, позволяющие предоставлять информацию на основе сбора, систематизации и анализа сведений, относящихся к предпочтениям пользователей интернета. Не ошибемся, если скажем, что рекомендательные технологии и рекомендательные алгоритмы равнозначны по своей сути, но далее по тексту будем использовать термин из проекта закона.
Так, в соответствии с законопроектом не допускается применение рекомендательных технологий:
а) нарушающих права и законные интересы граждан и организаций;
б) без информирования об этом пользователей соответствующих информационных ресурсов.
Пункт “а” носит декларативный характер, поскольку положение “нарушение прав и законных интересов” не конкретизируется в тексте. Можно было бы указать, в чем именно должно выражаться такое нарушение, например, рекомендации манипулировали поведением лица таким образом, что это причинило ему существенный вред. В отсутствие какой-либо детализации основным способом воздействия акта на общественные отношения будет являться пункт “б”, который содержит конкретное требование по информированию пользователей.
Однако и здесь можно было бы пойти дальше и предусмотреть право пользователей на отказ от применения в их отношении алгоритма или хотя бы изменение его параметров. По такому пути последовали, в частности, Китай (приказ Администрации киберпространства Китая "О регулировании применения рекомендательных алгоритмов информационных Интернет-служб") и Европейский союз ("Акт о цифровых услугах").
Согласно законопроекту информирование должно осуществляться посредством размещения на информационном ресурсе документа с правилами применения рекомендательных технологий. Сами правила применения должны содержать:
а) описание применяемых рекомендательных технологий;
б) виды сведений о предпочтениях пользователей интернета, на основе которых работают рекомендации, а также источники получения таких сведений.
Последствия несоблюдения требований
Если Роскомнадзор обнаружит информационный ресурс, на котором: 1) применяются рекомендательные технологии, нарушающие права и законные интересы граждан и организаций; или 2) отсутствует информирование пользователей, то он может запросить у владельца ресурса документацию, касающуюся технологии, и доступ к программно-техническим средствам для проведения оценки соответствия законодательству.
При выявлении факта нарушения Роскомнадзор направляет владельцу ресурса уведомление о необходимости его устранения. Если владелец не выполняет свои обязанности, то Роскомнадзор направляет указанному лицу требование о запрете предоставления информации с применением рекомендательных технологий. В случае отказа от приостановления применения рекомендательной технологии Роскомнадзор незамедлительно направляет операторам связи требование об ограничении доступа к ресурсу, на котором применяется технология. Оператор, соответственно, будет обязан заблокировать этот ресурс. Также предусматривается, что после устранения нарушений у владельца есть право на то, чтобы доступ к ресурсу был возобновлен.
Положения акта распространяются только на частный сектор. Таким образом, государственные информационные системы (их сейчас более 800 только на федеральном уровне и они содержат большие объемы данных различного характера), государственные органы и органы местного самоуправления не будут подпадать под регулирование. Представляется, что основными объектами регулирования станут маркетплейсы, социальные сети и видеохостинги.
Проект закона к настоящему времени практически единогласно прошел первое чтение. Сейчас идет процесс по его доработке, возможно, в скором времени он будет принят.
🔥2
Контроль над ИИ: принципы нормативного регулирования
Несколько дней назад в Подкомитете по неприкосновенности частной жизни, технологиям и законодательству при Комитете по судебной власти Сената США состоялись слушания, посвященные широкому кругу вопросов относительно регулирования применения систем ИИ.
На мероприятии с докладами выступили несколько очень известных спикеров. Дискуссия получилась довольно длинная. Остановимся на наиболее интересных моментах, на которых сосредоточились выступающие.
Дарио Амодей (CEO Anthropic) рассказал об опыте применения конституционных принципов для ценностного выравнивания систем ИИ с человеком при разработке базовых моделей компании Claude и Claude 2. Это довольно интересный способ, который использовался в качестве альтернативы обучению на основе человеческих отзывов (RLHF). Подробно о конституционных принципах для ИИ мы писали в посте тут.
Также докладчик разделил все риски, связанные с применением ИИ, на три группы: текущие (предвзятости, нарушение тайны частной жизни человека, дезинформация), среднесрочные (вредное использование систем ИИ, например, для создания химического или биологического оружия) и долгосрочные (опасность для человечества).
В своем выступлении он остановился на среднесрочных рисках (2–3 года). Для их уменьшения спикер предложил реализовать меры по обеспечению безопасности в ходе всей цепочки производства систем ИИ (от создания чипов до тонкой настройки для разных уровней применения), ввести обязательное тестирование и внешний независимый аудит систем ИИ до их выхода на рынок, а также разработать необходимые для этого критерии и стандарты.
Йошуа Бенджио (основатель и научный директор Mila – Québec AI Institute, профессор Монреальского университета) также поддержал идею о введении обязательного внешнего независимого аудита и лицензирования для наиболее больших (передовых) базовых моделей.
Еще одной интересной идей стала необходимость создать при университетах советы по этике ИИ, которые должны следить за безопасностью разработки и применения базовых моделей, а также недопущения их использования для вредоносных целей.
Стюарт Рассел (профессор Калифорнийского университета, Беркли) высказал необходимость создания в США и на международном уровне специального государственного органа, который должен заниматься разработкой нормативной политики, а также осуществлять лицензирование, аккредитовывать аудиторов и т.п.
Также он призвал ввести запрет на создание и применение отдельных видов систем ИИ, обеспечить их идентификацию перед человеком, а также обязать устанавливать «красную кнопку», которая позволит в любой момент прекратить их функционирование.
Несколько дней назад в Подкомитете по неприкосновенности частной жизни, технологиям и законодательству при Комитете по судебной власти Сената США состоялись слушания, посвященные широкому кругу вопросов относительно регулирования применения систем ИИ.
На мероприятии с докладами выступили несколько очень известных спикеров. Дискуссия получилась довольно длинная. Остановимся на наиболее интересных моментах, на которых сосредоточились выступающие.
Дарио Амодей (CEO Anthropic) рассказал об опыте применения конституционных принципов для ценностного выравнивания систем ИИ с человеком при разработке базовых моделей компании Claude и Claude 2. Это довольно интересный способ, который использовался в качестве альтернативы обучению на основе человеческих отзывов (RLHF). Подробно о конституционных принципах для ИИ мы писали в посте тут.
Также докладчик разделил все риски, связанные с применением ИИ, на три группы: текущие (предвзятости, нарушение тайны частной жизни человека, дезинформация), среднесрочные (вредное использование систем ИИ, например, для создания химического или биологического оружия) и долгосрочные (опасность для человечества).
В своем выступлении он остановился на среднесрочных рисках (2–3 года). Для их уменьшения спикер предложил реализовать меры по обеспечению безопасности в ходе всей цепочки производства систем ИИ (от создания чипов до тонкой настройки для разных уровней применения), ввести обязательное тестирование и внешний независимый аудит систем ИИ до их выхода на рынок, а также разработать необходимые для этого критерии и стандарты.
Йошуа Бенджио (основатель и научный директор Mila – Québec AI Institute, профессор Монреальского университета) также поддержал идею о введении обязательного внешнего независимого аудита и лицензирования для наиболее больших (передовых) базовых моделей.
Еще одной интересной идей стала необходимость создать при университетах советы по этике ИИ, которые должны следить за безопасностью разработки и применения базовых моделей, а также недопущения их использования для вредоносных целей.
Стюарт Рассел (профессор Калифорнийского университета, Беркли) высказал необходимость создания в США и на международном уровне специального государственного органа, который должен заниматься разработкой нормативной политики, а также осуществлять лицензирование, аккредитовывать аудиторов и т.п.
Также он призвал ввести запрет на создание и применение отдельных видов систем ИИ, обеспечить их идентификацию перед человеком, а также обязать устанавливать «красную кнопку», которая позволит в любой момент прекратить их функционирование.
www.judiciary.senate.gov
Artificial Intelligence and Human Rights | United States Senate Committee on the Judiciary
❤1👍1🔥1
Форум передовых базовых моделей
Еще немного новостей из США. В продолжении инициативы Белого дома, о которой мы рассказывали на днях, компании Anthropic, Google, Microsoft и OpenAI создали Форум передовых базовых моделей.
Он представляет собой отраслевой орган, призванный обеспечить безопасную и ответственную разработку таких моделей.
Основатели Форума приглашают к сотрудничеству и других участников рынка.
Ключевыми задачами Форума являются продвижение исследований в области безопасности систем ИИ, выявление лучших практик, а также стимулирование использование ИИ для решения проблем человечества.
Для организации работы будет создан консультативный совет Форума.
Также предполагается, что Форум будет оказывать поддержку существующим органам и инициативам, таким как Хиросимский процесс G7 (о нем писали тут), ОЭСР, Совет США и ЕС по торговле и технологиям.
Любые отраслевые стандарты – дело хорошее. Однако если они дополняют нормативное регулирование, а не заменяют его.
Еще немного новостей из США. В продолжении инициативы Белого дома, о которой мы рассказывали на днях, компании Anthropic, Google, Microsoft и OpenAI создали Форум передовых базовых моделей.
Он представляет собой отраслевой орган, призванный обеспечить безопасную и ответственную разработку таких моделей.
Основатели Форума приглашают к сотрудничеству и других участников рынка.
Ключевыми задачами Форума являются продвижение исследований в области безопасности систем ИИ, выявление лучших практик, а также стимулирование использование ИИ для решения проблем человечества.
Для организации работы будет создан консультативный совет Форума.
Также предполагается, что Форум будет оказывать поддержку существующим органам и инициативам, таким как Хиросимский процесс G7 (о нем писали тут), ОЭСР, Совет США и ЕС по торговле и технологиям.
Любые отраслевые стандарты – дело хорошее. Однако если они дополняют нормативное регулирование, а не заменяют его.
Openai
Frontier Model Forum
We’re forming a new industry body to promote the safe and responsible development of frontier AI systems: advancing AI safety research, identifying best practices and standards, and facilitating information sharing among policymakers and industry.
❤2
О кибербезопасности передовых моделей ИИ
Американская ИИ-компания Anthropic поделилась своим видением того, как можно и нужно обеспечивать кибербезопасность передовых базовых моделей. Эта тема привлекает внимание, поскольку передовые базовые модели по степени потенциальной опасности и возможности причинения вреда сопоставимы с объектами критической инфраструктуры.
Компания остановилась на трех рекомендациях, адресованных индустрии в целом: а) обеспечение двойного контроля; б) соблюдение лучших практик по разработке безопасного ПО; в) сотрудничество государства с частным сектором.
Двойной контроль
Для обеспечения кибербезопасности современных систем ИИ необходим двойной контроль. Суть и ценность его в том, что ни один человек не имеет постоянного доступа к критически важной инфраструктуре модели ИИ, доступ возможен только по согласованию с другим субъектом (коллегой) и на ограниченное количество времени. Такой контроль уже используется в различных областях, например, для открытия особо охраняемых хранилищ требуется два независимых человека с двумя ключами, а многосторонние схемы проверки применяются в производстве, пищевой промышленности, медицине и финансах. Метод также используется в крупных технологических компаниях для защиты от наиболее продвинутых киберугроз.
Двойной контроль следует применять ко всем системам, вовлеченным в разработку, обучение, размещение и эксплуатацию передовых моделей ИИ. Такое средство контроля могут использовать даже небольшие ИИ-лаборатории, не обладающие крупными ресурсами.
Лучшие практики по разработке ПО
Передовые модели ИИ создаются и размещаются почти точно так же, как и ПО. Поэтому в Anthropic предлагают распространять лучшие практики по разработке ПО на всю инфраструктуру передовых моделей ИИ. Золотым стандартом таких практик являются:
– NIST Secure Software Development Framework – концепция, представляющая собой набор фундаментальных, надежных и безопасных методов разработки ПО;
– Supply Chain Levels for Software Artifacts – система безопасности, перечень стандартов и средств контроля, позволяющих предотвратить несанкционированное вмешательство, повысить надежность, защитить компоненты и инфраструктуру.
Правильное применение этих практик позволит связать созданную модель с компаниями, участвовавшими в ее разработке на всех этапах ее жизненного цикла. Тем самым это поможет проследить подлинность и безопасность всей модели ИИ.
Сотрудничество государства с частным сектором
Исследовательские лаборатории в сфере ИИ должны сотрудничать с государством так, как это делают компании, занятые в критически важных сферах (в частности, в области финансов). Как вариант, ИИ сфера может быть выделена в качестве специального направления внутри ИТ сектора. Такое выделение нужно для обмена информацией между исследовательскими центрами и государственными структурами, что поможет всем ИИ-лабораториям лучше защищаться от злоумышленников, обладающих большими ресурсами.
Американская ИИ-компания Anthropic поделилась своим видением того, как можно и нужно обеспечивать кибербезопасность передовых базовых моделей. Эта тема привлекает внимание, поскольку передовые базовые модели по степени потенциальной опасности и возможности причинения вреда сопоставимы с объектами критической инфраструктуры.
Компания остановилась на трех рекомендациях, адресованных индустрии в целом: а) обеспечение двойного контроля; б) соблюдение лучших практик по разработке безопасного ПО; в) сотрудничество государства с частным сектором.
Двойной контроль
Для обеспечения кибербезопасности современных систем ИИ необходим двойной контроль. Суть и ценность его в том, что ни один человек не имеет постоянного доступа к критически важной инфраструктуре модели ИИ, доступ возможен только по согласованию с другим субъектом (коллегой) и на ограниченное количество времени. Такой контроль уже используется в различных областях, например, для открытия особо охраняемых хранилищ требуется два независимых человека с двумя ключами, а многосторонние схемы проверки применяются в производстве, пищевой промышленности, медицине и финансах. Метод также используется в крупных технологических компаниях для защиты от наиболее продвинутых киберугроз.
Двойной контроль следует применять ко всем системам, вовлеченным в разработку, обучение, размещение и эксплуатацию передовых моделей ИИ. Такое средство контроля могут использовать даже небольшие ИИ-лаборатории, не обладающие крупными ресурсами.
Лучшие практики по разработке ПО
Передовые модели ИИ создаются и размещаются почти точно так же, как и ПО. Поэтому в Anthropic предлагают распространять лучшие практики по разработке ПО на всю инфраструктуру передовых моделей ИИ. Золотым стандартом таких практик являются:
– NIST Secure Software Development Framework – концепция, представляющая собой набор фундаментальных, надежных и безопасных методов разработки ПО;
– Supply Chain Levels for Software Artifacts – система безопасности, перечень стандартов и средств контроля, позволяющих предотвратить несанкционированное вмешательство, повысить надежность, защитить компоненты и инфраструктуру.
Правильное применение этих практик позволит связать созданную модель с компаниями, участвовавшими в ее разработке на всех этапах ее жизненного цикла. Тем самым это поможет проследить подлинность и безопасность всей модели ИИ.
Сотрудничество государства с частным сектором
Исследовательские лаборатории в сфере ИИ должны сотрудничать с государством так, как это делают компании, занятые в критически важных сферах (в частности, в области финансов). Как вариант, ИИ сфера может быть выделена в качестве специального направления внутри ИТ сектора. Такое выделение нужно для обмена информацией между исследовательскими центрами и государственными структурами, что поможет всем ИИ-лабораториям лучше защищаться от злоумышленников, обладающих большими ресурсами.
Anthropic
Frontier Model Security
Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.
👍4
Предложения о поддержке open source решений в проекте Регламента ЕС об ИИ
Группа организаций (коммерческих и некоммерческих), связанных с распространением опен сорс решений (Creative Commons, EleutherAI, GitHub, Hugging Face, LAION, Open Future) опубликовали письмо c рекомендациями, которые, по их мнению, следует учесть европейским законодателям в ходе стадии трилога:
Во-первых, необходимо дать четкое определение компонентам ИИ (AI components). Последняя версия текста проекта Регламента (версия Европарламента) содержит такой термин относительно опен сорс решений (статьи 5e и 12a-с) однако не дает его исчерпывающей дефиниции. Таким образом, для ясности законодателям предлагается данный термин определить.
Во-вторых, следует дополнительно уточнить, что совместная разработка компонентов ИИ с открытым исходным кодом и их размещение в открытых репозиториях не подпадает под требования проекта Регламента. Данное положение уже содержится в последнем тексте проекта Регламента (статьи 5e и 12a-с), авторами письма предлагается дополнительно уточнить формулировки, чтобы деятельность по совместной разработке ПО не подпадала под регулирование.
В-третьих, авторы поддерживают необходимость создания Офиса ИИ (AI Office), положения о котором появились в последнем тексте проекта Регламента.
В-четвертых, предлагается упростить возможности по тестированию систем ИИ для научных целей в реальных условиях Текущий текст предоставляет возможность тестирования только в рамках регуляторных песочниц.
В-пятых, авторы отмечают, что статья 28b проекта Регламента устанавливает достаточно обременительные требования для поставщиков базовых моделей. Авторы предлагают дифференцировать эти требования в зависимости от различных сценариев использования, способов разработки, положения на рынке базовых моделей. По их мнению, это будет способствовать помощи небольшим командам и стартапам. Также предлагается наделить Офис ИИ полномочиями по пересмотру этих требований в зависимости от реалий технологического развития.
Полную версию письма можно почитать тут.
Группа организаций (коммерческих и некоммерческих), связанных с распространением опен сорс решений (Creative Commons, EleutherAI, GitHub, Hugging Face, LAION, Open Future) опубликовали письмо c рекомендациями, которые, по их мнению, следует учесть европейским законодателям в ходе стадии трилога:
Во-первых, необходимо дать четкое определение компонентам ИИ (AI components). Последняя версия текста проекта Регламента (версия Европарламента) содержит такой термин относительно опен сорс решений (статьи 5e и 12a-с) однако не дает его исчерпывающей дефиниции. Таким образом, для ясности законодателям предлагается данный термин определить.
Во-вторых, следует дополнительно уточнить, что совместная разработка компонентов ИИ с открытым исходным кодом и их размещение в открытых репозиториях не подпадает под требования проекта Регламента. Данное положение уже содержится в последнем тексте проекта Регламента (статьи 5e и 12a-с), авторами письма предлагается дополнительно уточнить формулировки, чтобы деятельность по совместной разработке ПО не подпадала под регулирование.
В-третьих, авторы поддерживают необходимость создания Офиса ИИ (AI Office), положения о котором появились в последнем тексте проекта Регламента.
В-четвертых, предлагается упростить возможности по тестированию систем ИИ для научных целей в реальных условиях Текущий текст предоставляет возможность тестирования только в рамках регуляторных песочниц.
В-пятых, авторы отмечают, что статья 28b проекта Регламента устанавливает достаточно обременительные требования для поставщиков базовых моделей. Авторы предлагают дифференцировать эти требования в зависимости от различных сценариев использования, способов разработки, положения на рынке базовых моделей. По их мнению, это будет способствовать помощи небольшим командам и стартапам. Также предлагается наделить Офис ИИ полномочиями по пересмотру этих требований в зависимости от реалий технологического развития.
Полную версию письма можно почитать тут.
huggingface.co
AI Policy @🤗: Open ML Considerations in the EU AI Act
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
🔥1
Спасаемся от скайнет
Друзья, в выходные делимся с вами крайне интересной лекцией одного из отцов современного ИИ Стюарта Рассела "Как не уничтожить мир с помощью искусственного интеллекта".
В лекции рассматривается широкий круг вопросов относительного того, каким образом создать ИИ, который будет служить на благо человечества.
Для перевода на русский можно использовать нейронки. Например, известное решение от Яндекса.
Друзья, в выходные делимся с вами крайне интересной лекцией одного из отцов современного ИИ Стюарта Рассела "Как не уничтожить мир с помощью искусственного интеллекта".
В лекции рассматривается широкий круг вопросов относительного того, каким образом создать ИИ, который будет служить на благо человечества.
Для перевода на русский можно использовать нейронки. Например, известное решение от Яндекса.
YouTube
How Not To Destroy the World With AI - Stuart Russell
Stuart Russell, Professor of Computer Science, UC Berkeley
About Talk:
It is reasonable to expect that artificial intelligence (AI) capabilities will eventually exceed those of humans across a range of real-world decision-making scenarios. Should this be…
About Talk:
It is reasonable to expect that artificial intelligence (AI) capabilities will eventually exceed those of humans across a range of real-world decision-making scenarios. Should this be…
❤2
Взлом больших языковых моделей
Продолжаем нагонять жути😱 . На днях вышел препринт интересной статьи о новых методиках взлома популярных больших языковых моделей (ChatGPT, Claude, Bard, LLaMA-2-Chat, Pythia, Falcon и т.д.).
В процессе разработки этих моделей обученные базовые модели, лежащие в их основе, подвергаются тонкой настройке при помощи дополнительного набора данных (fine tuning) и ценностному выравниванию (alignment) (прим.: чтобы выходной результат соответствовал ценностям и задачам человека) для того, чтобы в процессе использования они не выдавали вредную или оскорбительную информацию.
Ценностное выравнивание, как правило, осуществляется с помощью дообучения на основе человеческих отзывов (RLHF) и конституционных принципов. В первом случае буквально сидят люди и руками помечают некорректные ответы. Этот способ использовался при создании ChatGPT и ряда других опен сорс решений. Во втором случае формулируется некий список общечеловеческих ценностей, на соответствие которым проверяются ответы. Данный способ разработан и используется компанией Anthropic (мы уже писали об этом тут).
С самого начала публичных релизов языковых моделей энтузиасты и ученые массово проверяют их на наличие разного рода уязвимостей. Одной из таких уязвимостей является возможность взлома через запрос (промт). В интернете можно найти массу скриншотов, на которых люди через правильно составленный промт “уговаривали” модели выдавать вредный результат (например, инструкцию по производству оружия). Так вот, большинство проблем с текстовыми взломами были решены через рассмотренные выше техники.
Вместе с тем исследователи в цитируемой статье придумали способ взлома через промт путем добавления в него определенного ряда символов. При понимании закономерностей работы модели генерацию этих символов можно полностью автоматизировать. Также авторы статьи первоначально предполагали использовать данный метод только на опен сорс моделях, о которых известна вся информация об исходном коде и инфраструктуре. Тем не менее оказалось, что и частные модели (например, ChatGPT, Claude, Bard) также являются неустойчивыми к такого рода взломам.
Примеры диалогов можно посмотреть на прикрепленных к посту скриншотах. В данном случае авторы просили подготовить пошаговый туториал по уничтожению человечества.
Таким образом, существующие продукты, созданные на основе базовых моделей, все еще далеки от полной безопасности и защищенности.
Следовательно, нужно очень аккуратно подходить к вопросу об их использовании в деятельности своих компаний. Также следует максимально стараться следовать требованиям законодательства и всячески митигировать возможные риски.
Продолжаем нагонять жути
В процессе разработки этих моделей обученные базовые модели, лежащие в их основе, подвергаются тонкой настройке при помощи дополнительного набора данных (fine tuning) и ценностному выравниванию (alignment) (прим.: чтобы выходной результат соответствовал ценностям и задачам человека) для того, чтобы в процессе использования они не выдавали вредную или оскорбительную информацию.
Ценностное выравнивание, как правило, осуществляется с помощью дообучения на основе человеческих отзывов (RLHF) и конституционных принципов. В первом случае буквально сидят люди и руками помечают некорректные ответы. Этот способ использовался при создании ChatGPT и ряда других опен сорс решений. Во втором случае формулируется некий список общечеловеческих ценностей, на соответствие которым проверяются ответы. Данный способ разработан и используется компанией Anthropic (мы уже писали об этом тут).
С самого начала публичных релизов языковых моделей энтузиасты и ученые массово проверяют их на наличие разного рода уязвимостей. Одной из таких уязвимостей является возможность взлома через запрос (промт). В интернете можно найти массу скриншотов, на которых люди через правильно составленный промт “уговаривали” модели выдавать вредный результат (например, инструкцию по производству оружия). Так вот, большинство проблем с текстовыми взломами были решены через рассмотренные выше техники.
Вместе с тем исследователи в цитируемой статье придумали способ взлома через промт путем добавления в него определенного ряда символов. При понимании закономерностей работы модели генерацию этих символов можно полностью автоматизировать. Также авторы статьи первоначально предполагали использовать данный метод только на опен сорс моделях, о которых известна вся информация об исходном коде и инфраструктуре. Тем не менее оказалось, что и частные модели (например, ChatGPT, Claude, Bard) также являются неустойчивыми к такого рода взломам.
Примеры диалогов можно посмотреть на прикрепленных к посту скриншотах. В данном случае авторы просили подготовить пошаговый туториал по уничтожению человечества.
Таким образом, существующие продукты, созданные на основе базовых моделей, все еще далеки от полной безопасности и защищенности.
Следовательно, нужно очень аккуратно подходить к вопросу об их использовании в деятельности своих компаний. Также следует максимально стараться следовать требованиям законодательства и всячески митигировать возможные риски.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8
Ирландия начала готовиться к вступлению в силу Регламента ЕС об ИИ
Национальный орган по стандартизации Ирландии (National Standards Authority of Ireland, NSAI) представил дорожную карту (AI Standards & Assurance Roadmap Actions) по реализации политики в сфере ИИ. Ключевым фактором, из-за которого принята дорожная карта, является то, что государство таким способом готовится к последствиям принятия Регламента ЕС об ИИ (Регламент). В Ирландии расположены штаб-квартиры многих крупных технологических компаний, работающих в ИИ-индустрии. Поэтому Ирландия очень заинтересована в том, чтобы у бизнеса, находящегося под их юрисдикцией, были максимально комфортные правовые и организационные условия для работы.
Сейчас на уровне ЕС активно разрабатываются унифицированные стандарты для систем ИИ. Европейская комиссия в мае этого года утвердила финальную версию запроса в адрес европейских организаций по стандартизации с тем, чтобы они разработали ряд стандартов. В запросе содержится десять тематик, по которым требуются стандарты (риск-менеджмент, управление датасетами, прозрачность и информированность пользователей и т.п.).
Из дорожной карты следует, что Ирландия намерена полноценно участвовать в разработке международных и европейских стандартов с тем, чтобы обеспечить свои интересы. В частности, на национальном уровне в NSAI существует комитет, занимающийся вопросами ИИ (NSAI/TC2/SC18). В состав этого комитета входят ирландские эксперты, обладающие широким спектром знаний в области ИИ. Он является зеркальным комитетом по отношению к комитетам по ИИ: а) Международной организации по стандартизации (ISO/IEC JTC 1/SC 42); и б) европейских организаций по стандартизации (CEN-CENELEC 21 "Искусственный интеллект”). Через этот комитет Ирландия активно участвует в работе. Несколько его членов играют ведущую роль в разработке стандартов на международном и европейском уровнях, являясь председателями комитетов, организаторами рабочих групп и руководителями проектов.
Такой интерес Ирландии к стандартам закономерен, поскольку Регламент предусматривает, что системы ИИ, соответствующие унифицированным стандартам, будут расцениваться как уже удовлетворяющие значимым требованиям европейского акта. В частности, Регламент потребует прохождения процедуры оценки соответствия (по общему правилу) организациями, разрабатывающими и внедряющими высокорисковые системы ИИ. Таким образом, Ирландия всячески будет стремиться к тому, чтобы их отечественные компании соблюдали унифицированные стандарты, касающиеся сферы ИИ. Это позволит поставщикам и эксплуатантам систем ИИ пользоваться в том числе упрощенными процедурами оценки соответствия.
Среди конкретных мер, которые Ирландия планирует принять в соответствие с дорожной картой, мы бы хотели обратить внимание на следующие:
– заблаговременное назначение национального регулирующего органа, который будет выполнять функции компетентного органа в сфере ИИ;
– своевременное принятие руководств для индустрии, разъясняющих систему регулирования применения систем ИИ, в том числе юридические особенности прохождения процедуры оценки соответствия;
– развитие национальной экосистемы создания надежных систем ИИ для укрепления репутации Ирландии на международном уровне;
– для тех случаев, когда высокорисковые системы ИИ являются компонентами других продуктов, которые подлежат прохождению процедуры оценки соответствия в силу других актов, важно, чтобы отраслевые национальные органы и нотификационные органы работали сообща для того, чтобы интегрировать в свои проверочные мероприятия процедуры оценки соответствия систем ИИ (чтобы организациям не приходилось проводить процедуру оценки соответствия два раза).
Еще одним любопытным обстоятельством является то, что согласно дорожной карте NSAI планирует получить статус нотификационного органа в значении Регламента. NSAI уже является нотифицированным органом по медицинским изделиям, метрологии и строительству. Поэтому авторы этой идеи посчитали, что именно эта организация лучше всего подойдет для выполнения функций по нотификации.
Национальный орган по стандартизации Ирландии (National Standards Authority of Ireland, NSAI) представил дорожную карту (AI Standards & Assurance Roadmap Actions) по реализации политики в сфере ИИ. Ключевым фактором, из-за которого принята дорожная карта, является то, что государство таким способом готовится к последствиям принятия Регламента ЕС об ИИ (Регламент). В Ирландии расположены штаб-квартиры многих крупных технологических компаний, работающих в ИИ-индустрии. Поэтому Ирландия очень заинтересована в том, чтобы у бизнеса, находящегося под их юрисдикцией, были максимально комфортные правовые и организационные условия для работы.
Сейчас на уровне ЕС активно разрабатываются унифицированные стандарты для систем ИИ. Европейская комиссия в мае этого года утвердила финальную версию запроса в адрес европейских организаций по стандартизации с тем, чтобы они разработали ряд стандартов. В запросе содержится десять тематик, по которым требуются стандарты (риск-менеджмент, управление датасетами, прозрачность и информированность пользователей и т.п.).
Из дорожной карты следует, что Ирландия намерена полноценно участвовать в разработке международных и европейских стандартов с тем, чтобы обеспечить свои интересы. В частности, на национальном уровне в NSAI существует комитет, занимающийся вопросами ИИ (NSAI/TC2/SC18). В состав этого комитета входят ирландские эксперты, обладающие широким спектром знаний в области ИИ. Он является зеркальным комитетом по отношению к комитетам по ИИ: а) Международной организации по стандартизации (ISO/IEC JTC 1/SC 42); и б) европейских организаций по стандартизации (CEN-CENELEC 21 "Искусственный интеллект”). Через этот комитет Ирландия активно участвует в работе. Несколько его членов играют ведущую роль в разработке стандартов на международном и европейском уровнях, являясь председателями комитетов, организаторами рабочих групп и руководителями проектов.
Такой интерес Ирландии к стандартам закономерен, поскольку Регламент предусматривает, что системы ИИ, соответствующие унифицированным стандартам, будут расцениваться как уже удовлетворяющие значимым требованиям европейского акта. В частности, Регламент потребует прохождения процедуры оценки соответствия (по общему правилу) организациями, разрабатывающими и внедряющими высокорисковые системы ИИ. Таким образом, Ирландия всячески будет стремиться к тому, чтобы их отечественные компании соблюдали унифицированные стандарты, касающиеся сферы ИИ. Это позволит поставщикам и эксплуатантам систем ИИ пользоваться в том числе упрощенными процедурами оценки соответствия.
Среди конкретных мер, которые Ирландия планирует принять в соответствие с дорожной картой, мы бы хотели обратить внимание на следующие:
– заблаговременное назначение национального регулирующего органа, который будет выполнять функции компетентного органа в сфере ИИ;
– своевременное принятие руководств для индустрии, разъясняющих систему регулирования применения систем ИИ, в том числе юридические особенности прохождения процедуры оценки соответствия;
– развитие национальной экосистемы создания надежных систем ИИ для укрепления репутации Ирландии на международном уровне;
– для тех случаев, когда высокорисковые системы ИИ являются компонентами других продуктов, которые подлежат прохождению процедуры оценки соответствия в силу других актов, важно, чтобы отраслевые национальные органы и нотификационные органы работали сообща для того, чтобы интегрировать в свои проверочные мероприятия процедуры оценки соответствия систем ИИ (чтобы организациям не приходилось проводить процедуру оценки соответствия два раза).
Еще одним любопытным обстоятельством является то, что согласно дорожной карте NSAI планирует получить статус нотификационного органа в значении Регламента. NSAI уже является нотифицированным органом по медицинским изделиям, метрологии и строительству. Поэтому авторы этой идеи посчитали, что именно эта организация лучше всего подойдет для выполнения функций по нотификации.
❤2🔥2
В России принят федеральный закон, регулирующий применение рекомендательных алгоритмов
С 1 октября 2023 года в России вступит в силу федеральный закон, который потребует от интернет-ресурсов информировать своих пользователей о применении рекомендательных алгоритмов. Информирование должно осуществляться владельцами через размещение на самом ресурсе документа с описанием того, как работает алгоритм. В частности, необходимо будет указывать виды сведений о предпочтениях пользователей, на основе которых работают рекомендации, а также источники их получения. При нарушении владельцем интернет-ресурса требований закона, Роскомнадзор будет блокировать доступ к соответствующим ресурсам.
Подробный обзор положений закона можете почитать здесь.
С 1 октября 2023 года в России вступит в силу федеральный закон, который потребует от интернет-ресурсов информировать своих пользователей о применении рекомендательных алгоритмов. Информирование должно осуществляться владельцами через размещение на самом ресурсе документа с описанием того, как работает алгоритм. В частности, необходимо будет указывать виды сведений о предпочтениях пользователей, на основе которых работают рекомендации, а также источники их получения. При нарушении владельцем интернет-ресурса требований закона, Роскомнадзор будет блокировать доступ к соответствующим ресурсам.
Подробный обзор положений закона можете почитать здесь.
Telegram
howtocomply_AI
Как в России планируют регулировать применение рекомендательных алгоритмов
О необходимости регулирования рекомендательных алгоритмов в РФ в парламенте говорили еще давно. Однако до конкретных шагов дело никак не доходило. Месяц назад в Госдуму внесли проект…
О необходимости регулирования рекомендательных алгоритмов в РФ в парламенте говорили еще давно. Однако до конкретных шагов дело никак не доходило. Месяц назад в Госдуму внесли проект…
❤4👍2
В Сенате США обсудили проблемы авторских прав в контексте генеративного ИИ
Часть 1.
В Подкомитете по неприкосновенности частной жизни, технологиям и законодательству при Комитете по судебной власти Сената США состоялись слушания на тему Искусственный интеллект и интеллектуальная собственность - часть II: авторское право.
Напомним, что разбор первой части про патенты, инновации и конкуренцию мы опубликовали тут.
На мероприятие были приглашены несколько представителей креативной индустрии, ИИ-компаний и науки. Заседание получилось насыщенным, остановимся на наиболее острых вопросах:
Бен Брукс (руководитель отдела по государственной политике, Stability AI) пытался заверить публику, что их системы ИИ призваны быть помощниками, не заменой креативного класса.
Также он отметил ряд шагов, которые позволят лучше защитить права авторов:
Передовые методы обучения. Поскольку Stable Diffusion предварительно обучается на контенте из открытых наборов данных, это позволяет авторам определить, появятся ли в этих датасетах их работы. Stability AI проактивно запрашивает у авторов запросы на отказ от участия в обучении и будет учитывать эти запросы при обучении новых моделей Stable Diffusion (сейчас их уже более 160 миллионов). Компания соблюдает существующие цифровые протоколы (например, robot.txt), которые показывают, согласен ли сайт на автоматизированный сбор данных с него. Также он указал, что Stability AI занимается разработкой машиночитаемых отказов, которые бы вшивались в метаданные контента.
Идентификация контента. Компания внедряет различные идентификаторы подлинности контента и скрытые водяные знаки, которые призваны в дальнейшим помогать выявлять сгенерированные данные держателям цифровых платформ.
Качество датасетов. Stability AI активно занимается улучшением качества и репрезентативности своих датасетов, чтобы избежать проблем нарушения прав авторов из-за ошибок работы моделей (например, переобучения).
Меры по предотвращению ненадлежащего использования продуктов. Компания использует лицензию Open Responsible AI License (для Stable Diffusion), что позволяет запретить ряд вредных сценариев использования. Также встраиваются фильтры для данных и промтов, а также имеется карточка продукта, описывающая его особенности и ограничения использования (разместим ее под постом).
Дана Рао (исполнительный вице-президент, главный советник и директор по обеспечения доверия, Adobe Inc.) остановился на особенностях нового продукта компании Adobe Firefly, который был полностью обучен на юридически чистых данных (своем датасете Adobe Stock, а также на работах с открытой лицензией и контенте, находящемся в общественном достоянии, авторские права на который истекли). Также у компании имеется целая команда модераторов, которые проверяют новые данные на риски нарушения авторских прав перед добавлением их в датасеты.
Спикер также остановился на технологии Content Credentials, которую внедряет целый ряд компаний, входящих в Инициативу по аутентичности контента. Технология позволяет добавлять в метаданные пометку “Do Not Train”, что должно позволить не включать в дальнейшем эти данные в датасеты, ставить цифровую метку об авторстве произведения, а также разделять сгенерированный контент и авторский (в целях защиты созданных человеком элементов авторским правом). Прим.: это как раз соответствует сформулированной в позиции Ведомства по патентам и товарным знакам США в мартовском разъяснении и по запросу Кристины Каштановой.
Что касается законодательных изменений, то спикер высказал необходимость разработки нормативных механизмов по защите от копирования авторского стиля. Adobe также работает над соответствующим продуктом, чтобы обеспечить генерацию контента в стиле конкретного автора с возможностью отчисления за это вознаграждения со стороны пользователя.
Мэтью Саг (профессор права, Университет Эмори) указал, что действующее американское законодательство не нуждается в серьезных изменениях в данный момент времени. В частности, по его мнению:
во-первых, системы ИИ не могут быть признаны авторами произведений;
Часть 1.
В Подкомитете по неприкосновенности частной жизни, технологиям и законодательству при Комитете по судебной власти Сената США состоялись слушания на тему Искусственный интеллект и интеллектуальная собственность - часть II: авторское право.
Напомним, что разбор первой части про патенты, инновации и конкуренцию мы опубликовали тут.
На мероприятие были приглашены несколько представителей креативной индустрии, ИИ-компаний и науки. Заседание получилось насыщенным, остановимся на наиболее острых вопросах:
Бен Брукс (руководитель отдела по государственной политике, Stability AI) пытался заверить публику, что их системы ИИ призваны быть помощниками, не заменой креативного класса.
Также он отметил ряд шагов, которые позволят лучше защитить права авторов:
Передовые методы обучения. Поскольку Stable Diffusion предварительно обучается на контенте из открытых наборов данных, это позволяет авторам определить, появятся ли в этих датасетах их работы. Stability AI проактивно запрашивает у авторов запросы на отказ от участия в обучении и будет учитывать эти запросы при обучении новых моделей Stable Diffusion (сейчас их уже более 160 миллионов). Компания соблюдает существующие цифровые протоколы (например, robot.txt), которые показывают, согласен ли сайт на автоматизированный сбор данных с него. Также он указал, что Stability AI занимается разработкой машиночитаемых отказов, которые бы вшивались в метаданные контента.
Идентификация контента. Компания внедряет различные идентификаторы подлинности контента и скрытые водяные знаки, которые призваны в дальнейшим помогать выявлять сгенерированные данные держателям цифровых платформ.
Качество датасетов. Stability AI активно занимается улучшением качества и репрезентативности своих датасетов, чтобы избежать проблем нарушения прав авторов из-за ошибок работы моделей (например, переобучения).
Меры по предотвращению ненадлежащего использования продуктов. Компания использует лицензию Open Responsible AI License (для Stable Diffusion), что позволяет запретить ряд вредных сценариев использования. Также встраиваются фильтры для данных и промтов, а также имеется карточка продукта, описывающая его особенности и ограничения использования (разместим ее под постом).
Дана Рао (исполнительный вице-президент, главный советник и директор по обеспечения доверия, Adobe Inc.) остановился на особенностях нового продукта компании Adobe Firefly, который был полностью обучен на юридически чистых данных (своем датасете Adobe Stock, а также на работах с открытой лицензией и контенте, находящемся в общественном достоянии, авторские права на который истекли). Также у компании имеется целая команда модераторов, которые проверяют новые данные на риски нарушения авторских прав перед добавлением их в датасеты.
Спикер также остановился на технологии Content Credentials, которую внедряет целый ряд компаний, входящих в Инициативу по аутентичности контента. Технология позволяет добавлять в метаданные пометку “Do Not Train”, что должно позволить не включать в дальнейшем эти данные в датасеты, ставить цифровую метку об авторстве произведения, а также разделять сгенерированный контент и авторский (в целях защиты созданных человеком элементов авторским правом). Прим.: это как раз соответствует сформулированной в позиции Ведомства по патентам и товарным знакам США в мартовском разъяснении и по запросу Кристины Каштановой.
Что касается законодательных изменений, то спикер высказал необходимость разработки нормативных механизмов по защите от копирования авторского стиля. Adobe также работает над соответствующим продуктом, чтобы обеспечить генерацию контента в стиле конкретного автора с возможностью отчисления за это вознаграждения со стороны пользователя.
Мэтью Саг (профессор права, Университет Эмори) указал, что действующее американское законодательство не нуждается в серьезных изменениях в данный момент времени. В частности, по его мнению:
во-первых, системы ИИ не могут быть признаны авторами произведений;
👍3
Часть 2.
во-вторых, обучение моделей на произведениях, защищенных авторским правом, обычно является добросовестным использованием, так как технически не нацелено на копирование существующих работ, если модель функционирует должным образом;
в-третьих, спикер высказал предположения о возможных судебных решениях по использованию данных для тренировки моделей для коммерческого использования из теневых библиотек (прим.: один иск уже подан против OpenAI, мы разбирали тут), а также при игнорировании при сборе данных сертификатов о запрете их использования для обучения моделей.
Карла Ортис (концепт-художник, иллюстратор и художник (делала контент, например, для последних Стражей Галактики, Доктора Стрэнджа и сериала Локи)) ожидаемо высказалась за поддержку сообщества авторов. В частности, по ее мнению, необходимо установить обязательный механизм отзыва согласия на использование контента для обучения моделей, а также ввести штрафы за обучение без согласия автора.
Также в ходе обсуждения был затронут интересный вопрос “машинного разобучения” (Machine unlearning), которое бы позволяло извлекать данные не только из датасетов, но и из обученных моделей без необходимости их обучать заново. Сейчас данный вопрос как раз находится в центре внимания исследователей.
Джеффри Харлстон (главный советник и исполнительный вице-президент по коммерческим и юридическим вопросам Universal Music Group) как представитель индустрии выступил за следующие законодательные новеллы:
во-первых, необходимость защиты артистов от дипфейков;
во-вторых, прозрачный допуск держателей контента к датасетам;
в-третьих, маркировку сгенерированного контента.
во-вторых, обучение моделей на произведениях, защищенных авторским правом, обычно является добросовестным использованием, так как технически не нацелено на копирование существующих работ, если модель функционирует должным образом;
в-третьих, спикер высказал предположения о возможных судебных решениях по использованию данных для тренировки моделей для коммерческого использования из теневых библиотек (прим.: один иск уже подан против OpenAI, мы разбирали тут), а также при игнорировании при сборе данных сертификатов о запрете их использования для обучения моделей.
Карла Ортис (концепт-художник, иллюстратор и художник (делала контент, например, для последних Стражей Галактики, Доктора Стрэнджа и сериала Локи)) ожидаемо высказалась за поддержку сообщества авторов. В частности, по ее мнению, необходимо установить обязательный механизм отзыва согласия на использование контента для обучения моделей, а также ввести штрафы за обучение без согласия автора.
Также в ходе обсуждения был затронут интересный вопрос “машинного разобучения” (Machine unlearning), которое бы позволяло извлекать данные не только из датасетов, но и из обученных моделей без необходимости их обучать заново. Сейчас данный вопрос как раз находится в центре внимания исследователей.
Джеффри Харлстон (главный советник и исполнительный вице-президент по коммерческим и юридическим вопросам Universal Music Group) как представитель индустрии выступил за следующие законодательные новеллы:
во-первых, необходимость защиты артистов от дипфейков;
во-вторых, прозрачный допуск держателей контента к датасетам;
в-третьих, маркировку сгенерированного контента.
🔥5
Anthropic тестирует свою большую языковую модель на биобезопасность
В Массачусетском технологическом институте провели любопытный эксперимент. Перед студентами, не обладающим исследовательскими навыками в биологии, поставили задачу выяснить, можно ли при помощи чат-ботов, работающих на основе больших языковых моделей (модель), вызвать пандемию. За час работы чат-боты предложили четыре варианта болезнетворных микроорганизмов, которые потенциально могут привести к пандемии. Чат-боты объяснили, как их можно получить из синтетической ДНК, используя методы обратной генетики (манипуляции последовательностями генов). Кроме того, они назвали компании, занимающиеся синтезом ДНК, а также рекомендовали всем, кто не владеет методами обратной генетики, привлечь исследовательские центры. Этот эксперимент показывает, что модели могут помогать создавать биооружие даже людям, у которых низкий или вообще нулевой опыт исследовательской работы.
В этой связи хотим вам рассказать про опыт компании Anthropic, которая задумалась о способах минимизации рисков, связанных с потенциальной возможностью моделей помогать злоумышленникам в создании биологического оружия. Недавно компания выпустила материал, в котором поделилась своим опытом использования подхода Red Teaming (имитация реальных атак с целью оценки кибербезопасности систем – атака «красной команды») для выявления рисков, заложенных в их модель. Работая с экспертами-биологами, в компании пришли к выводу, что в скором времени модели могут представлять угрозу для национальной безопасности, если не заниматься их нивелированием (устранением).
Для этих целей в компании провели Red Teaming передовых угроз модели, что потребовало привлечения профильных экспертов с большим опытом. Сперва исследователи выявили: а) какая информация является опасной; б) как эта информация комбинируется для создания вреда и какая степень точности требуется для того, чтобы она была опасной. Например, чтобы нанести вред, часто необходимо объединить множество фрагментов точной и разной информации, а не просто сгенерировать один выходной вредный результат.
Последние шесть месяцев сотрудники Anthropic совместно работали с ведущими экспертами в области биобезопасности. Они проводили Red Teaming, оценивая возможности модели по выдаче вредоносной биологической информации. В частности, по разработке и приобретению биологического оружия. Эксперты учились общаться с моделью компании, взламывать ее и оценивать. Были разработаны количественные оценки возможностей модели. По результатам тестирования модели исследователи сделали следующие выводы:
– модели иногда могут выдавать сложные, точные, полезные и детальные знания на уровне экспертов. В большинстве изученных в рамках теста областей это происходило редко. В то же время в некоторых сферах это часто имело место;
– модели становятся более способными по мере увеличения их размера. Это также может способствовать расширению их возможностей в биологии;
– в случае немитигирования рисков модели усилия злоумышленников по неправомерному использованию знаний из биологии может ускориться и позволит им решать задачи, которые они не могли бы решить иначе. Такой сценарий развития событий сегодня, вероятно, невелик, но быстро растет. Если эти риски не будут устранены, то есть опасения, что они могут быть реализованы в ближайшие два-три года, а не пять и более.
Эксперты предложили некоторые меры по снижению рисков. Например, простые изменения в процессе обучения существенно снижают вредные результаты, позволяя модели лучше различать вредное и безвредное использование знаний из биологии. Они также обнаружили, что фильтры, основанные на классификаторах, могут затруднить получение злоумышленниками многочисленных, объединенных в цепочку сведений экспертного уровня, необходимых для нанесения вреда. И, напоследок, учитывая реальность биоугроз со стороны моделей, в компании рекомендуют всем разработчикам моделей незамедлительно провести дополнительный анализ и создать надежные средства защиты, поделившись этой информацией с ответственными разработчиками и государственными органами.
В Массачусетском технологическом институте провели любопытный эксперимент. Перед студентами, не обладающим исследовательскими навыками в биологии, поставили задачу выяснить, можно ли при помощи чат-ботов, работающих на основе больших языковых моделей (модель), вызвать пандемию. За час работы чат-боты предложили четыре варианта болезнетворных микроорганизмов, которые потенциально могут привести к пандемии. Чат-боты объяснили, как их можно получить из синтетической ДНК, используя методы обратной генетики (манипуляции последовательностями генов). Кроме того, они назвали компании, занимающиеся синтезом ДНК, а также рекомендовали всем, кто не владеет методами обратной генетики, привлечь исследовательские центры. Этот эксперимент показывает, что модели могут помогать создавать биооружие даже людям, у которых низкий или вообще нулевой опыт исследовательской работы.
В этой связи хотим вам рассказать про опыт компании Anthropic, которая задумалась о способах минимизации рисков, связанных с потенциальной возможностью моделей помогать злоумышленникам в создании биологического оружия. Недавно компания выпустила материал, в котором поделилась своим опытом использования подхода Red Teaming (имитация реальных атак с целью оценки кибербезопасности систем – атака «красной команды») для выявления рисков, заложенных в их модель. Работая с экспертами-биологами, в компании пришли к выводу, что в скором времени модели могут представлять угрозу для национальной безопасности, если не заниматься их нивелированием (устранением).
Для этих целей в компании провели Red Teaming передовых угроз модели, что потребовало привлечения профильных экспертов с большим опытом. Сперва исследователи выявили: а) какая информация является опасной; б) как эта информация комбинируется для создания вреда и какая степень точности требуется для того, чтобы она была опасной. Например, чтобы нанести вред, часто необходимо объединить множество фрагментов точной и разной информации, а не просто сгенерировать один выходной вредный результат.
Последние шесть месяцев сотрудники Anthropic совместно работали с ведущими экспертами в области биобезопасности. Они проводили Red Teaming, оценивая возможности модели по выдаче вредоносной биологической информации. В частности, по разработке и приобретению биологического оружия. Эксперты учились общаться с моделью компании, взламывать ее и оценивать. Были разработаны количественные оценки возможностей модели. По результатам тестирования модели исследователи сделали следующие выводы:
– модели иногда могут выдавать сложные, точные, полезные и детальные знания на уровне экспертов. В большинстве изученных в рамках теста областей это происходило редко. В то же время в некоторых сферах это часто имело место;
– модели становятся более способными по мере увеличения их размера. Это также может способствовать расширению их возможностей в биологии;
– в случае немитигирования рисков модели усилия злоумышленников по неправомерному использованию знаний из биологии может ускориться и позволит им решать задачи, которые они не могли бы решить иначе. Такой сценарий развития событий сегодня, вероятно, невелик, но быстро растет. Если эти риски не будут устранены, то есть опасения, что они могут быть реализованы в ближайшие два-три года, а не пять и более.
Эксперты предложили некоторые меры по снижению рисков. Например, простые изменения в процессе обучения существенно снижают вредные результаты, позволяя модели лучше различать вредное и безвредное использование знаний из биологии. Они также обнаружили, что фильтры, основанные на классификаторах, могут затруднить получение злоумышленниками многочисленных, объединенных в цепочку сведений экспертного уровня, необходимых для нанесения вреда. И, напоследок, учитывая реальность биоугроз со стороны моделей, в компании рекомендуют всем разработчикам моделей незамедлительно провести дополнительный анализ и создать надежные средства защиты, поделившись этой информацией с ответственными разработчиками и государственными органами.
Anthropic
Frontier Threats Red Teaming for AI Safety
Anthropic is an AI safety and research company that's working to build reliable, interpretable, and steerable AI systems.
🔥2👍1
Соотношение AIA и GDPR в контексте базовых моделей
Сегодня обращаем ваше внимание на интересную статью «Уроки от GDPR для разработки нормативной политики в сфере ИИ» (Lessons from GDPR for AI Policymaking).
Авторы проводят сравнение положений Общего регламента по защите данных (GDPR) и проекта Регламента ЕС об ИИ (AIA) относительно требований, которые они налагают на поставщиков базовых моделей. Напоминаем, что проект Регламента ЕС об ИИ еще не принят. В статье проводится анализ положений актуального текста.
Во-первых, оба документа исходят из разных подходов к регулированию. В GDPR используется подход, основанный на правах человека, в котором главное внимание уделяется формулированию конкретных прав на защиту данных. В основе AIA лежит риск-ориентированный подход, который определяет требования поставщикам базовых моделей и систем ИИ в зависимости от уровня риска, который эти системы представляют для прав человека.
Во-вторых, GDPR потенциально создает трудности для развития базовых моделей в части сбора данных, необходимых для их обучения. Наборы данных, на которых тренировались наиболее популярные передовые базовые модели, компаниями не раскрывались. В частности, OpenAI в технической документации к модели GPT-4 дали лишь очень размытое описание: GPT-4 использует информацию из различных лицензированных, созданных и общедоступных источников данных, которые могут включать общедоступную персональную информацию. Соответственно, однозначный ответ о наличии/отсутствии в датасете персональных данных на сегодняшний день дать не представляется возможным.
Вместе с тем GDPR содержит ряд положений, которые в принципе не очень сочетаются с идеей массового сбора данных в интернете для обучения моделей. Один из ключевых принципов документа сформулирован именно в минимизации обработки персональных данных в рамках четко определенных оснований. При анализе последних (статья 6 GDPR) можно сделать вывод о том, что для целей сбора данных для тренировки базовых моделей могут быть применены лишь два из шести оснований: согласие лица (письменно и для конкретных целей) или наличие договорных отношений. Очевидно, что для массного сбора информации из интернета оба основания не особо подходят. Также компании не обеспечивают и другие права лицам, данные которых попали в датасеты (доступ к данным, отзыв согласия и т.п.).
Следует отметить и то, что технические возможности по изъятию данных из уже обученных моделей (не фильтры) без полного переобучения сейчас крайне ограничены и находятся на стадии научных исследований.
В-третьих, правоприменителям в обозримой перспективе будет проще работать с GDPR при возможных нарушениях в силу его большей конкретности. Органам нужно будет доказать факт использования персональных данных при обучении базовых моделей в отсутствии необходимых на то законных оснований. Вместе с тем AIA устанавливает более размытые требования к поставщикам базовых моделей, отдавая им возможность реализовывать собственные шаги по обеспечению прозрачности и снижению рисков. Однако правоприменителям сложнее будет оценить эффективность предпринятых компаниями мер.
Таким образом, формирование сбалансированного регуляторного пространства в ЕС займет еще достаточно длительное время даже после принятия и вступления в силу Регламента ЕС об ИИ.
Сегодня обращаем ваше внимание на интересную статью «Уроки от GDPR для разработки нормативной политики в сфере ИИ» (Lessons from GDPR for AI Policymaking).
Авторы проводят сравнение положений Общего регламента по защите данных (GDPR) и проекта Регламента ЕС об ИИ (AIA) относительно требований, которые они налагают на поставщиков базовых моделей. Напоминаем, что проект Регламента ЕС об ИИ еще не принят. В статье проводится анализ положений актуального текста.
Во-первых, оба документа исходят из разных подходов к регулированию. В GDPR используется подход, основанный на правах человека, в котором главное внимание уделяется формулированию конкретных прав на защиту данных. В основе AIA лежит риск-ориентированный подход, который определяет требования поставщикам базовых моделей и систем ИИ в зависимости от уровня риска, который эти системы представляют для прав человека.
Во-вторых, GDPR потенциально создает трудности для развития базовых моделей в части сбора данных, необходимых для их обучения. Наборы данных, на которых тренировались наиболее популярные передовые базовые модели, компаниями не раскрывались. В частности, OpenAI в технической документации к модели GPT-4 дали лишь очень размытое описание: GPT-4 использует информацию из различных лицензированных, созданных и общедоступных источников данных, которые могут включать общедоступную персональную информацию. Соответственно, однозначный ответ о наличии/отсутствии в датасете персональных данных на сегодняшний день дать не представляется возможным.
Вместе с тем GDPR содержит ряд положений, которые в принципе не очень сочетаются с идеей массового сбора данных в интернете для обучения моделей. Один из ключевых принципов документа сформулирован именно в минимизации обработки персональных данных в рамках четко определенных оснований. При анализе последних (статья 6 GDPR) можно сделать вывод о том, что для целей сбора данных для тренировки базовых моделей могут быть применены лишь два из шести оснований: согласие лица (письменно и для конкретных целей) или наличие договорных отношений. Очевидно, что для массного сбора информации из интернета оба основания не особо подходят. Также компании не обеспечивают и другие права лицам, данные которых попали в датасеты (доступ к данным, отзыв согласия и т.п.).
Следует отметить и то, что технические возможности по изъятию данных из уже обученных моделей (не фильтры) без полного переобучения сейчас крайне ограничены и находятся на стадии научных исследований.
В-третьих, правоприменителям в обозримой перспективе будет проще работать с GDPR при возможных нарушениях в силу его большей конкретности. Органам нужно будет доказать факт использования персональных данных при обучении базовых моделей в отсутствии необходимых на то законных оснований. Вместе с тем AIA устанавливает более размытые требования к поставщикам базовых моделей, отдавая им возможность реализовывать собственные шаги по обеспечению прозрачности и снижению рисков. Однако правоприменителям сложнее будет оценить эффективность предпринятых компаниями мер.
Таким образом, формирование сбалансированного регуляторного пространства в ЕС займет еще достаточно длительное время даже после принятия и вступления в силу Регламента ЕС об ИИ.
Ssrn
Lessons from GDPR for AI Policymaking
The ChatGPT chatbot has not just caught the public imagination; it is also amplifying concern across industry, academia, and government policymakers interested
👍4❤3
Что британцы думают об искусственном интеллекте
Институт Ады Лавлейс и Институт Алана Тьюринга опубликовали результаты опроса более 4 тыс. британцев (людей, а не котов) по поводу их мнений и ожиданий относительно регулирования и применения систем ИИ. Опрос проводился в конце 2022 года.
Рассмотрим некоторые интересные результаты, касающиеся нормативки и государственной политики.
Во-первых, результаты свидетельствуют о запросе со стороны людей на разработку нормативных актов, предусматривающих возмещение вреда, причиненного системами ИИ, а также установления механизмов по оспариванию принятых с их помощью решений. Например, за общую необходимость регулирования выступило 62% респондентов, за установление процедуры обжалования решений, принятых системами ИИ - 59%, за обеспечение безопасности и приватности - 56%, а за объяснимость принятых системами ИИ решений - 53%.
Во-вторых, наиболее популярным вариантом ответа на вопрос о субъекте, который должен нести ответственность за обеспечение безопасного применения систем ИИ, стал “независимый регулятор” (41%). Остальные варианты набрали существенно меньше: компании-разработчики ИИ - 26%, независимые комитеты с участием граждан - 24%. Также идея о необходимости создания отдельного органа, который бы занимался всеми вопросами, связанными с системами ИИ, была поддержана респондентами в рамках опроса PublicFirst (62%)
Интересно, что предпочтения людей несколько меняются в зависимости от возрастной группы. Например, более молодые респонденты (18–24 лет) считают, что компании-разработчики ИИ также должны нести ответственность за безопасность применения систем ИИ (43%) наряду с госорганами и иными регуляторами. Вместе с тем люди старше 55 лет в меньшей степени полагаются на бизнес (17%).
В опросе также анализировались несколько конкретных юзкейсов: социальное обеспечение и прогнозирование рисков развития онкологических заболеваний. Примечательно, что в обоих случаях люди более склонны доверять университетам и ученым, нежели чем бизнесу и государству.
Институт Ады Лавлейс и Институт Алана Тьюринга опубликовали результаты опроса более 4 тыс. британцев (людей, а не котов) по поводу их мнений и ожиданий относительно регулирования и применения систем ИИ. Опрос проводился в конце 2022 года.
Рассмотрим некоторые интересные результаты, касающиеся нормативки и государственной политики.
Во-первых, результаты свидетельствуют о запросе со стороны людей на разработку нормативных актов, предусматривающих возмещение вреда, причиненного системами ИИ, а также установления механизмов по оспариванию принятых с их помощью решений. Например, за общую необходимость регулирования выступило 62% респондентов, за установление процедуры обжалования решений, принятых системами ИИ - 59%, за обеспечение безопасности и приватности - 56%, а за объяснимость принятых системами ИИ решений - 53%.
Во-вторых, наиболее популярным вариантом ответа на вопрос о субъекте, который должен нести ответственность за обеспечение безопасного применения систем ИИ, стал “независимый регулятор” (41%). Остальные варианты набрали существенно меньше: компании-разработчики ИИ - 26%, независимые комитеты с участием граждан - 24%. Также идея о необходимости создания отдельного органа, который бы занимался всеми вопросами, связанными с системами ИИ, была поддержана респондентами в рамках опроса PublicFirst (62%)
Интересно, что предпочтения людей несколько меняются в зависимости от возрастной группы. Например, более молодые респонденты (18–24 лет) считают, что компании-разработчики ИИ также должны нести ответственность за безопасность применения систем ИИ (43%) наряду с госорганами и иными регуляторами. Вместе с тем люди старше 55 лет в меньшей степени полагаются на бизнес (17%).
В опросе также анализировались несколько конкретных юзкейсов: социальное обеспечение и прогнозирование рисков развития онкологических заболеваний. Примечательно, что в обоих случаях люди более склонны доверять университетам и ученым, нежели чем бизнесу и государству.
👍3