ИИ-ответственность внутри цепочки поставок систем ИИ: разбираем отчет Mozilla
Друзья, на прошлой неделе меня немного засосала работа, но вот я наконец-то выбрался к вам💻 . Да и повод выдался более чем достойный: в начале месяца вышел классный отчёт от компании Mozilla — AI Liability Along the Value Chain.
Разберем основные идеи:
Авторы предлагают свою концепцию сочетания виновной и строгой ответственности:
По общему правилу на всех субъектов, вовлечённых в цепочку поставок систем ИИ, предлагается распространять правила о виновной ответственности. При этом в ряде случаев, если в отношения вовлечены сразу несколько субъектов (разные поставщики, эксплуатанты и поставщики компонентов), могут применяться правила солидарной ответственности — хотя авторы подчёркивают, что это зависит от конкретных обстоятельств.
Однако из этого правила предлагается несколько исключений:
Продуктовая ответственность — для поставщиков потребительских ИИ-продуктов, ориентированных на широкое использование непрофессиональной аудиторией. По сути, то, что уже реализовано в обновлённой PLD (про то, что это такое, писал тут).
Квази-строгая ответственность — для крупных участников рынка, обладающих значительным контролем над технологическими цепочками и влиянием на экономику. Это позволяет им воздействовать на других коммерческих субъектов внутри цепочки поставок систем ИИ. Авторы фактически предлагают ввести для них продуктовую ответственность, распространяющуюся даже за пределы классического деликтного права.
Строгая ответственность — для поставщиков ИИ-систем в наиболее опасных сферах, таких как критическая инфраструктура, безопасность, оборона.
Также авторы затрагивают сферу договорных отношений, особенно актуальную, когда правовое регулирование ещё находится в стадии разработки. В частности, отмечается: в B2B-сфере компании менее склонны уходить от ответственности, чем в B2C. Содержание договоров и политик, с одной стороны, напрямую влияет на исход судебных споров, а с другой — может быть оспорено, если противоречит закону или публичному порядку.
Кто-то ещё пользуется браузером Mozilla? У меня, например, он был до перехода год назад на Arc.
Друзья, на прошлой неделе меня немного засосала работа, но вот я наконец-то выбрался к вам
Разберем основные идеи:
Авторы предлагают свою концепцию сочетания виновной и строгой ответственности:
По общему правилу на всех субъектов, вовлечённых в цепочку поставок систем ИИ, предлагается распространять правила о виновной ответственности. При этом в ряде случаев, если в отношения вовлечены сразу несколько субъектов (разные поставщики, эксплуатанты и поставщики компонентов), могут применяться правила солидарной ответственности — хотя авторы подчёркивают, что это зависит от конкретных обстоятельств.
Однако из этого правила предлагается несколько исключений:
Продуктовая ответственность — для поставщиков потребительских ИИ-продуктов, ориентированных на широкое использование непрофессиональной аудиторией. По сути, то, что уже реализовано в обновлённой PLD (про то, что это такое, писал тут).
Квази-строгая ответственность — для крупных участников рынка, обладающих значительным контролем над технологическими цепочками и влиянием на экономику. Это позволяет им воздействовать на других коммерческих субъектов внутри цепочки поставок систем ИИ. Авторы фактически предлагают ввести для них продуктовую ответственность, распространяющуюся даже за пределы классического деликтного права.
Строгая ответственность — для поставщиков ИИ-систем в наиболее опасных сферах, таких как критическая инфраструктура, безопасность, оборона.
Также авторы затрагивают сферу договорных отношений, особенно актуальную, когда правовое регулирование ещё находится в стадии разработки. В частности, отмечается: в B2B-сфере компании менее склонны уходить от ответственности, чем в B2C. Содержание договоров и политик, с одной стороны, напрямую влияет на исход судебных споров, а с другой — может быть оспорено, если противоречит закону или публичному порядку.
Кто-то ещё пользуется браузером Mozilla? У меня, например, он был до перехода год назад на Arc.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5❤3
Кто виноват, когда система ИИ ошибается, и что с этим делать?
В блоге Нетологии на Хабре вышла небольшая статья про ответственность за вред, причинённый системами ИИ, для которой я дал комментарий🤢 .
Внутри — о том, кто виноват, если при функционировании системы ИИ был причинён вред, каким образом ответственность распределяется внутри цепочки поставок, а также как можно снизить риски некачественной работы ИИ-систем с технической стороны.
Ознакомиться можно по ссылке.
В блоге Нетологии на Хабре вышла небольшая статья про ответственность за вред, причинённый системами ИИ, для которой я дал комментарий
Внутри — о том, кто виноват, если при функционировании системы ИИ был причинён вред, каким образом ответственность распределяется внутри цепочки поставок, а также как можно снизить риски некачественной работы ИИ-систем с технической стороны.
Ознакомиться можно по ссылке.
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Когда ИИ сбоит: кто виноват и как минимизировать риски
В 2018 году беспилотник Uber в Аризоне насмерть сбил женщину — система не распознала пешехода. В 2020-м алгоритм распознавания лиц в США стал причиной ареста невиновного — модель ошиблась с...
🔥6
Сегодня стартовала двухдневная конференция ВОИС про интеллектуальную собственность и передовые технологии
23–24 апреля 2025 года в Женеве проходит одиннадцатая сессия ВОИС — WIPO Conversation on Intellectual Property and Frontier Technologies.
Обсуждаются все наши с вами любимые вопросы: исключения TDM (text and data mining), машиночитаемые opt-out, лицензирование, маркировка, AI Act и многое другое.
Кстати, недавно профессор Цянь Ван из Восточно-Китайского университета политических наук и права представил в своем докладе обзор текущего ландшафта регулирования в сфере ИС и ИИ. Доклад завершился игрой слов, которая запала мне в душу (это не точная цитата, а скорее её агрегированный смысл):
Найти единственно верное решение по исключениям TDM, которое одновременно устроило бы и авторов, и разработчиков ИИ, практически невозможно. Вопрос упирается в выбор направления: copyright или copyleft (на слайде в этот момент была фотография дорожной развилки).
Трансляция мероприятия — по ссылке
Программа — здесь
23–24 апреля 2025 года в Женеве проходит одиннадцатая сессия ВОИС — WIPO Conversation on Intellectual Property and Frontier Technologies.
Обсуждаются все наши с вами любимые вопросы: исключения TDM (text and data mining), машиночитаемые opt-out, лицензирование, маркировка, AI Act и многое другое.
Кстати, недавно профессор Цянь Ван из Восточно-Китайского университета политических наук и права представил в своем докладе обзор текущего ландшафта регулирования в сфере ИС и ИИ. Доклад завершился игрой слов, которая запала мне в душу (это не точная цитата, а скорее её агрегированный смысл):
Найти единственно верное решение по исключениям TDM, которое одновременно устроило бы и авторов, и разработчиков ИИ, практически невозможно. Вопрос упирается в выбор направления: copyright или copyleft (на слайде в этот момент была фотография дорожной развилки).
Трансляция мероприятия — по ссылке
Программа — здесь
frontier-technologies
WIPO Conversation: AI & IP: Infrastructure for Rights Holders & Innovation
👍5
Друзья, в пятницу изучаем список Forbes самых молодых и самых богатых self-made женщин прямо сейчас. Внимания заслуживает тот факт, что из шести участниц списка сразу две — из сферы ИИ:
Люси Го — соосновательница Scale AI. Хотя она покинула операционную деятельность компании в 2018 году, сохранив около 6% акций, рост стоимости Scale AI позволил ей обойти Тейлор Свифт и стать самой молодой self-made женщиной в мире. В настоящее время Го развивает собственный стартап Passes.
Даниэла Амодей — соосновательница и президент Anthropic, а также сестра генерального директора компании Дарио Амодея. Недавняя оценка стоимости Anthropic в $60 миллиардов сделала всех семерых сооснователей компании миллиардерами, включая Даниэлу.
Технически сюда можно отнести и Мелани Перкинс — соосновательницу Canva: компания в последние годы активно внедряет ИИ-функции в продукт и разрабатывает собственные модели ИИ.
Это ещё одно подтверждение того, как быстро технологии меняют экономический ландшафт и создают новые точки роста. Уходим на выходные с мыслью: всё возможно — особенно в мире ИИ🤩
UPD: также Forbes опубликовал отдельный список новых миллиардеров, разбогатевших благодаря современному ИИ-буму. Среди них — основатели таких компаний, как CoreWeave, DeepSeek и Scale AI (второй кофаундер).
Люси Го — соосновательница Scale AI. Хотя она покинула операционную деятельность компании в 2018 году, сохранив около 6% акций, рост стоимости Scale AI позволил ей обойти Тейлор Свифт и стать самой молодой self-made женщиной в мире. В настоящее время Го развивает собственный стартап Passes.
Даниэла Амодей — соосновательница и президент Anthropic, а также сестра генерального директора компании Дарио Амодея. Недавняя оценка стоимости Anthropic в $60 миллиардов сделала всех семерых сооснователей компании миллиардерами, включая Даниэлу.
Технически сюда можно отнести и Мелани Перкинс — соосновательницу Canva: компания в последние годы активно внедряет ИИ-функции в продукт и разрабатывает собственные модели ИИ.
Это ещё одно подтверждение того, как быстро технологии меняют экономический ландшафт и создают новые точки роста. Уходим на выходные с мыслью: всё возможно — особенно в мире ИИ
UPD: также Forbes опубликовал отдельный список новых миллиардеров, разбогатевших благодаря современному ИИ-буму. Среди них — основатели таких компаний, как CoreWeave, DeepSeek и Scale AI (второй кофаундер).
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5🔥2
Атаки на системы ИИ: разбираем обновлённый отчёт NIST
Друзья, возвращаюсь к вам после победы над ветрянкой😐 . Если кто-то не болел в детстве, мой совет вам — сделайте прививку. Взрослые болеют тяжко, поверьте на слово.
В последнее время в работе и на лекциях я часто сталкиваюсь с вопросами об атаках на модели ИИ. В связи с этим разберём небезызвестный документ NIST 100-2e2025 Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations, который как раз недавно обновили.
Все системы ИИ в документе подразделяются на две группы: предиктивные и генеративные. Применительно к каждой из этих групп определяются свои векторы атак. Впрочем, есть масса схожестей, поэтому мы сразу остановимся на генеративных.
В зависимости от целей злоумышленника атаки подразделяются на несколько групп:
Атаки для нарушения доступности: злоумышленник пытается вмешаться в работу системы ИИ, чтобы помешать другим пользователям или процессам получать своевременный и постоянный доступ к её выходным результатам и другим функциональным возможностям.
Атаки для нарушения целостности: злоумышленник пытается вмешаться в работу системы ИИ, чтобы заставить её работать не по назначению и выдавать результаты, соответствующие его целям.
Атаки для нарушения приватности: злоумышленник стремится получить несанкционированный доступ к персональным данным или иной чувствительной информации — как через обучающие данные, веса, архитектуру модели, так и через иные базы знаний, например, если используется RAG.
Злоупотребления при работе с системой ИИ: злоумышленник старается обойти ограничения работы системы ИИ (например, системный промт, RLHF-подсказки).
Также атаки характерны для разных стадий жизненного цикла систем ИИ: разработки (причём могут различаться как для пре-, так и посттрейнинга) и эксплуатации.
В документе выделяются и основные векторы атак:
Отравление данных и моделей: злоумышленник может испортить данные или внедрить в них бэкдор (это может произойти на любом этапе жизненного цикла). Также в интернете могут распространяться заранее инфицированные модели ИИ (например, под видом известных брендов).
Прямые атаки через промт: злоумышленник напрямую взаимодействует с системой ИИ через запросы. Результатом этого может стать как обход ограничений модели, так и “вылавливание” фрагментов обучающих данных или получение информации об инфраструктуре системы.
Непрямые атаки через промт: в том случае, если система ИИ взаимодействует с интернетом или используется RAG, то злоумышленник может воздействовать на информацию, которая в дальнейшем поступает модели на вход.
Атаки внутри цепочки поставки: для систем ИИ характерны дополнительные риски относительно традиционного ПО. Например, для создания наборов данных используется массовый сбор информации из интернета, которая может быть заражена (причём может попадать и в сторонние наборы данных). Также дополнительные риски создаются на этапе посттрейнинга (помимо обучающих наборов данных могут быть инфицированы инструкции и наборы данных для дообучения).
Друзья, возвращаюсь к вам после победы над ветрянкой
В последнее время в работе и на лекциях я часто сталкиваюсь с вопросами об атаках на модели ИИ. В связи с этим разберём небезызвестный документ NIST 100-2e2025 Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations, который как раз недавно обновили.
Все системы ИИ в документе подразделяются на две группы: предиктивные и генеративные. Применительно к каждой из этих групп определяются свои векторы атак. Впрочем, есть масса схожестей, поэтому мы сразу остановимся на генеративных.
В зависимости от целей злоумышленника атаки подразделяются на несколько групп:
Атаки для нарушения доступности: злоумышленник пытается вмешаться в работу системы ИИ, чтобы помешать другим пользователям или процессам получать своевременный и постоянный доступ к её выходным результатам и другим функциональным возможностям.
Атаки для нарушения целостности: злоумышленник пытается вмешаться в работу системы ИИ, чтобы заставить её работать не по назначению и выдавать результаты, соответствующие его целям.
Атаки для нарушения приватности: злоумышленник стремится получить несанкционированный доступ к персональным данным или иной чувствительной информации — как через обучающие данные, веса, архитектуру модели, так и через иные базы знаний, например, если используется RAG.
Злоупотребления при работе с системой ИИ: злоумышленник старается обойти ограничения работы системы ИИ (например, системный промт, RLHF-подсказки).
Также атаки характерны для разных стадий жизненного цикла систем ИИ: разработки (причём могут различаться как для пре-, так и посттрейнинга) и эксплуатации.
В документе выделяются и основные векторы атак:
Отравление данных и моделей: злоумышленник может испортить данные или внедрить в них бэкдор (это может произойти на любом этапе жизненного цикла). Также в интернете могут распространяться заранее инфицированные модели ИИ (например, под видом известных брендов).
Прямые атаки через промт: злоумышленник напрямую взаимодействует с системой ИИ через запросы. Результатом этого может стать как обход ограничений модели, так и “вылавливание” фрагментов обучающих данных или получение информации об инфраструктуре системы.
Непрямые атаки через промт: в том случае, если система ИИ взаимодействует с интернетом или используется RAG, то злоумышленник может воздействовать на информацию, которая в дальнейшем поступает модели на вход.
Атаки внутри цепочки поставки: для систем ИИ характерны дополнительные риски относительно традиционного ПО. Например, для создания наборов данных используется массовый сбор информации из интернета, которая может быть заражена (причём может попадать и в сторонние наборы данных). Также дополнительные риски создаются на этапе посттрейнинга (помимо обучающих наборов данных могут быть инфицированы инструкции и наборы данных для дообучения).
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5❤3
Британский добровольный кодекс практик и техническая спецификация ETSI по кибербезопасности в сфере ИИ
Продолжаем тему информационной безопасности. В начале года Правительство Великобритании опубликовало добровольный Кодекс практик по кибербезопасности в сфере ИИ. Документ основывается на лучших международных практиках и состоит из 13 ключевых принципов. Также можно изучить его имплементационный гайд.
Далее на его основе Европейский институт телекоммуникационных стандартов (ETSI) разработал техническую спецификацию, которая определяет базовые требования для кибербезопасности систем и моделей ИИ. Документ также включает глоссарий терминов и 13 принципов, которые в целом совпадают с Кодексом, однако сформулированы как более конкретные предписания, привязанные к стадиям жизненного цикла систем ИИ.
Кратко пройдемся по основным принципам:
Безопасное проектирование (Secure Design)
- Осведомлённость о рисках: организация внедряет обучение по ИИ-безопасности, адаптированное под роли сотрудников (включая разработчиков), с регулярным обновлением материала при появлении новых угроз.
- Проектирование с учётом безопасности: системы ИИ проектируются так, чтобы быть устойчивыми к атакам, неожиданным вводам и сбоям; все компоненты (модели, данные, промпты) документируются и подлежат аудиту, а внешние — проходят проверку и оценку рисков.
- Управление угрозами и рисками: проводится моделирование угроз, включающее разнообразные типы атак (их мы разбирали в предыдущем посте). Пользователям сообщаются о рисках и возможных последствиях.
- Ответственность человека: в систему закладываются механизмы по человеческому контролю. Запрещённые сценарии использования доводятся до пользователей.
Безопасная разработка (Secure Development)
- Учёт и защита активов: создаётся полный реестр моделей, данных и интерфейсов, с учётом их взаимосвязей между собой. Применяются контроль версий, средства защиты, механизмы восстановления, а также очистка и валидация данных.
- Безопасность инфраструктуры: ограничивается доступ к API, внедряется разделение сред (разработка, обучение), реализуются планы реагирования на инциденты и политики раскрытия уязвимостей. Контракты с провайдерами облачных услуг должны учитывать эти требования.
- Безопасность цепочек поставок: все сторонние компоненты (например, модели) проходят повторную проверку и оценку рисков, а информация о происхождении и ограничениях раскрывается пользователям.
- Документирование моделей и данных: разработчики должны документировать источники данных (включая URL и дату для публичных), цели и ограничения моделей, настройки и промпты, фиксировать изменения и публиковать хеш-суммы компонентов, чтобы обеспечить проверяемость и передачу этой информации операторам и администраторам данных.
- Тестирование и оценка: все системы ИИ должны проходить обязательное тестирование на безопасность до и после внедрения, по возможности — с участием независимых экспертов, включая проверку на утечки данных и уязвимости в выводах модели.
Безопасное внедрение (Secure Deployment)
- Коммуникация с пользователями и третьими лицами: операторы обязаны информировать пользователей о целях, способах и месте использования их данных, ограничениях системы и возможных рисках. Обновления доводятся до пользователей в доступной форме.
Безопасное обслуживание (Secure Maintenance)
- Обновления и патчи: разработчики выпускают обновления и патчи, а операторы обеспечивают их доставку конечным пользователям. При невозможности обновления — реализуются меры по снижению рисков. Крупные изменения требуют повторного тестирования.
- Мониторинг поведения: собираются и анализируются логи действий пользователей и системы для выявления атак, дрейфа модели и аномалий. По возможности анализируются внутренние состояния модели и её производительность во времени.
Безопасный вывод из эксплуатации (Secure End-of-Life)
- Утилизация моделей и данных: при передаче или выводе модели из эксплуатации удаляются веса, конфигурации и данные.
Продолжаем тему информационной безопасности. В начале года Правительство Великобритании опубликовало добровольный Кодекс практик по кибербезопасности в сфере ИИ. Документ основывается на лучших международных практиках и состоит из 13 ключевых принципов. Также можно изучить его имплементационный гайд.
Далее на его основе Европейский институт телекоммуникационных стандартов (ETSI) разработал техническую спецификацию, которая определяет базовые требования для кибербезопасности систем и моделей ИИ. Документ также включает глоссарий терминов и 13 принципов, которые в целом совпадают с Кодексом, однако сформулированы как более конкретные предписания, привязанные к стадиям жизненного цикла систем ИИ.
Кратко пройдемся по основным принципам:
Безопасное проектирование (Secure Design)
- Осведомлённость о рисках: организация внедряет обучение по ИИ-безопасности, адаптированное под роли сотрудников (включая разработчиков), с регулярным обновлением материала при появлении новых угроз.
- Проектирование с учётом безопасности: системы ИИ проектируются так, чтобы быть устойчивыми к атакам, неожиданным вводам и сбоям; все компоненты (модели, данные, промпты) документируются и подлежат аудиту, а внешние — проходят проверку и оценку рисков.
- Управление угрозами и рисками: проводится моделирование угроз, включающее разнообразные типы атак (их мы разбирали в предыдущем посте). Пользователям сообщаются о рисках и возможных последствиях.
- Ответственность человека: в систему закладываются механизмы по человеческому контролю. Запрещённые сценарии использования доводятся до пользователей.
Безопасная разработка (Secure Development)
- Учёт и защита активов: создаётся полный реестр моделей, данных и интерфейсов, с учётом их взаимосвязей между собой. Применяются контроль версий, средства защиты, механизмы восстановления, а также очистка и валидация данных.
- Безопасность инфраструктуры: ограничивается доступ к API, внедряется разделение сред (разработка, обучение), реализуются планы реагирования на инциденты и политики раскрытия уязвимостей. Контракты с провайдерами облачных услуг должны учитывать эти требования.
- Безопасность цепочек поставок: все сторонние компоненты (например, модели) проходят повторную проверку и оценку рисков, а информация о происхождении и ограничениях раскрывается пользователям.
- Документирование моделей и данных: разработчики должны документировать источники данных (включая URL и дату для публичных), цели и ограничения моделей, настройки и промпты, фиксировать изменения и публиковать хеш-суммы компонентов, чтобы обеспечить проверяемость и передачу этой информации операторам и администраторам данных.
- Тестирование и оценка: все системы ИИ должны проходить обязательное тестирование на безопасность до и после внедрения, по возможности — с участием независимых экспертов, включая проверку на утечки данных и уязвимости в выводах модели.
Безопасное внедрение (Secure Deployment)
- Коммуникация с пользователями и третьими лицами: операторы обязаны информировать пользователей о целях, способах и месте использования их данных, ограничениях системы и возможных рисках. Обновления доводятся до пользователей в доступной форме.
Безопасное обслуживание (Secure Maintenance)
- Обновления и патчи: разработчики выпускают обновления и патчи, а операторы обеспечивают их доставку конечным пользователям. При невозможности обновления — реализуются меры по снижению рисков. Крупные изменения требуют повторного тестирования.
- Мониторинг поведения: собираются и анализируются логи действий пользователей и системы для выявления атак, дрейфа модели и аномалий. По возможности анализируются внутренние состояния модели и её производительность во времени.
Безопасный вывод из эксплуатации (Secure End-of-Life)
- Утилизация моделей и данных: при передаче или выводе модели из эксплуатации удаляются веса, конфигурации и данные.
👍3🔥3❤2
В мае прошла первая очная встреча сообщества по AI Governance
Друзья, мы начали серию очных встреч для всех, кто профессионально связан с AI Governance или просто интересуется этой темой. Первая встреча прошла в мае — лично я участвовал онлайн, но именно мне случайно довелось сделать самую первую фотографию встречи (её прикрепляю).
Сейчас уже планируем новое мероприятие в конце лета. Пока что встречи проходят в Москве, но надеемся постепенно расшириться на другие страны и регионы.
Подробнее о сообществе и о том, как к нему присоединиться, можно узнать по ссылке.
Кроме того, мои друзья из RPPA в июле запускают второй поток программы Cyber in Privacy (а также провели мастер-класс про моделирования угроз безопасности персональных данных). Это не совсем про ИИ, но темы сильно пересекаются — будет полезно.
И, конечно, продолжается запись на третий поток курса по AI Governance — будем рады видеть вас там😺 .
Друзья, мы начали серию очных встреч для всех, кто профессионально связан с AI Governance или просто интересуется этой темой. Первая встреча прошла в мае — лично я участвовал онлайн, но именно мне случайно довелось сделать самую первую фотографию встречи (её прикрепляю).
Сейчас уже планируем новое мероприятие в конце лета. Пока что встречи проходят в Москве, но надеемся постепенно расшириться на другие страны и регионы.
Подробнее о сообществе и о том, как к нему присоединиться, можно узнать по ссылке.
Кроме того, мои друзья из RPPA в июле запускают второй поток программы Cyber in Privacy (а также провели мастер-класс про моделирования угроз безопасности персональных данных). Это не совсем про ИИ, но темы сильно пересекаются — будет полезно.
И, конечно, продолжается запись на третий поток курса по AI Governance — будем рады видеть вас там
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9
Смотрим интервью Сундара Пичаи у Лекса Фридмана
Что посмотреть на выходных? Рекомендую интервью CEO Google и Alphabet Сундара Пичаи у Лекса Фридмана — всего 2 часа (а не 5, как у Лекса бывает🐱 ).
Google в последнее время делает многое, чтобы вернуть лидерство в сфере ИИ у стартапов, так что разговор получился насыщенным. Кстати, сам замечаю, что NotebookLM и Gemini всё чаще занимают место в моём рабочем пайплайне.
Что посмотреть на выходных? Рекомендую интервью CEO Google и Alphabet Сундара Пичаи у Лекса Фридмана — всего 2 часа (а не 5, как у Лекса бывает
Google в последнее время делает многое, чтобы вернуть лидерство в сфере ИИ у стартапов, так что разговор получился насыщенным. Кстати, сам замечаю, что NotebookLM и Gemini всё чаще занимают место в моём рабочем пайплайне.
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Sundar Pichai: CEO of Google and Alphabet | Lex Fridman Podcast #471
Sundar Pichai is CEO of Google and Alphabet.
Thank you for listening ❤ Check out our sponsors: https://lexfridman.com/sponsors/ep471-sb
See below for timestamps, transcript, and to give feedback, submit questions, contact Lex, etc.
*Transcript:*
https:/…
Thank you for listening ❤ Check out our sponsors: https://lexfridman.com/sponsors/ep471-sb
See below for timestamps, transcript, and to give feedback, submit questions, contact Lex, etc.
*Transcript:*
https:/…
🔥4❤3
Разбираем китайский стандарт с методиками маркировки синтетического контента
Сегодня наконец-то дошли руки разобрать важный документ, которому, на мой взгляд, уделено неоправданно мало внимания. Также советую изучить картинки к посту — их будет много. Важные моменты я для вас выделил красным.
Итак, в конце февраля этого года китайский орган по стандартизации опубликовал обязательный стандарт, определяющий методы маркировки синтетического контента. Напомню, что ранее в КНР были приняты нормативные правовые акты, устанавливающие требования по маркировке для различных систем ИИ (генеративных систем ИИ, систем глубокого синтеза, рекомендательных алгоритмов). В частности, в марте Cyberspace Administration of China (CAC) приняла финальную версию Мер по маркировке синтетического контента. Таким образом, данный стандарт направлен на разъяснение требований этих мер в практической плоскости.
В данном стандарте на конкретных примерах объясняется, каким образом должны размещаться метки о том, что контент сгенерирован системой ИИ, для разных видов контента.
Всего стандартом определяются два вида маркировки: явная (эксплицитная) и неявная (имплицитная).
Начнем с явной маркировки:
- текст — текстовая вставка "сгенерировано ИИ" или надстрочные буквы “ИИ”;
- изображения — текстовая вставка "сгенерировано или синтезировано ИИ”;
- аудио — голосовая метка или звуковой ритм, размещённые в начале, середине или конце записи. Голосовая метка должна содержать сообщение “сгенерировано или синтезировано ИИ”, а звуковой ритм — последовательность “короткий — длинный — короткий — короткий”, что соответствует "ИИ” в азбуке Морзе;
- видео — текстовая вставка "сгенерировано или синтезировано ИИ”, расположенная на превью видео, в середине или в конце;
- виртуальные сцены — текстовая вставка “сгенерировано или синтезировано ИИ”, размещённая на начальном экране виртуальной сцены, а также в отдельных местах в ходе её демонстрации;
- при взаимодействии с человеком — текстовая вставка “сгенерировано или синтезировано ИИ”, размещённая рядом с текстом, позади текста или постоянно присутствующая в части интерфейса.
Неявная маркировка:
- метаданные — метки должны содержать сведения о генерации и синтезе ИИ, поставщике этой услуги, уникальном номере контента при создании, а также о поставщике и идентификаторе при распространении;
- маркировка в контенте — вотермарки и иные цифровые идентификаторы.
Документ начнет действовать с 1 сентября 2025 года.
Оригинал документа можно найти по ссылке.
Также в одном из блогов опубликован неофициальный перевод на английский.
Сегодня наконец-то дошли руки разобрать важный документ, которому, на мой взгляд, уделено неоправданно мало внимания. Также советую изучить картинки к посту — их будет много. Важные моменты я для вас выделил красным.
Итак, в конце февраля этого года китайский орган по стандартизации опубликовал обязательный стандарт, определяющий методы маркировки синтетического контента. Напомню, что ранее в КНР были приняты нормативные правовые акты, устанавливающие требования по маркировке для различных систем ИИ (генеративных систем ИИ, систем глубокого синтеза, рекомендательных алгоритмов). В частности, в марте Cyberspace Administration of China (CAC) приняла финальную версию Мер по маркировке синтетического контента. Таким образом, данный стандарт направлен на разъяснение требований этих мер в практической плоскости.
В данном стандарте на конкретных примерах объясняется, каким образом должны размещаться метки о том, что контент сгенерирован системой ИИ, для разных видов контента.
Всего стандартом определяются два вида маркировки: явная (эксплицитная) и неявная (имплицитная).
Начнем с явной маркировки:
- текст — текстовая вставка "сгенерировано ИИ" или надстрочные буквы “ИИ”;
- изображения — текстовая вставка "сгенерировано или синтезировано ИИ”;
- аудио — голосовая метка или звуковой ритм, размещённые в начале, середине или конце записи. Голосовая метка должна содержать сообщение “сгенерировано или синтезировано ИИ”, а звуковой ритм — последовательность “короткий — длинный — короткий — короткий”, что соответствует "ИИ” в азбуке Морзе;
- видео — текстовая вставка "сгенерировано или синтезировано ИИ”, расположенная на превью видео, в середине или в конце;
- виртуальные сцены — текстовая вставка “сгенерировано или синтезировано ИИ”, размещённая на начальном экране виртуальной сцены, а также в отдельных местах в ходе её демонстрации;
- при взаимодействии с человеком — текстовая вставка “сгенерировано или синтезировано ИИ”, размещённая рядом с текстом, позади текста или постоянно присутствующая в части интерфейса.
Неявная маркировка:
- метаданные — метки должны содержать сведения о генерации и синтезе ИИ, поставщике этой услуги, уникальном номере контента при создании, а также о поставщике и идентификаторе при распространении;
- маркировка в контенте — вотермарки и иные цифровые идентификаторы.
Документ начнет действовать с 1 сентября 2025 года.
Оригинал документа можно найти по ссылке.
Также в одном из блогов опубликован неофициальный перевод на английский.
🔥7❤2👍1
Подпадают ли ИИ-агенты под Регламент ЕС по ИИ?
Именно таким вопросом задались исследователи из The Future Society в своей статье Ahead of the Curve: Governing AI Agents under the EU AI Act. Давайте разберемся в их основных выводах (будет много Регламента).
- Поставщики моделей ИИ, которые лежат в основе ИИ-агентов, будут подпадать под Регламент ЕС в части требований, предъявляемых к поставщикам моделей ИИ общего назначения (глава V Регламента).
Также авторы считают, что большинство таких моделей также будут относиться к моделям ИИ, представляющим системные риски, что налагает повышенные обязательства на их поставщиков. Также по большей части ИИ-агенты будут квалифицироваться как системы ИИ общего назначения.
Однако открытым вопросом является отнесение ИИ-агентов к системам ИИ повышенного риска. Так, авторы считают, что всё будет зависеть от конкретных юзкейсов, а также от того, ограничил ли поставщик такого ИИ-агента потенциальные сценарии его использования, которые можно было бы отнести к повышенному риску. Также авторы отмечают, что Регламент создавался, когда тренды создания ИИ-агентов не были очевидны, поэтому их распространение может потребовать донастройки регуляторных подходов (в том числе в плане классификации систем и моделей ИИ, а также круга запрещенных практик и систем ИИ повышенного риска).
Странно, что авторы никак не затронули требования по прозрачности (глава IV Регламента), хотя во многих местах отмечается, что способность взаимодействия с физической средой как раз отличает ИИ-агентов🐱 .
- ИИ-агенты также потенциально будут отличаться и по взаимоотношению между субъектами внутри цепочек поставок. Так, авторы отмечают, что по-прежнему сохранится дисбаланс между поставщиками моделей и поставщиками и эксплуатантами систем, так как первые по-прежнему будут обладать моделями и инфраструктурой, на которой они развернуты, включая лучшие кадры. Однако также очевидно, что цепочки поставок ИИ-агентов будут более многослойными и включать большее число последующих поставщиков. Усложнение отношений между ними должно повлечь и увеличение внимания со стороны законодателей.
- Также авторы проанализировали литературу и составили таблицу, в которой они попытались адаптировать требования Регламента к поставщикам моделей ИИ, представляющих системные риски, поставщикам и эксплуатантам систем ИИ повышенного риска применительно к специфике ИИ-агентов.
Саму таблицу вместе с другими полезными материалам я вам прикладываю в скриншотах.
Именно таким вопросом задались исследователи из The Future Society в своей статье Ahead of the Curve: Governing AI Agents under the EU AI Act. Давайте разберемся в их основных выводах (будет много Регламента).
- Поставщики моделей ИИ, которые лежат в основе ИИ-агентов, будут подпадать под Регламент ЕС в части требований, предъявляемых к поставщикам моделей ИИ общего назначения (глава V Регламента).
Также авторы считают, что большинство таких моделей также будут относиться к моделям ИИ, представляющим системные риски, что налагает повышенные обязательства на их поставщиков. Также по большей части ИИ-агенты будут квалифицироваться как системы ИИ общего назначения.
Однако открытым вопросом является отнесение ИИ-агентов к системам ИИ повышенного риска. Так, авторы считают, что всё будет зависеть от конкретных юзкейсов, а также от того, ограничил ли поставщик такого ИИ-агента потенциальные сценарии его использования, которые можно было бы отнести к повышенному риску. Также авторы отмечают, что Регламент создавался, когда тренды создания ИИ-агентов не были очевидны, поэтому их распространение может потребовать донастройки регуляторных подходов (в том числе в плане классификации систем и моделей ИИ, а также круга запрещенных практик и систем ИИ повышенного риска).
Странно, что авторы никак не затронули требования по прозрачности (глава IV Регламента), хотя во многих местах отмечается, что способность взаимодействия с физической средой как раз отличает ИИ-агентов
- ИИ-агенты также потенциально будут отличаться и по взаимоотношению между субъектами внутри цепочек поставок. Так, авторы отмечают, что по-прежнему сохранится дисбаланс между поставщиками моделей и поставщиками и эксплуатантами систем, так как первые по-прежнему будут обладать моделями и инфраструктурой, на которой они развернуты, включая лучшие кадры. Однако также очевидно, что цепочки поставок ИИ-агентов будут более многослойными и включать большее число последующих поставщиков. Усложнение отношений между ними должно повлечь и увеличение внимания со стороны законодателей.
- Также авторы проанализировали литературу и составили таблицу, в которой они попытались адаптировать требования Регламента к поставщикам моделей ИИ, представляющих системные риски, поставщикам и эксплуатантам систем ИИ повышенного риска применительно к специфике ИИ-агентов.
Саму таблицу вместе с другими полезными материалам я вам прикладываю в скриншотах.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6👍3