Маркировка ИИ
Дал комментарий Коммерсант-ФМ по новому законопроекту о маркировке ИИ-контента (с 2:40)
🔥6❤2
This media is not supported in your browser
VIEW IN TELEGRAM
AI Governance 2025: посиделки под конец года
Поговорили с Патриком Салливаном (A-Lign) и Даницей Враньянин (JAGGAER), поделились впечатлениями о произошедшем за год в нашей сфере.
Поговорили с Патриком Салливаном (A-Lign) и Даницей Враньянин (JAGGAER), поделились впечатлениями о произошедшем за год в нашей сфере.
❤4🔥2
Stein Order.pdf
305.6 KB
Суд обязал Оупен-Эй-Ай раскрыть содержание 20 млн. пользовательских чатов
Судья Южного округа Нью-Йорка Стайн оставил в силе решение магистрата-судьи Ван: Оупен-Эй-Ай как ответчик по иску Нью-Йорк Таймс и других соистцов должен будет раскрыть 20 млн. протоколов чатов пользователей ЧатГПТ.
Цель раскрытия: дать истцам проверить, не воспроизвёл ли ЧатГПТ контент, исключительное право на который принадлежит истцам.
Первоначально истцы требовали раскрытия выборки из 120 млн. таких записей, а Оупен-Эй-Ай просил ограничиться лишь поиском по ключевым словам по 20 млн. записей.
В итоге истцы получат полный доступ к 20 млн. записей после удаления из них персональных данных и другой конфиденциальной информации с использованием специально разработанного Оупен-Эй-Ай средства по деидентификации.
На возражения компании о нарушении интересов пользователей судья-магистрат отметила, что уменьшение выборки со 120 до 20 млн. записей, их деидентификация и ранее принятые обеспечительные меры уже являются достаточным средством защиты этих интересов.
Судья округа с мотивировкой судьи-магистрата согласился.
В выборку попадут чаты, как содержащие фрагменты спорных произведений, так и вовсе не связанные с ними, так как они "могут всё ещё быть релевантными для оценки аргументов Оупен-Эй-Ай о добросовестном использовании (fair use)".
Судья Южного округа Нью-Йорка Стайн оставил в силе решение магистрата-судьи Ван: Оупен-Эй-Ай как ответчик по иску Нью-Йорк Таймс и других соистцов должен будет раскрыть 20 млн. протоколов чатов пользователей ЧатГПТ.
Цель раскрытия: дать истцам проверить, не воспроизвёл ли ЧатГПТ контент, исключительное право на который принадлежит истцам.
Первоначально истцы требовали раскрытия выборки из 120 млн. таких записей, а Оупен-Эй-Ай просил ограничиться лишь поиском по ключевым словам по 20 млн. записей.
В итоге истцы получат полный доступ к 20 млн. записей после удаления из них персональных данных и другой конфиденциальной информации с использованием специально разработанного Оупен-Эй-Ай средства по деидентификации.
На возражения компании о нарушении интересов пользователей судья-магистрат отметила, что уменьшение выборки со 120 до 20 млн. записей, их деидентификация и ранее принятые обеспечительные меры уже являются достаточным средством защиты этих интересов.
Судья округа с мотивировкой судьи-магистрата согласился.
В выборку попадут чаты, как содержащие фрагменты спорных произведений, так и вовсе не связанные с ними, так как они "могут всё ещё быть релевантными для оценки аргументов Оупен-Эй-Ай о добросовестном использовании (fair use)".
🤯8👍4
Курс по Регламенту ЕС по ИИ (и не только): седьмой поток
Начинаем в феврале. Будет много новых инсайтов из моей работы в CEN/CENELEC по проектам технических стандартов, разрабатываемых по заданию Еврокомиссии для того, чтобы помочь рынку выполнить нормативные требования.
И очень крутые слушатели курса: к примеру, у меня уже отучились коллеги из Правительства Нидерландов, а на этом потоке будет учиться инсайдер из Европарламента, участвовавший в разработке этого Регламента.
Также разбираем смежные вопросы и получаем знания по NLF, GPSR, регулированию аккредитации и CE маркировки, рыночного надзора, PLD2, Digital Services Act, пересечению с GDPR, ИСО/МЭК 42001:2023...
Бонусом постатейный комментарий к Регламенту и участие в ролевой игре по Регламенту (вы в совете директоров компании — приведут ли ваши решения к успеху или к трагическому финалу с штрафами, уходом клиентов и разорением компании).
О целевой аудитории и содержании см. мой пост ранее.
Отзывы — на странице курса. Там же можно записаться, если оплачиваете в евро.
Если вы хотите оплатить в рублях — пишите через бот.
Начинаем в феврале. Будет много новых инсайтов из моей работы в CEN/CENELEC по проектам технических стандартов, разрабатываемых по заданию Еврокомиссии для того, чтобы помочь рынку выполнить нормативные требования.
И очень крутые слушатели курса: к примеру, у меня уже отучились коллеги из Правительства Нидерландов, а на этом потоке будет учиться инсайдер из Европарламента, участвовавший в разработке этого Регламента.
Также разбираем смежные вопросы и получаем знания по NLF, GPSR, регулированию аккредитации и CE маркировки, рыночного надзора, PLD2, Digital Services Act, пересечению с GDPR, ИСО/МЭК 42001:2023...
Бонусом постатейный комментарий к Регламенту и участие в ролевой игре по Регламенту (вы в совете директоров компании — приведут ли ваши решения к успеху или к трагическому финалу с штрафами, уходом клиентов и разорением компании).
О целевой аудитории и содержании см. мой пост ранее.
Отзывы — на странице курса. Там же можно записаться, если оплачиваете в евро.
Если вы хотите оплатить в рублях — пишите через бот.
Telegram
Robocounsel
Кому полезен мой курс по Регламенту ЕС по ИИ?
Наиболее очевидные кейсы:
1) Ваша компания или ваши клиенты планируют поставлять решение или продукт с ИИ на рынок ЕС и вам необходимо понять, как подготовиться к этому с наименьшей потерей денег и нервов;
…
Наиболее очевидные кейсы:
1) Ваша компания или ваши клиенты планируют поставлять решение или продукт с ИИ на рынок ЕС и вам необходимо понять, как подготовиться к этому с наименьшей потерей денег и нервов;
…
🔥10❤4👏3😍2
Защищаются ли промты авторским правом?
Коллега приводит в пример свежее решение из КНР. Если кратко: скорее нет.
Что могу добавить, кроме того, что полностью согласен с решением?
Промты для генеративного ИИ обычно сугубо функциональны. Их содержание определяется задачей, которую они выполняют — когда вы пишете промт, вы не стремитесь превзойти Достоевского в том, как этот промт будет выглядеть. Вы хотите, чтобы компьютер выполнил задачу, поставленную в виде промта.
Чисто теоретически, конечно, можно представить себе и промт настолько изысканно составленный, что он получит самостоятельную защиту как литературное произведение. И суд оставил эту дверь формально открытой.
Но на практике, как понимаете, этого происходить не будет. Никто промты так не составляет, потому что это будет мешать (или как минимум не будет способствовать) решению задачи, для которой промт предназначен.
Тогда некоторые из вас спросят: так в чём разница с классическим кодом? И им, и промтами, вы программируете компьютер, и интересует вас конечный результат, создаваемый компьютером.
Как минимум, разницу я вижу в том, что классический код — это точная спецификация ожидаемого результата. Иными словами, классический код строго детерминистичен: результат, выдаваемый компьютером, на 100% определяется синтаксисом и семантикой кода. Тут нет места случайности и вариативности. Одна и та же команда всегда ведёт к одному и тому же, на 100% воспроизводимому, результату.
С промтами не так. Они представляют собой более абстрактную спецификацию "чего-нибудь в таком-то духе" и оставляют довольно много вариативности "на усмотрение" ИИ-модели, которая эту спецификацию получает. Иными словами, строгой детерминистичности тут уже нет, и промт гораздо ближе к более абстрактной идее, нежели к какому-то строгому её выражению. А идеи, как известно, не охраняются.
Интересно, что думают коллеги, специализирующиеся на ИС?
Коллега приводит в пример свежее решение из КНР. Если кратко: скорее нет.
Что могу добавить, кроме того, что полностью согласен с решением?
Промты для генеративного ИИ обычно сугубо функциональны. Их содержание определяется задачей, которую они выполняют — когда вы пишете промт, вы не стремитесь превзойти Достоевского в том, как этот промт будет выглядеть. Вы хотите, чтобы компьютер выполнил задачу, поставленную в виде промта.
Чисто теоретически, конечно, можно представить себе и промт настолько изысканно составленный, что он получит самостоятельную защиту как литературное произведение. И суд оставил эту дверь формально открытой.
Но на практике, как понимаете, этого происходить не будет. Никто промты так не составляет, потому что это будет мешать (или как минимум не будет способствовать) решению задачи, для которой промт предназначен.
Тогда некоторые из вас спросят: так в чём разница с классическим кодом? И им, и промтами, вы программируете компьютер, и интересует вас конечный результат, создаваемый компьютером.
Как минимум, разницу я вижу в том, что классический код — это точная спецификация ожидаемого результата. Иными словами, классический код строго детерминистичен: результат, выдаваемый компьютером, на 100% определяется синтаксисом и семантикой кода. Тут нет места случайности и вариативности. Одна и та же команда всегда ведёт к одному и тому же, на 100% воспроизводимому, результату.
С промтами не так. Они представляют собой более абстрактную спецификацию "чего-нибудь в таком-то духе" и оставляют довольно много вариативности "на усмотрение" ИИ-модели, которая эту спецификацию получает. Иными словами, строгой детерминистичности тут уже нет, и промт гораздо ближе к более абстрактной идее, нежели к какому-то строгому её выражению. А идеи, как известно, не охраняются.
Интересно, что думают коллеги, специализирующиеся на ИС?
LinkedIn
Shanghai Court Rules on AI Prompt Copyright in Chengdu v Defendants | Alvin Antony posted on the topic | LinkedIn
There is a growing and often polarized debate around whether prompts given to AI systems can attract proprietary rights. In that context, late 2025 judgment of the Shanghai Huangpu District People’s Court offers a detailed judicial engagement with this question.…
🔥7👍5
28 января буду на Privacy Forum
По любезному приглашению Дениса Лукаша (Lukash & Partners), в секции — конечно же — "Искусственный интеллект и персональные данные".
8:00 Нью-Йорк / 14:00 Париж / 16:00 Москва
Поговорим о сугубо практических аспектах, актуальных в любой компании и на любом рынке:
1) Как персональные данные становятся основой для ИИ-моделей и как они затем могут обрабатываться, когда эта модель интегрируется в готовую систему и поступает на рынок;
2) В каких случаях и на каких условиях обработка персональных данных допустима или даже желаема, а также как всё может пойти не по плану и привести к правонарушениям;
3) Кто отвечает за обработку персональных данных на разных стадиях жизненного цикла ИИ-систем и в чём нюансы для разработчиков и для эксплуатантов этих систем.
Кроме меня участвуют:
- Шермет Курбанов, старший юрист, соруководитель практики интеллектуальной собственности и цифрового права SL LEGAL
- Алена Геращенко, комплаенс-менеджер ДИБ АО «ТБанк»
- Михаил Кравцов, руководитель группы по персональным данным, ООО "ГК "Иннотех"
Модерирует Денис Садовников, Head of Privacy and Chief Counsel, Yango
Регистрируйтесь здесь!
По любезному приглашению Дениса Лукаша (Lukash & Partners), в секции — конечно же — "Искусственный интеллект и персональные данные".
8:00 Нью-Йорк / 14:00 Париж / 16:00 Москва
Поговорим о сугубо практических аспектах, актуальных в любой компании и на любом рынке:
1) Как персональные данные становятся основой для ИИ-моделей и как они затем могут обрабатываться, когда эта модель интегрируется в готовую систему и поступает на рынок;
2) В каких случаях и на каких условиях обработка персональных данных допустима или даже желаема, а также как всё может пойти не по плану и привести к правонарушениям;
3) Кто отвечает за обработку персональных данных на разных стадиях жизненного цикла ИИ-систем и в чём нюансы для разработчиков и для эксплуатантов этих систем.
Кроме меня участвуют:
- Шермет Курбанов, старший юрист, соруководитель практики интеллектуальной собственности и цифрового права SL LEGAL
- Алена Геращенко, комплаенс-менеджер ДИБ АО «ТБанк»
- Михаил Кравцов, руководитель группы по персональным данным, ООО "ГК "Иннотех"
Модерирует Денис Садовников, Head of Privacy and Chief Counsel, Yango
Регистрируйтесь здесь!
privacyforum.ru
Конференция "20 лет закону о персональных данных"
2 июля 2026 года. Москва, Новотель, ул. Киевская, 2
1❤13👏1
Robocounsel
28 января буду на Privacy Forum По любезному приглашению Дениса Лукаша (Lukash & Partners), в секции — конечно же — "Искусственный интеллект и персональные данные". 8:00 Нью-Йорк / 14:00 Париж / 16:00 Москва Поговорим о сугубо практических аспектах, актуальных…
Персональные данные в жизненном цикле ИИ-системы
Только что закончилась наша сессия — публикую схему, которую мы использовали как иллюстрацию.
А если вам так же, как одной из слушательниц, интересно, какие меры помогут предотвратить или снизить вероятность нежелательного раскрытия информации в ходе этого жизненного цикла...
применительно к большим языковым моделям (LLM) — смотрите рекомендацию LLM02:2025 из OWASP LLM Top 10.
Наиболее эффективные меры, как обсудили на мероприятии — в самом начале жизненного цикла. Если вы разработчик, вам нужно координировать ваши действия с вашими юристами, DPO и вашими специалистами по информационной безопасности начиная с самого первого этапа — концептуализации продукта.
Чем позднее по жизненному циклу вы откладываете такую координацию — тем меньше в вашем распоряжении остаётся эффективных мер и тем дороже обойдётся вам ваша неосмотрительность.
P.S. Чуть позже, как появится, дам ссылку на запись мероприятия.
Только что закончилась наша сессия — публикую схему, которую мы использовали как иллюстрацию.
А если вам так же, как одной из слушательниц, интересно, какие меры помогут предотвратить или снизить вероятность нежелательного раскрытия информации в ходе этого жизненного цикла...
применительно к большим языковым моделям (LLM) — смотрите рекомендацию LLM02:2025 из OWASP LLM Top 10.
Наиболее эффективные меры, как обсудили на мероприятии — в самом начале жизненного цикла. Если вы разработчик, вам нужно координировать ваши действия с вашими юристами, DPO и вашими специалистами по информационной безопасности начиная с самого первого этапа — концептуализации продукта.
Чем позднее по жизненному циклу вы откладываете такую координацию — тем меньше в вашем распоряжении остаётся эффективных мер и тем дороже обойдётся вам ваша неосмотрительность.
P.S. Чуть позже, как появится, дам ссылку на запись мероприятия.
🔥9👍5
Бразилия и ЕС обменялись признаниями во взаимной адекватности
Для целей трансграничной передачи персональных данных.
Документ ЕК
Для целей трансграничной передачи персональных данных.
Документ ЕК
😁3👍2
Robocounsel
Персональные данные в жизненном цикле ИИ-системы Только что закончилась наша сессия — публикую схему, которую мы использовали как иллюстрацию. А если вам так же, как одной из слушательниц, интересно, какие меры помогут предотвратить или снизить вероятность…
Пропустили нашу сессию на Privacy Forum 2026? Смотрите в записи
Видео: Искусственный интеллект и персональные данные
Мои комментарии после сессии: см. пост ранее
Видео: Искусственный интеллект и персональные данные
Мои комментарии после сессии: см. пост ранее
VK Видео
ИИ и персональные данные | Yango, ТБанк, Иннотех, Responsible Innovations и SL LEGAL на Privacy Forum 2026
В данной секции конференции Privacy Forum эксперты обсудили вопросы ответственности за защиту персональных данных в жизненном цикле ИИ, регулирование технологий искусственного интеллекта, баланс между сокращением данных и их репрезентативностью и другое.…
❤3
Taiwan AI Basic Law Translation.docx
34.6 KB
А что там с регулированием ИИ на Тайване?
Коллеги шумят по поводу их нового "Основного закона об искусственном интеллекте".
На самом деле закон рамочный и возлагает обязанности не на частный сектор, а только на само правительство — в течение 24 месяцев пересмотреть и, где нужно, принять новые нормативные акты в соответствии с заданной рамкой.
С другой стороны, это не просто набор абстрактных принципов: статья 18 говорит о том, что если в прежнем законодательстве что-то противоречит новому закону — само правительство обязано отдавать приоритет при толковании этому новому закону.
В какой степени частный сектор и физические лица могут опираться на его положения до принятия и вступления в силу подзаконных актов, мне сказать сложно, я не эксперт в праве Тайваня.
Чисто по тексту это выглядит возможным, как минимум, когда заявитель будет ссылаться на этот закон в рамках административной процедуры, благодаря как раз статье 18.
Машинный перевод во вложении, первоисточник здесь.
P.S. Если вам лень читать сам закон, Бейкера дали обзор по основным пунктам. Точность не проверял.
Коллеги шумят по поводу их нового "Основного закона об искусственном интеллекте".
На самом деле закон рамочный и возлагает обязанности не на частный сектор, а только на само правительство — в течение 24 месяцев пересмотреть и, где нужно, принять новые нормативные акты в соответствии с заданной рамкой.
С другой стороны, это не просто набор абстрактных принципов: статья 18 говорит о том, что если в прежнем законодательстве что-то противоречит новому закону — само правительство обязано отдавать приоритет при толковании этому новому закону.
В какой степени частный сектор и физические лица могут опираться на его положения до принятия и вступления в силу подзаконных актов, мне сказать сложно, я не эксперт в праве Тайваня.
Чисто по тексту это выглядит возможным, как минимум, когда заявитель будет ссылаться на этот закон в рамках административной процедуры, благодаря как раз статье 18.
Машинный перевод во вложении, первоисточник здесь.
P.S. Если вам лень читать сам закон, Бейкера дали обзор по основным пунктам. Точность не проверял.
👍3
Свежий мэппинг между статьями Регламента ЕС по ИИ и техническими стандартами
Более удобная PDF-версия доступна на канале Robocounsel Plus.
Более удобная PDF-версия доступна на канале Robocounsel Plus.
🔥4👍3
Может ли Еврокомиссия самостоятельно поменять положения Регламента ЕС по ИИ?
В некоторых пределах может. Когда и как именно — смотрите во вложении. Механизм универсальный, не специфичный для этого Регламента.
PDF-версия с гиперссылками, как и ранее, здесь.
В некоторых пределах может. Когда и как именно — смотрите во вложении. Механизм универсальный, не специфичный для этого Регламента.
PDF-версия с гиперссылками, как и ранее, здесь.
❤6
Бесплатные вебинары от TU Berlin: технические стандарты и R&D
Мне как члену АФНОР пришло приглашение с просьбой поделиться — делюсь!
Целевая аудитория — исследователи и иные интересующиеся пересечением этих двух тем.
Время: с 9 до 10 CET, с 19 по 26 марта, язык — английский.
Программа и ссылки на регистрацию:
Module 1: The Standardisation Landscape – 19 February 2026
Module 2: Types and Impacts of Standards – 26 February 2026
Module 3: Research and Standardisation – 5 March 2026
Module 4: Intellectual Property Rights (IPRs) and Standardisation – 12 March 2026
Module 5: Open Source and Standardisation – 19 March 2026
Module 6: Geopolitics, Values, and Standardisation – 26 March 2026
Мне как члену АФНОР пришло приглашение с просьбой поделиться — делюсь!
Целевая аудитория — исследователи и иные интересующиеся пересечением этих двух тем.
Время: с 9 до 10 CET, с 19 по 26 марта, язык — английский.
Программа и ссылки на регистрацию:
Module 1: The Standardisation Landscape – 19 February 2026
Module 2: Types and Impacts of Standards – 26 February 2026
Module 3: Research and Standardisation – 5 March 2026
Module 4: Intellectual Property Rights (IPRs) and Standardisation – 12 March 2026
Module 5: Open Source and Standardisation – 19 March 2026
Module 6: Geopolitics, Values, and Standardisation – 26 March 2026
Microsoft
Microsoft Virtual Events Powered by Teams
❤7
Регламент ЕС по ИИ — это вам не второй GDPR
Очень важное различие между Регламентом ЕС по ИИ (AIA) и GDPR, на которое указал мой коллега по CEN/CENELEC JTC21 Адам Смит в Линкдине: Blue Guide как основа для толкования требований и имплементации AIA.
Только одно уточнение: соответствие GDPR (как и любому иному регулированию), если оно не носит показной характер, а является содержательным, — это что угодно, но не просто написание политик и проставление «галочек». То, чем некоторые считают комплаенс, и то, чем он является на самом деле, — разные вещи :)
При этом AIA действительно очень далёк от «GDPR под другим названием», и набор компетенций для внедрения этих актов различается. Да, в конкретных людях или командах это может пересекаться, но по существу — отличается.
Как именно отличается — рассказываю на курсе, следующий поток в апреле. Если вы хотите присоединиться с оплатой в рублях — пишите через бот, также туда принимаются заявки на индивидуальные советы по построению карьеры в AI Governance и на менторство.
Ну и, разумеется, «продуктовый» угол действительно уникален для AIA и прочих актов о безопасности продукции, в отличие от GDPR. Здесь я с Адамом согласен на все 100%.
Очень важное различие между Регламентом ЕС по ИИ (AIA) и GDPR, на которое указал мой коллега по CEN/CENELEC JTC21 Адам Смит в Линкдине: Blue Guide как основа для толкования требований и имплементации AIA.
Только одно уточнение: соответствие GDPR (как и любому иному регулированию), если оно не носит показной характер, а является содержательным, — это что угодно, но не просто написание политик и проставление «галочек». То, чем некоторые считают комплаенс, и то, чем он является на самом деле, — разные вещи :)
При этом AIA действительно очень далёк от «GDPR под другим названием», и набор компетенций для внедрения этих актов различается. Да, в конкретных людях или командах это может пересекаться, но по существу — отличается.
Как именно отличается — рассказываю на курсе, следующий поток в апреле. Если вы хотите присоединиться с оплатой в рублях — пишите через бот, также туда принимаются заявки на индивидуальные советы по построению карьеры в AI Governance и на менторство.
Ну и, разумеется, «продуктовый» угол действительно уникален для AIA и прочих актов о безопасности продукции, в отличие от GDPR. Здесь я с Адамом согласен на все 100%.
LinkedIn
Last month, a founder told me they'd deal with EU AI Act compliance when the obligations kick in. I told him he's dangerously wrong.…
Last month, a founder told me they'd deal with EU AI Act compliance when the obligations kick in. I told him he's dangerously wrong. Here's why:
He thought it was like GDPR. Write a policy → tick a box → move on.
Reasonable assumption. Wrong regulation.…
He thought it was like GDPR. Write a policy → tick a box → move on.
Reasonable assumption. Wrong regulation.…
1👍4❤1
Испанская регуляторная песочница: рекомендации по имплементации Регламента по ИИ
Что хорошего: они существуют. 800+ страниц. Не поверхностные, детальность — на уровне, достаточном для поддержки операционной деятельности. Это здорово.
Что плохого: я для примера изучил их руководство по имплементации статьи 9 (риск-менеджмент). Видно, что вложено много усилий, но концептуально в неправильном направлении. Игнорируется, что риск-менеджмент в этой статье основан на требованиях о безопасности продукции. За основу рекомендаций взяты подход и примеры из кибербезопасности.
Что радикально неправильно: для последнего есть статья 15. Там место threats, vulnerabilities, adversarial risk sources. Там про кибербезопасность самих систем. Как системы защищены от несанкционированного воздействия из внешней среды.
Статья 9 — про другое. Там про безопасность систем как вида продукции — для потребителей и населения. Про то, как избежать нежелательного воздействия системы на внешнюю среду. Соответственно набор концептов иной: hazards, hazardous situations, harm.
Детали — в моей новой статье на Линкдин. Там же ссылка на сами испанские рекомендации.
Что хорошего: они существуют. 800+ страниц. Не поверхностные, детальность — на уровне, достаточном для поддержки операционной деятельности. Это здорово.
Что плохого: я для примера изучил их руководство по имплементации статьи 9 (риск-менеджмент). Видно, что вложено много усилий, но концептуально в неправильном направлении. Игнорируется, что риск-менеджмент в этой статье основан на требованиях о безопасности продукции. За основу рекомендаций взяты подход и примеры из кибербезопасности.
Что радикально неправильно: для последнего есть статья 15. Там место threats, vulnerabilities, adversarial risk sources. Там про кибербезопасность самих систем. Как системы защищены от несанкционированного воздействия из внешней среды.
Статья 9 — про другое. Там про безопасность систем как вида продукции — для потребителей и населения. Про то, как избежать нежелательного воздействия системы на внешнюю среду. Соответственно набор концептов иной: hazards, hazardous situations, harm.
Детали — в моей новой статье на Линкдин. Там же ссылка на сами испанские рекомендации.
Linkedin
Spanish sandbox AI Act guidance: handle with care
Alvin Anthony has a scoop: the Spanish regulatory AI sandbox operator has developed a very comprehensive set of guides that aims to operationalise the EU AI Act requirements. If you are trying to build your regulatory compliance strategy for Europe - it can…
👍2🔥1
Как оценивать, выбирать и закупать юртех-продукты на базе генеративного ИИ
В юртехе (применение технологий в праве) полезно не застревать на слове «галлюцинации». Если вы видите дискурс, ограниченный этим уровнем, вы застряли в 2022 году. А мы уже в 2026, неожиданно.
Проблематика сейчас гораздо шире, в частности проблема с генеративным ИИ в его надёжности (reliability), а не только в «средней точности по бенчмарку Х».
В этом смысле очень вовремя вышла новая работа про 4 измерения надёжности ИИ-агентов. Её главный тезис мне кажется особенно полезным для пользователей и разработчиков юртех-продуктов: высокий балл точности (accuracy) ИИ-системы ещё не означает, что её можно безопасно и предсказуемо встраивать в юридический процесс.
Что это за 4 измерения (в сильно упрощённом виде):
Consistency (согласованность / повторяемость)
Одна и та же задача при одинаковых условиях должна давать сопоставимый результат.
Для ГенИИ это больное место: ответ «примерно в ту же сторону» — часто да, дословно и стабильно — далеко не всегда.
Robustness (робастность / устойчивость)
Что происходит при отклонении от идеальных условий: криво распознанный документ, нестандартный шаблон, шум в данных, сбой вызываемого внешнего компонента, чуть иначе сформулированная инструкция? Где система ломается, и как именно?
Predictability (предсказуемость отказов; по сути — калибровка уверенности)
Умеет ли система сказать «не знаю», «не уверена», «нужна проверка экспертом»?
Для юртеха это критично. Самоуверенная ошибка в праве часто опаснее честного ответа о неопределённости.
Safety (безопасность отказа / ограничение вреда)
Если ошибка всё же случилась, насколько последствия обратимы и контролируемы?
Есть ли fail-safe, эскалация человеку, журналирование, возможность быстро обнаружить и решить проблемы?
Почему это важно именно для юртеха:
В юридических задачах цена ошибки часто не плохой «пользовательский опыт», а процессуальный риск, финансовый риск, риск нарушения прав, регуляторные последствия.
Даже когда система используется как «копилот», а не как автономный исполнитель, остаётся «налог на проверку» (review burden), про который почти всегда умалчивают вендоры юртех-софта, но который съедает как минимум часть обещанной эффективности, а то и сводит её прирост к нулю или уводит в минус (когда проще было сделать задачу от начала и до конца руками).
Поэтому вопрос при закупке продукта вендору должен звучать не «какая у вас точность, что с галлюцинациями?», а скорее так: как система ведёт себя при повседневном решении одной и той же задачи, при вариациях вводных данных, при сбоях, и как она сигнализирует о своей неуверенности?
И самое главное: «Какие ваши доказательства?» (c) известный фильм.
- Неприемлемый ответ: «Мы прикладываем к этому массу усилий, нас хвалят клиенты, мы хорошие, мамой клянёмся».
- Идеальный ответ: «Вот результаты внешнего независимого аудита на текущую версию нашего продукта в динамике за последний год по запрошенным вами метрикам и его экзекьютив саммари».
В юртехе (применение технологий в праве) полезно не застревать на слове «галлюцинации». Если вы видите дискурс, ограниченный этим уровнем, вы застряли в 2022 году. А мы уже в 2026, неожиданно.
Проблематика сейчас гораздо шире, в частности проблема с генеративным ИИ в его надёжности (reliability), а не только в «средней точности по бенчмарку Х».
В этом смысле очень вовремя вышла новая работа про 4 измерения надёжности ИИ-агентов. Её главный тезис мне кажется особенно полезным для пользователей и разработчиков юртех-продуктов: высокий балл точности (accuracy) ИИ-системы ещё не означает, что её можно безопасно и предсказуемо встраивать в юридический процесс.
Что это за 4 измерения (в сильно упрощённом виде):
Consistency (согласованность / повторяемость)
Одна и та же задача при одинаковых условиях должна давать сопоставимый результат.
Для ГенИИ это больное место: ответ «примерно в ту же сторону» — часто да, дословно и стабильно — далеко не всегда.
Robustness (робастность / устойчивость)
Что происходит при отклонении от идеальных условий: криво распознанный документ, нестандартный шаблон, шум в данных, сбой вызываемого внешнего компонента, чуть иначе сформулированная инструкция? Где система ломается, и как именно?
Predictability (предсказуемость отказов; по сути — калибровка уверенности)
Умеет ли система сказать «не знаю», «не уверена», «нужна проверка экспертом»?
Для юртеха это критично. Самоуверенная ошибка в праве часто опаснее честного ответа о неопределённости.
Safety (безопасность отказа / ограничение вреда)
Если ошибка всё же случилась, насколько последствия обратимы и контролируемы?
Есть ли fail-safe, эскалация человеку, журналирование, возможность быстро обнаружить и решить проблемы?
Почему это важно именно для юртеха:
В юридических задачах цена ошибки часто не плохой «пользовательский опыт», а процессуальный риск, финансовый риск, риск нарушения прав, регуляторные последствия.
Даже когда система используется как «копилот», а не как автономный исполнитель, остаётся «налог на проверку» (review burden), про который почти всегда умалчивают вендоры юртех-софта, но который съедает как минимум часть обещанной эффективности, а то и сводит её прирост к нулю или уводит в минус (когда проще было сделать задачу от начала и до конца руками).
Поэтому вопрос при закупке продукта вендору должен звучать не «какая у вас точность, что с галлюцинациями?», а скорее так: как система ведёт себя при повседневном решении одной и той же задачи, при вариациях вводных данных, при сбоях, и как она сигнализирует о своей неуверенности?
И самое главное: «Какие ваши доказательства?» (c) известный фильм.
- Неприемлемый ответ: «Мы прикладываем к этому массу усилий, нас хвалят клиенты, мы хорошие, мамой клянёмся».
- Идеальный ответ: «Вот результаты внешнего независимого аудита на текущую версию нашего продукта в динамике за последний год по запрошенным вами метрикам и его экзекьютив саммари».
www.normaltech.ai
New Paper: Towards a science of AI agent reliability
Quantifying the capability-reliability gap
❤8👍3
Robocounsel
Как оценивать, выбирать и закупать юртех-продукты на базе генеративного ИИ В юртехе (применение технологий в праве) полезно не застревать на слове «галлюцинации». Если вы видите дискурс, ограниченный этим уровнем, вы застряли в 2022 году. А мы уже в 2026…
Облачный ИИ — это удобно, но только до поры
Хорошим бонусом к предыдущему материалу будет напоминание от Раяна МакДоноу.
Если ИИ-сервис, от которого зависит ваша операционная деятельность, или его ключевой компонент (ИИ-модель) развёрнуты не на вашей собственной инфраструктуре, всегда стоит учитывать риск, что завтра эта ваша деятельность превратится в тыкву.
Это, конечно, самый худший сценарий, но и более умеренные — на самом деле не столь умеренны.
Сами подумайте: Антропик получил от Хегсета (американское Минобороны, которое теперь неиронично — Оруэлл перевернулся в гробу — называется буквально Минвойны) ещё не приказ, но уже угрозу: дайте больше доступа, уберите меры, ограничивающие применение в военных целях.
Не согласитесь — применим положения Закона о мобилизационной готовности (В России подобный тоже есть — 31-ФЗ).
Даже если угроза останется лишь угрозой, это должно заставить вас задуматься, если ещё не. В любой момент человек в погонах может придти в ИИ-компанию — лидер рынка, и сказать:"Execute order 66" "Вы наша критическая инфраструктура, и теперь ваша ИИ-модель будет всем отвечать так, как указано в приложении к приказу".
Поэтому то, что у вас ИИ-компонент завязан на облако и на дядю, тем более в другой стране (но даже если и в своей) — заведомо означает, что в любой момент может не только перестать работать какой-то ваш завязанный на этот компонент процесс, но и то, что аккуратно и незаметно для вас ваш процесс может начать давать чуть иные результаты. Например, ваш чатбот начнёт склоняться к чуть другим ответам по каким-то темам.
А потом вы обнаружите неожиданные отдалённые последствия в том, какие именно решения принимает ваш менеджмент и каких результатов вы добиваетесь (или не добиваетесь), и как плавно, постепенно, но на горизонте нескольких лет — на 180 градусов, поменялась ваша стратегия.
Есть над чем подумать, не правда ли?
Хорошим бонусом к предыдущему материалу будет напоминание от Раяна МакДоноу.
Если ИИ-сервис, от которого зависит ваша операционная деятельность, или его ключевой компонент (ИИ-модель) развёрнуты не на вашей собственной инфраструктуре, всегда стоит учитывать риск, что завтра эта ваша деятельность превратится в тыкву.
Это, конечно, самый худший сценарий, но и более умеренные — на самом деле не столь умеренны.
Сами подумайте: Антропик получил от Хегсета (американское Минобороны, которое теперь неиронично — Оруэлл перевернулся в гробу — называется буквально Минвойны) ещё не приказ, но уже угрозу: дайте больше доступа, уберите меры, ограничивающие применение в военных целях.
Не согласитесь — применим положения Закона о мобилизационной готовности (В России подобный тоже есть — 31-ФЗ).
Даже если угроза останется лишь угрозой, это должно заставить вас задуматься, если ещё не. В любой момент человек в погонах может придти в ИИ-компанию — лидер рынка, и сказать:
Поэтому то, что у вас ИИ-компонент завязан на облако и на дядю, тем более в другой стране (но даже если и в своей) — заведомо означает, что в любой момент может не только перестать работать какой-то ваш завязанный на этот компонент процесс, но и то, что аккуратно и незаметно для вас ваш процесс может начать давать чуть иные результаты. Например, ваш чатбот начнёт склоняться к чуть другим ответам по каким-то темам.
А потом вы обнаружите неожиданные отдалённые последствия в том, какие именно решения принимает ваш менеджмент и каких результатов вы добиваетесь (или не добиваетесь), и как плавно, постепенно, но на горизонте нескольких лет — на 180 градусов, поменялась ваша стратегия.
Есть над чем подумать, не правда ли?
Ryan McDonough
Your Legal AI Stack May Now Sit on Foreign Critical Infrastructure
Over the past week there have been credible reports that the US Department of Defense (War) has asked Anthropic to expand how Claude can be used inside military environments, including relaxing some of the safeguards that currently prevent use in surveillance…
👍6🔥3❤2🌚1
Robocounsel Plus
Директору Меты по безопасности искусственного сверхинтеллекта (Director, Superintelligence Alignment) не хватило интеллекта естественного, чтобы не подключать Openclaw к своей рабочей почте (теперь удалённой).
Вынесу из комментариев ответ на вопрос — а как попасть в этот самый секретный Робокаунсел Плюс, откуда я переслал последний пост?
Очень просто: вам сюда
Очень просто: вам сюда
Telegram
Robocounsel
Не хватает ИИ-новостей, интересных статей, обсуждений и мемов?
Или просто хотите поддержать канал и автора?
Напомню, что для этого у нас есть сообщество AI Governance (и бонусный канал к нему — Robocounsel Plus).
Подписывайтесь!
Или просто хотите поддержать канал и автора?
Напомню, что для этого у нас есть сообщество AI Governance (и бонусный канал к нему — Robocounsel Plus).
Подписывайтесь!
❤2
Механизмы подтверждения возраста: исследование ANPD
Бразильский орган по защите данных опубликовал отчёт об исследовании существующих подходов к оценке и подтверждению возраста пользователей (включая проверку по документам, оценку на основе онлайн-поведения и биометрической категоризации, а также другие методы).
Актуально всем, кто занимается комплаенсом в этой области.
Английский перевод | Анонс | Португальский
Бразильский орган по защите данных опубликовал отчёт об исследовании существующих подходов к оценке и подтверждению возраста пользователей (включая проверку по документам, оценку на основе онлайн-поведения и биометрической категоризации, а также другие методы).
Актуально всем, кто занимается комплаенсом в этой области.
Английский перевод | Анонс | Португальский
❤7😁2
Robocounsel
Мой проект в рамках StandICT Чуть больше года я участвую и набираюсь опыта в разработке технических стандартов по управлению рисками ИИ (AI Risk Management, ИИ РМ, prEN 18228) и системе менеджмента качества для поставщиков ИИ-систем (Quality Management System…
Второй грант от StandICT
Принимаю поздравления: я второй раз выиграл грант на финансирование моей работы в области технических стандартов для систем искусственного интеллекта!
Мой проект: "Supporting the development of prEN 18286, prEN 18228, ISO/IEC 42001 guidance and SME handbook".
Фокус будет на двух направлениях:
1) на европейском уровне: поддержка финализации в СЕН/СЕНЭЛЕК проектов европейских стандартов по риск-менеджменту (prEN 18228) и менеджменту качества ИИ-систем (prEN 18286) повышенной опасности (Регламент ЕС по ИИ)
2) на международном уровне: поддержка разработки в ИСО/МЭК (1) нового руководства 42003 по внедрению требований стандарта 42001 (система менеджмента ИИ-систем, AIMS) и (2) пособия для малого и среднего бизнеса по тому же стандарту 42001.
Напомню, что инициатива StandICT.eu поддерживает экспертов, разрабатывающих технические стандарты с учётом интересов европейского малого и среднего бизнеса и общественно значимых эффектов (в том числе по ИИ), за счёт бюджетных средств Европейского союза.
Принимаю поздравления: я второй раз выиграл грант на финансирование моей работы в области технических стандартов для систем искусственного интеллекта!
Мой проект: "Supporting the development of prEN 18286, prEN 18228, ISO/IEC 42001 guidance and SME handbook".
Фокус будет на двух направлениях:
1) на европейском уровне: поддержка финализации в СЕН/СЕНЭЛЕК проектов европейских стандартов по риск-менеджменту (prEN 18228) и менеджменту качества ИИ-систем (prEN 18286) повышенной опасности (Регламент ЕС по ИИ)
2) на международном уровне: поддержка разработки в ИСО/МЭК (1) нового руководства 42003 по внедрению требований стандарта 42001 (система менеджмента ИИ-систем, AIMS) и (2) пособия для малого и среднего бизнеса по тому же стандарту 42001.
Напомню, что инициатива StandICT.eu поддерживает экспертов, разрабатывающих технические стандарты с учётом интересов европейского малого и среднего бизнеса и общественно значимых эффектов (в том числе по ИИ), за счёт бюджетных средств Европейского союза.
🔥33❤8