По итогам трилога достигнуто соглашение по тексте проекта Регламента ЕС об ИИ
В минувшую субботу после трехдевного переговорного марафона было достигнуто политическое соглашение между Европарламентом и Евросоветом по финальному тексту проекта Регламента ЕС об ИИ. Шаг сам по себе очень важный, но текст еще не финализирован, соответственно, делать выводы пока рано.
Судя по текстам пресс-релизов от Еврокомиссии, Европарламента и Евросовета, на первый взгляд документ сохранил по большей части подход, содержащийся в тексте Европарламента. Однако имеются некоторые дополнения. Например, несколько расширен перечень запрещенных систем ИИ и систем ИИ повышенного риска, уточнены требования для использования систем ИИ государственными органами. По поводу моделей и систем ИИ общего назначения, похоже, были взяты за основу последние известные компромиссные предложения (писал о них тут).
Далее предварительно согласованный текст должен быть окончательно оформлен и доработан, после чего будет представлен для формального принятия Европарламентом и Евросоветом. После этого Регламент вступит в силу по истечению двадцати дней после даты официального опубликования.
В полной мере Регламент начнет действовать через два года, однако отдельные положения будут действовать по истечение шести месяцев, а также одного года.
В минувшую субботу после трехдевного переговорного марафона было достигнуто политическое соглашение между Европарламентом и Евросоветом по финальному тексту проекта Регламента ЕС об ИИ. Шаг сам по себе очень важный, но текст еще не финализирован, соответственно, делать выводы пока рано.
Судя по текстам пресс-релизов от Еврокомиссии, Европарламента и Евросовета, на первый взгляд документ сохранил по большей части подход, содержащийся в тексте Европарламента. Однако имеются некоторые дополнения. Например, несколько расширен перечень запрещенных систем ИИ и систем ИИ повышенного риска, уточнены требования для использования систем ИИ государственными органами. По поводу моделей и систем ИИ общего назначения, похоже, были взяты за основу последние известные компромиссные предложения (писал о них тут).
Далее предварительно согласованный текст должен быть окончательно оформлен и доработан, после чего будет представлен для формального принятия Европарламентом и Евросоветом. После этого Регламент вступит в силу по истечению двадцати дней после даты официального опубликования.
В полной мере Регламент начнет действовать через два года, однако отдельные положения будут действовать по истечение шести месяцев, а также одного года.
Consilium
Artificial intelligence act: Council and Parliament strike a deal on the first rules for AI in the world
Artificial intelligence act: Council and Parliament strike a deal on the first rules for AI in the world.
❤4
Где же граница между продвинутыми моделями ИИ общего назначения и всеми остальными
Термин базовая модель ИИ был введен в широкий оборот в октябре 2021 года благодаря публикации исследователей из Stanford HAI. В статье он определяется как “модель, обученная на больших объемах данных, которая может быть в дальнейшем применена для решения широкого круга задач”. За последний год (датой отчета можно считать 30 ноября - релиз ChatGPT) данный термин широко вошел в обиход законодателей разных стран и регионов.
Основными причинами для установления отдельных требований для их поставщиков стали широкий круг потенциальных сценариев их применения (в том числе повышенного риска и нужд национальной безопасности) и необходимость перераспределения обязанностей между субъектами (разработчиками и теми, кто их фактически выводит на рынок в своих продуктах) внутри всех этапов их жизненного цикла.
Однако базовые модели различаются между собой по ряду характеристик. Например, они могут быть развернуты на разной инфраструктуре, иметь разное число параметров, быть обучены на разных наборах данных и т.д. Все это в совокупности сказывается на их эффективности. Таким образом, для сбалансированности нормативного регулирования возникла необходимость в разделении базовых моделей на группы. Это нужно для того, чтобы малый и средний бизнес имел меньше обязательств, чем глобальные технологические компании.
Так и появилось предложение делить базовые модели на продвинуты (передовые) и все остальные. Отдельные исследования предлагали большее число групп. Например, в The Future Society высказали идею о выделении трех групп (разбирал материал тут). К продвинутым в общем смысле относят те модели, которые являются наиболее большими и производительными. По разным подсчетам, к их поставщикам относятся сейчас всего 15–20 компаний в мире.
С юридической точки зрения крайне важным вопросом являются конкретные критерии, по которым модели относят к продвинутым.
Недавно опубликованный Еврокомиссией краткий пресс-релиз по итогам последнего трилога (писал о нем в предыдущем посте) вокруг проекта Регламента ЕС об ИИ содержит информацию о том, что было согласовано решение разделить базовые модели на две группы: модели, которые представляют системные риски, и все остальные. К первой группе буду относиться модели, которые были обучены с использованием общей вычислительной мощности более 10^25 FLOPs.
При этом AI Office (созданный в рамках Еврокомиссии) может обновлять этот порог в процессе технологического развития, а также в отдельных случаях определять другие модели в качестве таковых на основе других критериев (например, количества пользователей или степени автономности).
Поставщики таких моделей обязаны будут оценивать и снижать риски, сообщать о серьезных инцидентах, проводить современные испытания и оценку моделей, обеспечивать кибербезопасность и предоставлять информацию об энергопотреблении своих моделей. Для этого им предлагается взаимодействовать с ИИ Офисом для разработки кодексов поведения в сотрудничестве с другими экспертами. Центральную роль в обеспечении надзора за такими моделями будет играть специальная научная комиссия.
В публикованном 30 октября Указе Президента США в сфере разработки и применения систем ИИ (делал его большой обзор тут) указано, что органам исполнительной власти поручается разработать критерии для отнесения моделей к базовым моделям ИИ двойного назначения. До формулирования этих критериев к ним будут относиться модели, для обучения которых потребовалось 10^26 FLOPs (10^23 для использующих данные о биологических последовательностях).
Почему пороговое значение в 10^25 FLOPs? Потому что оно соответствует таким моделям, как, например, GPT-4 от OpenAI и Gemini от Google DeepMind.
Термин базовая модель ИИ был введен в широкий оборот в октябре 2021 года благодаря публикации исследователей из Stanford HAI. В статье он определяется как “модель, обученная на больших объемах данных, которая может быть в дальнейшем применена для решения широкого круга задач”. За последний год (датой отчета можно считать 30 ноября - релиз ChatGPT) данный термин широко вошел в обиход законодателей разных стран и регионов.
Основными причинами для установления отдельных требований для их поставщиков стали широкий круг потенциальных сценариев их применения (в том числе повышенного риска и нужд национальной безопасности) и необходимость перераспределения обязанностей между субъектами (разработчиками и теми, кто их фактически выводит на рынок в своих продуктах) внутри всех этапов их жизненного цикла.
Однако базовые модели различаются между собой по ряду характеристик. Например, они могут быть развернуты на разной инфраструктуре, иметь разное число параметров, быть обучены на разных наборах данных и т.д. Все это в совокупности сказывается на их эффективности. Таким образом, для сбалансированности нормативного регулирования возникла необходимость в разделении базовых моделей на группы. Это нужно для того, чтобы малый и средний бизнес имел меньше обязательств, чем глобальные технологические компании.
Так и появилось предложение делить базовые модели на продвинуты (передовые) и все остальные. Отдельные исследования предлагали большее число групп. Например, в The Future Society высказали идею о выделении трех групп (разбирал материал тут). К продвинутым в общем смысле относят те модели, которые являются наиболее большими и производительными. По разным подсчетам, к их поставщикам относятся сейчас всего 15–20 компаний в мире.
С юридической точки зрения крайне важным вопросом являются конкретные критерии, по которым модели относят к продвинутым.
Недавно опубликованный Еврокомиссией краткий пресс-релиз по итогам последнего трилога (писал о нем в предыдущем посте) вокруг проекта Регламента ЕС об ИИ содержит информацию о том, что было согласовано решение разделить базовые модели на две группы: модели, которые представляют системные риски, и все остальные. К первой группе буду относиться модели, которые были обучены с использованием общей вычислительной мощности более 10^25 FLOPs.
При этом AI Office (созданный в рамках Еврокомиссии) может обновлять этот порог в процессе технологического развития, а также в отдельных случаях определять другие модели в качестве таковых на основе других критериев (например, количества пользователей или степени автономности).
Поставщики таких моделей обязаны будут оценивать и снижать риски, сообщать о серьезных инцидентах, проводить современные испытания и оценку моделей, обеспечивать кибербезопасность и предоставлять информацию об энергопотреблении своих моделей. Для этого им предлагается взаимодействовать с ИИ Офисом для разработки кодексов поведения в сотрудничестве с другими экспертами. Центральную роль в обеспечении надзора за такими моделями будет играть специальная научная комиссия.
В публикованном 30 октября Указе Президента США в сфере разработки и применения систем ИИ (делал его большой обзор тут) указано, что органам исполнительной власти поручается разработать критерии для отнесения моделей к базовым моделям ИИ двойного назначения. До формулирования этих критериев к ним будут относиться модели, для обучения которых потребовалось 10^26 FLOPs (10^23 для использующих данные о биологических последовательностях).
Почему пороговое значение в 10^25 FLOPs? Потому что оно соответствует таким моделям, как, например, GPT-4 от OpenAI и Gemini от Google DeepMind.
hai.stanford.edu
Reflections on Foundation Models | Stanford HAI
After launching the Center for Research on Foundation Models, we discuss why these models are so important and reflect on the community response.
👍6
Стоимость соблюдения требований проекта Регламента ЕС об ИИ для разработчиков передовых базовых моделей
В продолжение предыдущего поста разбираю интересный материал от The Future Society, в котором исследователи высказывают предположения о стоимости AIA комплаенса для крупных технологических компаний, основываясь на ранее известной версии документа (статье 28b из текста Европарламента).
Поводом к исследованию стали массовые жалобы со стороны европейских и американских компаний о том, что жесткие требования будут существенно тормозить технологический прогресс.
Обращаю внимание, что речь идет не про малый и средний бизнес, а про передовые модели, которые выше порогового значения в 10^24 FLOPs (подробно об этих значения писал в посте выше).
Предполагаемые затраты на соблюдение требований включают в себя внутренние и внешние оценки для управления рисками и обеспечения надлежащего уровня безопасности, техническую документацию и систему управления качеством.
В результате исследователи выяснили (с учетом их методики), что затраты на обеспечение соответствия для таких продвинутых моделей составляют от 0,07% до 1,34% от общих затрат, необходимых для их создания.
Таким образом, они рекомендовали европейским законодателям ввести более строгие обязательства для поставщиков моделей выше порогового значения 10^24 FLOPs, что, по их мнению, не помешает инновационному развитию.
Как уже отмечалось в предыдущем посте, по итогам трилога, по всей видимости, все же было принято выделить продвинутые модели в отдельную группу (представляющих системные риски). Однако требования к их поставщикам были дополнены скорее в духе Хиросимских принципов G7 (разбирал их тут), чем в сторону ужесточения обязательств.
В продолжение предыдущего поста разбираю интересный материал от The Future Society, в котором исследователи высказывают предположения о стоимости AIA комплаенса для крупных технологических компаний, основываясь на ранее известной версии документа (статье 28b из текста Европарламента).
Поводом к исследованию стали массовые жалобы со стороны европейских и американских компаний о том, что жесткие требования будут существенно тормозить технологический прогресс.
Обращаю внимание, что речь идет не про малый и средний бизнес, а про передовые модели, которые выше порогового значения в 10^24 FLOPs (подробно об этих значения писал в посте выше).
Предполагаемые затраты на соблюдение требований включают в себя внутренние и внешние оценки для управления рисками и обеспечения надлежащего уровня безопасности, техническую документацию и систему управления качеством.
В результате исследователи выяснили (с учетом их методики), что затраты на обеспечение соответствия для таких продвинутых моделей составляют от 0,07% до 1,34% от общих затрат, необходимых для их создания.
Таким образом, они рекомендовали европейским законодателям ввести более строгие обязательства для поставщиков моделей выше порогового значения 10^24 FLOPs, что, по их мнению, не помешает инновационному развитию.
Как уже отмечалось в предыдущем посте, по итогам трилога, по всей видимости, все же было принято выделить продвинутые модели в отдельную группу (представляющих системные риски). Однако требования к их поставщикам были дополнены скорее в духе Хиросимских принципов G7 (разбирал их тут), чем в сторону ужесточения обязательств.
❤6
Исследователи из Stanford HAI о соотношении требований проекта Регламента ЕС об ИИ с затратами на их соблюдение
Исследователи из Stanford HAI в своей заметке приходят к интересным выводам о стоимости будущего AIA комплаенса. Данный материал имел целью дать европейским законодателям рекомендации по нормативному регулированию перед последним трилогом по проекту Регламента ЕС об ИИ.
Авторы исходили из идеи о разделении базовых моделей на две группы: которые оказывают значительное воздействие на общество, и все остальные.
Для второй группы (самой значительной) предполагается введение лишь дополнительных требований по прозрачности, которые, по мнению исследователей, не понесут значительных затрат для поставщиков.
Для первой группы (под ней, по всей видимости, подразумеваются передовые модели) должны быть введены более жесткие требования, вплоть до внутренних оценок с помощь метода красных команд и внешнего независимого аудита. Среди критериев, по которым таки модели будут подразделяться от всех остальных, по мнению исследователей, должны быть такие, как, например, пороговое значение FLOPs, число пользователей и запросов к модели, количество последующих поставщиков, возможность использования в сценариях повышенного риска.
Что касается затрат, то авторы заметки исходят из следующей логики: если разработка передовых моделей дорогая, то и провести комплаенс тоже будет эквивалентно дорого. Однако европейские исследователи пришли, как я уже отмечал в предыдущем посте, к противоположным выводам: удорожание разработки модели не приводит к существенному удорожанию комплаенса.
Также интересно, что авторы из Stanford HAI смещают акцент по введению наиболее жестких требований на поставщиков передовых базовых моделей, предусматривая для всех остальных лишь дополнительные меры по прозрачности. Это удивительно совпадает с позицией лоббистов от американских бигтэков, которые целенаправленно пытаются отвлекать внимание от массовых продуктов страшилками про Терминатора и катастрофические риски. Более подробно писал об этом тут.
Исследователи из Stanford HAI в своей заметке приходят к интересным выводам о стоимости будущего AIA комплаенса. Данный материал имел целью дать европейским законодателям рекомендации по нормативному регулированию перед последним трилогом по проекту Регламента ЕС об ИИ.
Авторы исходили из идеи о разделении базовых моделей на две группы: которые оказывают значительное воздействие на общество, и все остальные.
Для второй группы (самой значительной) предполагается введение лишь дополнительных требований по прозрачности, которые, по мнению исследователей, не понесут значительных затрат для поставщиков.
Для первой группы (под ней, по всей видимости, подразумеваются передовые модели) должны быть введены более жесткие требования, вплоть до внутренних оценок с помощь метода красных команд и внешнего независимого аудита. Среди критериев, по которым таки модели будут подразделяться от всех остальных, по мнению исследователей, должны быть такие, как, например, пороговое значение FLOPs, число пользователей и запросов к модели, количество последующих поставщиков, возможность использования в сценариях повышенного риска.
Что касается затрат, то авторы заметки исходят из следующей логики: если разработка передовых моделей дорогая, то и провести комплаенс тоже будет эквивалентно дорого. Однако европейские исследователи пришли, как я уже отмечал в предыдущем посте, к противоположным выводам: удорожание разработки модели не приводит к существенному удорожанию комплаенса.
Также интересно, что авторы из Stanford HAI смещают акцент по введению наиболее жестких требований на поставщиков передовых базовых моделей, предусматривая для всех остальных лишь дополнительные меры по прозрачности. Это удивительно совпадает с позицией лоббистов от американских бигтэков, которые целенаправленно пытаются отвлекать внимание от массовых продуктов страшилками про Терминатора и катастрофические риски. Более подробно писал об этом тут.
❤4
Юридическая сага о признании авторства за системой ИИ продолжается
В 2018 году был запущен наделавший много шума за последние годы проект Artificial Inventor. Его идея заключается в том, что интернациональная команда IP-юристов пробуют юридическими методами добиться признания системы ИИ в качестве автора изобретения и произведения в разных юрисдикциях.
Споры разворачиваются вокруг системы ИИ DABUS, которая была разработана исследователем Стивеном Талером и применена им для создания нескольких изобретений.
Важную роль в проекте также играет Райан Эббот (профессор, Университет Суррея и Калифорнийский университет в Лос-Анджелесе, автор книги The Reasonable Robot: Artificial Intelligence and the Law). Он непосредственно принимает участие в подготовке документов по направлению патентных заявок в 18 юрисдикциях. Данные заявки были одобрены в Южной Африке и Саудовской Аравии и окончательно отклонены в США, Австралии и Тайване. В США это закончилось делом Thaler v. Vidal (подробнее в посте тут).
На днях эпопея дополнилась новым эпизодом. Верховный суд Великобритании вынес решение по делу Thaler (Appellant) v. Comptroller-General of Patents, Designs and Trade Marks (Respondent).
Суд рассмотрел три вопроса и пришел к следующим выводам:
1. Какой объем и значение понятия «изобретатель» в Законе о патентах 1977 года данном контексте? DABUS - не изобретатель, так как не обладает правосубъективностью.
2. Являлся ли Талер обладателем прав на изобретение, созданное DABUS, и имел ли он право подать заявку и получить патент на него? Талер пытался доказать, что он имеет права на изобретение, созданное его имуществом, по аналогии с правом собственности хозяина коровы на теленка. Однако суд отверг этот довод, указав, что DABUS все же не человек и не может быть изобретателем.
3. Был ли прав компетентный орган, отклонивший патентную заявку? Да, орган был прав.
Вместе с тем основной судья, ответственный за подготовку решения, Лорд Кичин, согласился с позицией судьи апелляционного суда Элизабет Лэнг:
"Независимо от того, были ли мыслящие машины способны создавать изобретения в 1977 году, для меня очевидно, что парламент не имел их в виду, когда принимал данные нормы. Если патенты будут выдаваться на изобретения, созданные машинами, то в Закон 1977 года придется внести поправки".
Таким образом, участие человека все еще остается краеугольным камнем до тех пор, пока парламентарии не изменят законодательство. Однако ожидать подобные новации явно преждевременно.
В 2018 году был запущен наделавший много шума за последние годы проект Artificial Inventor. Его идея заключается в том, что интернациональная команда IP-юристов пробуют юридическими методами добиться признания системы ИИ в качестве автора изобретения и произведения в разных юрисдикциях.
Споры разворачиваются вокруг системы ИИ DABUS, которая была разработана исследователем Стивеном Талером и применена им для создания нескольких изобретений.
Важную роль в проекте также играет Райан Эббот (профессор, Университет Суррея и Калифорнийский университет в Лос-Анджелесе, автор книги The Reasonable Robot: Artificial Intelligence and the Law). Он непосредственно принимает участие в подготовке документов по направлению патентных заявок в 18 юрисдикциях. Данные заявки были одобрены в Южной Африке и Саудовской Аравии и окончательно отклонены в США, Австралии и Тайване. В США это закончилось делом Thaler v. Vidal (подробнее в посте тут).
На днях эпопея дополнилась новым эпизодом. Верховный суд Великобритании вынес решение по делу Thaler (Appellant) v. Comptroller-General of Patents, Designs and Trade Marks (Respondent).
Суд рассмотрел три вопроса и пришел к следующим выводам:
1. Какой объем и значение понятия «изобретатель» в Законе о патентах 1977 года данном контексте? DABUS - не изобретатель, так как не обладает правосубъективностью.
2. Являлся ли Талер обладателем прав на изобретение, созданное DABUS, и имел ли он право подать заявку и получить патент на него? Талер пытался доказать, что он имеет права на изобретение, созданное его имуществом, по аналогии с правом собственности хозяина коровы на теленка. Однако суд отверг этот довод, указав, что DABUS все же не человек и не может быть изобретателем.
3. Был ли прав компетентный орган, отклонивший патентную заявку? Да, орган был прав.
Вместе с тем основной судья, ответственный за подготовку решения, Лорд Кичин, согласился с позицией судьи апелляционного суда Элизабет Лэнг:
"Независимо от того, были ли мыслящие машины способны создавать изобретения в 1977 году, для меня очевидно, что парламент не имел их в виду, когда принимал данные нормы. Если патенты будут выдаваться на изобретения, созданные машинами, то в Закон 1977 года придется внести поправки".
Таким образом, участие человека все еще остается краеугольным камнем до тех пор, пока парламентарии не изменят законодательство. Однако ожидать подобные новации явно преждевременно.
❤7
Правительство РФ инициировало законопроект, направленный на обобщение практики работы ИИ-песочниц
Друзья, праздники подходят к концу, а значит, самое время поздравить вас с наступившим Новым годом! В нем нас ожидает большое число интересных новостей не только из мира ИИ-технологий, но и из сферы нормативного регулирования, которая наконец-то набирает обороты во многих юрисдикциях.
Начнем с нескольких новостей из России. В декабре Правительство РФ внесло в Государственную Думу законопроект, которым предлагается внести ряд изменений в закон "Об экспериментальных правовых режимах в сфере цифровых инноваций в РФ”. Документ по большой части направлен на доработку законодательства с учетом опыта функционирования существующих ЭПР (по данным реестра, их сейчас инициировано 189, а около 20 фактически реализуются и непосредственно связаны с ИИ-технологиями).
Например, предложено внести ряд технических правок, собирать больше информации о разных субъектах, а также оптимизировать сроки отдельных процедур. Также предлагается более четко прописать требование об обязательном страховании участниками ЭПР своей гражданской ответственности за причинение вреда жизни, здоровью или имуществу других лиц. Несмотря на то, что данная мера в СМИ преподносилась как новация, на самом деле схожие нормы уже были включены в программы других ЭПР, утвержденных постановлениями Правительства РФ. Поэтому здесь скорее идет речь об обобщении опыта.
Внимание заслуживает и новый механизм, позволяющий определять лиц, ответственных за причинение вреда жизни, здоровью или имуществу человека либо имуществу юридического лица. В соответсвии с законопроектом, в течение тридцати дней со дня причинения вреда компетентный госорган создает комиссию для установления причин и определения ответственных лиц. В состав комиссии будут входить представители госорганов. Другие лица, в том числе члены экспертного и предпринимательского сообществ и участники ЭПР, могут входить в комиссию по решению госорганов.
По итогам комиссия составляет заключение со следующими выводами:
1. о причинах нарушения законодательства РФ, которые привели к причинению вреда;
2. об обстоятельствах, указывающих на виновность лиц;
3. о необходимых мерах, направленных на возмещение участником ЭПР причиненного вреда.
Заключение публикуется, а также может быть использовано при проведении расследования или судебного разбирательства и быть обжаловано в суде.
Хочется отметить, что желание упростить определение лиц, ответственных за вред, причиненный системами ИИ рамках эксперимента, понятно с точки зрения исполнительных органов. Вместе с тем настороженность вызывает тенденция, в рамках которой решения будут фактически выноситься органами исполнительной власти, а суды - лишь подтверждать выводы правоприменителей в своих актах. Примеры мы многократно видели в других отраслях. При кажущейся оптимизации процессов такой подход крайне вреден для безопасного использования технологических решений, особенно государственными органами и окологосударственными организациями.
Друзья, праздники подходят к концу, а значит, самое время поздравить вас с наступившим Новым годом! В нем нас ожидает большое число интересных новостей не только из мира ИИ-технологий, но и из сферы нормативного регулирования, которая наконец-то набирает обороты во многих юрисдикциях.
Начнем с нескольких новостей из России. В декабре Правительство РФ внесло в Государственную Думу законопроект, которым предлагается внести ряд изменений в закон "Об экспериментальных правовых режимах в сфере цифровых инноваций в РФ”. Документ по большой части направлен на доработку законодательства с учетом опыта функционирования существующих ЭПР (по данным реестра, их сейчас инициировано 189, а около 20 фактически реализуются и непосредственно связаны с ИИ-технологиями).
Например, предложено внести ряд технических правок, собирать больше информации о разных субъектах, а также оптимизировать сроки отдельных процедур. Также предлагается более четко прописать требование об обязательном страховании участниками ЭПР своей гражданской ответственности за причинение вреда жизни, здоровью или имуществу других лиц. Несмотря на то, что данная мера в СМИ преподносилась как новация, на самом деле схожие нормы уже были включены в программы других ЭПР, утвержденных постановлениями Правительства РФ. Поэтому здесь скорее идет речь об обобщении опыта.
Внимание заслуживает и новый механизм, позволяющий определять лиц, ответственных за причинение вреда жизни, здоровью или имуществу человека либо имуществу юридического лица. В соответсвии с законопроектом, в течение тридцати дней со дня причинения вреда компетентный госорган создает комиссию для установления причин и определения ответственных лиц. В состав комиссии будут входить представители госорганов. Другие лица, в том числе члены экспертного и предпринимательского сообществ и участники ЭПР, могут входить в комиссию по решению госорганов.
По итогам комиссия составляет заключение со следующими выводами:
1. о причинах нарушения законодательства РФ, которые привели к причинению вреда;
2. об обстоятельствах, указывающих на виновность лиц;
3. о необходимых мерах, направленных на возмещение участником ЭПР причиненного вреда.
Заключение публикуется, а также может быть использовано при проведении расследования или судебного разбирательства и быть обжаловано в суде.
Хочется отметить, что желание упростить определение лиц, ответственных за вред, причиненный системами ИИ рамках эксперимента, понятно с точки зрения исполнительных органов. Вместе с тем настороженность вызывает тенденция, в рамках которой решения будут фактически выноситься органами исполнительной власти, а суды - лишь подтверждать выводы правоприменителей в своих актах. Примеры мы многократно видели в других отраслях. При кажущейся оптимизации процессов такой подход крайне вреден для безопасного использования технологических решений, особенно государственными органами и окологосударственными организациями.
Коммерсантъ
Искусственному интеллекту правят песочницу
Поправки к закону о цифровых ЭПР внесены в Госдуму
🔥4❤2
Развитие искусственного интеллекта в России идет рука об руку с построением государственной монополии на данные
В продолжение предыдущего поста о России. В конце декабря появилась информация о том, что Минцифры, Минпромторг и Альянс в сфере ИИ в течение месяца должны представить Совету Федерации предложения в части выделения промышленных данных в самостоятельную категорию, формулирования правил их использования для обучения моделей ИИ и определения прав на РИД.
Информации пока довольно мало, но некоторые моменты крайне неоднозначны. В 2021 году уже была предпринята попытка урегулировать оборот “промышленных данных”. Для этого предлагалось создать государственную информационную систему, через которую бизнес должен был бы обмениваться данными между госорганами и друг другом. Однако тогда законопроект подвергся критике со стороны бизнеса и так и не был принят. Очень похоже на то, что нынешние разговоры являются попыткой реинкарнировать старые идеи под новым ИИ-соусом. Что касается вопросов об использовании данных для обучения моделей ИИ и определения прав на РИД, то попытка сосредотачиваться только на сфере промышленности вместо выработки общего подхода выглядит крайне странно и контрпродуктивно.
Также в Государственной Думе готовится ко второму чтению скандально известный законопроект, вносящий изменения в ФЗ «О персональных данных» в части обезличенных данных. Данный законопроект подвергся резкой критике со стороны бизнеса также во многом из-за попытки создания ГИС.
Оба этих случая являются частью намного более широкой картины, в рамках которой через создание ГИС (их сейчас более 600), фактически вводится государственная монополия на данные. Обычно законодатели принимают акт, который обязывает всех участников рынка передавать определенный объем данных в систему (иногда сначала проводится эксперимент). Затем назначается оператор системы, которым может быть госорган или иная уполномоченная организация. После этого по запросам (иногда за плату) данные могут предоставляться другим субъектам.
На днях также появился проект постановления Правительства РФ, вносящий изменения в Постановление от 14 мая 2021 года №733, которым предлагается расширить доступ для отдельных субъектов к государственным наборам данных. В комментарии Коммерсанту я отметил, что, несмотря на то, что данный законопроект хоть и облегчает доступ к отдельным данным для разработчиков систем ИИ, однако исходит из той же логики. Государственные органы будут решать, каким представителям бизнеса и научным организациям предоставить доступ, а каким – нет. Это может стать еще одним рычагом со стороны органов власти по давлению на одних участников рынка и созданию конкурентных преимуществ для других.
В продолжение предыдущего поста о России. В конце декабря появилась информация о том, что Минцифры, Минпромторг и Альянс в сфере ИИ в течение месяца должны представить Совету Федерации предложения в части выделения промышленных данных в самостоятельную категорию, формулирования правил их использования для обучения моделей ИИ и определения прав на РИД.
Информации пока довольно мало, но некоторые моменты крайне неоднозначны. В 2021 году уже была предпринята попытка урегулировать оборот “промышленных данных”. Для этого предлагалось создать государственную информационную систему, через которую бизнес должен был бы обмениваться данными между госорганами и друг другом. Однако тогда законопроект подвергся критике со стороны бизнеса и так и не был принят. Очень похоже на то, что нынешние разговоры являются попыткой реинкарнировать старые идеи под новым ИИ-соусом. Что касается вопросов об использовании данных для обучения моделей ИИ и определения прав на РИД, то попытка сосредотачиваться только на сфере промышленности вместо выработки общего подхода выглядит крайне странно и контрпродуктивно.
Также в Государственной Думе готовится ко второму чтению скандально известный законопроект, вносящий изменения в ФЗ «О персональных данных» в части обезличенных данных. Данный законопроект подвергся резкой критике со стороны бизнеса также во многом из-за попытки создания ГИС.
Оба этих случая являются частью намного более широкой картины, в рамках которой через создание ГИС (их сейчас более 600), фактически вводится государственная монополия на данные. Обычно законодатели принимают акт, который обязывает всех участников рынка передавать определенный объем данных в систему (иногда сначала проводится эксперимент). Затем назначается оператор системы, которым может быть госорган или иная уполномоченная организация. После этого по запросам (иногда за плату) данные могут предоставляться другим субъектам.
На днях также появился проект постановления Правительства РФ, вносящий изменения в Постановление от 14 мая 2021 года №733, которым предлагается расширить доступ для отдельных субъектов к государственным наборам данных. В комментарии Коммерсанту я отметил, что, несмотря на то, что данный законопроект хоть и облегчает доступ к отдельным данным для разработчиков систем ИИ, однако исходит из той же логики. Государственные органы будут решать, каким представителям бизнеса и научным организациям предоставить доступ, а каким – нет. Это может стать еще одним рычагом со стороны органов власти по давлению на одних участников рынка и созданию конкурентных преимуществ для других.
Коммерсантъ
Искусственный интеллект отправят на завод
В правительстве обсуждают новое регулирование работы с нейросетями
❤5🔥2
Конституционные принципы для ИИ нашли применение в робототехнике
Команда робототехники из Google Deepmind представила набор новых моделей ИИ на базе архитектуры трансформера, которые позволят роботам быстрее функционировать и обучаться на ходу на сырых данных, собранных в в реальном времени.
Одной из таких моделей является AutoRT - модель, предназначенная для контроля над робототехническими комплексами и их группами при минимальном контроле со стороны человека.
Для того чтобы их работы была безопасна, исследователями было предложено делить высокоуровневые цели на конкретные задачи, которые могут последовательно выполняться роботами. Далее они проверяются на соответствие нескольким группам правил, которые исследователи именуют конституцией роботов.
К первой группе относятся фундаментальные принципы, аналогичные законами робототехники Айзека Азимова. Второй и третий законы исследователи поменяли местами, а из первого убрали часть про бездействие. Такие изменения они связали с текущими реалиями технологического развития.
Во вторую группу входят принципы безопасности, описывающие, какие задачи считаются небезопасными или нежелательными, исходя из текущих технических характеристик. Например, не рекомендуется взаимодействовать с людьми или животными, а также работать с острыми и хрупкими предметами или электрооборудованием.
К третьей группе принадлежат принципы, связанные с особенностями внешней формы робота (embodiment rules), описывающие ограничения его работы (грузоподъемность, число рук и т.п.).
К четвертой группе относятся дополнительные команды от человека.
В статье, посвященной данной модели, авторы приводят и пример того, каким образом программное обеспечение будет работать:
После получения изображений с камеры визуально-языковая модель (VLM) выводит текст, описывающий сцену, которую наблюдает робот. Далее AutoRT составляет промт со списком задач. Он может начинаться с системного запроса, например: "Я - робот, работающий в офисной среде", описывающего роль, которую должна играть большая языковая модель (LLM). Далее приводится список принципов их конституции, которые следует учитывать при генерации заданий. После этого LLM на основе описания от VLM генерирует список конкретных задач для исполнения.
Интересно, что в самой статье авторы ссылаются на то, что вдохновились конституционными принципами для систем ИИ от Anthropic, которые применяются для обучения с подкреплением на основе отзывов от ИИ (RLAIF). Подробнее об этом в посте тут.
Также на скриншотах выше можно найти примеры принципов и их использование внутри диалога в ходе выполнения задач.
Команда робототехники из Google Deepmind представила набор новых моделей ИИ на базе архитектуры трансформера, которые позволят роботам быстрее функционировать и обучаться на ходу на сырых данных, собранных в в реальном времени.
Одной из таких моделей является AutoRT - модель, предназначенная для контроля над робототехническими комплексами и их группами при минимальном контроле со стороны человека.
Для того чтобы их работы была безопасна, исследователями было предложено делить высокоуровневые цели на конкретные задачи, которые могут последовательно выполняться роботами. Далее они проверяются на соответствие нескольким группам правил, которые исследователи именуют конституцией роботов.
К первой группе относятся фундаментальные принципы, аналогичные законами робототехники Айзека Азимова. Второй и третий законы исследователи поменяли местами, а из первого убрали часть про бездействие. Такие изменения они связали с текущими реалиями технологического развития.
Во вторую группу входят принципы безопасности, описывающие, какие задачи считаются небезопасными или нежелательными, исходя из текущих технических характеристик. Например, не рекомендуется взаимодействовать с людьми или животными, а также работать с острыми и хрупкими предметами или электрооборудованием.
К третьей группе принадлежат принципы, связанные с особенностями внешней формы робота (embodiment rules), описывающие ограничения его работы (грузоподъемность, число рук и т.п.).
К четвертой группе относятся дополнительные команды от человека.
В статье, посвященной данной модели, авторы приводят и пример того, каким образом программное обеспечение будет работать:
После получения изображений с камеры визуально-языковая модель (VLM) выводит текст, описывающий сцену, которую наблюдает робот. Далее AutoRT составляет промт со списком задач. Он может начинаться с системного запроса, например: "Я - робот, работающий в офисной среде", описывающего роль, которую должна играть большая языковая модель (LLM). Далее приводится список принципов их конституции, которые следует учитывать при генерации заданий. После этого LLM на основе описания от VLM генерирует список конкретных задач для исполнения.
Интересно, что в самой статье авторы ссылаются на то, что вдохновились конституционными принципами для систем ИИ от Anthropic, которые применяются для обучения с подкреплением на основе отзывов от ИИ (RLAIF). Подробнее об этом в посте тут.
Также на скриншотах выше можно найти примеры принципов и их использование внутри диалога в ходе выполнения задач.
Google DeepMind
Shaping the future of advanced robotics
AutoRT, SARA-RT, and RT-Trajectory build on our historic Robotics Transformers work to help robots make decisions faster, and better understand and navigate their environments.
🔥4
ЕС стал еще на шаг ближе к окончательному принятию проекта Регламента об ИИ
Друзья, за последние пару недель было много новостей из ЕС. Наконец дошли руки все собрать и систематизировать в одном месте со всеми нужными ссылками. Постов будет несколько, с временными интервалами, чтобы не мучить вас уведомлениями.
Самой важной новостью прошедшего месяца стала публикация неофициального текста согласованного проекта Регламента ЕС об ИИ по итогам прошедшего трилога.
Документ был выложен редактором (со вчерашнего дня ex-редактором) по технологиям Euractiv Лукой Бертуцци в Линкедине. Текст размещен в форме таблицы, состоящей из четырех колонок. В каждой колонке расположены ранние его версии, предложенные Еврокомиссией, Европарламентом и Евросоветом (тут). Если вы следите за тем, как развивается подход европейских законодателей внутри правотворческого процесса, то читать в таком формате очень удобно.
Вообще, большинство людей, которые интересуются регулированием в сфере ИИ, с нетерпением ждали, когда наконец будет заполнена четвертая колонка с согласованным текстом по результатам драматичного декабрьского трилога (особенно часто про это мы говорили на семинарах со студентами). Про сам трилог (неформальная процедура достижения согласия между Еврокомиссией, Европарламентом и Евросоветом) я писал тут. Чуть позже согласованный текст стал доступен и в классической постраничной форме (тут).
Вчера также состоялось довольно важное событие, которое открыло новую стадию правотворческого процесса: Комитет постоянных представителей Совета ЕС (Coreper I) одобрил (решение тут) согласованный по итогам трилога текст, тем самым формально поддержав достигнутое соглашение.
Далее, на 14 и 15 февраля Комитет Европарламента по гражданским свободам, правосудию и внутренним делам (LIBE) должен принять документ к рассмотрению. После чего текст будет вынесен на пленарное заседание Европарламента 10-11 апреля. Если документ на нем будет принят, то он снова поступит в Евросовет для окончательного формального принятия.
Также, судя по новостям, страны ЕС более-менее достигли консенсуса по тексту (что на мой взгляд, негативно на нем сказалось еще на этапе трилога), включая выступавших за более мягкое регулирование Францию, Германию и Италию. Однако достижение компромисса еще не значит, что все стороны полностью удовлетворены результатом. Таким образом, посмотрим, будут ли выражены неформальные договоренности в формальные решения и в принятый акт.
Друзья, за последние пару недель было много новостей из ЕС. Наконец дошли руки все собрать и систематизировать в одном месте со всеми нужными ссылками. Постов будет несколько, с временными интервалами, чтобы не мучить вас уведомлениями.
Самой важной новостью прошедшего месяца стала публикация неофициального текста согласованного проекта Регламента ЕС об ИИ по итогам прошедшего трилога.
Документ был выложен редактором (со вчерашнего дня ex-редактором) по технологиям Euractiv Лукой Бертуцци в Линкедине. Текст размещен в форме таблицы, состоящей из четырех колонок. В каждой колонке расположены ранние его версии, предложенные Еврокомиссией, Европарламентом и Евросоветом (тут). Если вы следите за тем, как развивается подход европейских законодателей внутри правотворческого процесса, то читать в таком формате очень удобно.
Вообще, большинство людей, которые интересуются регулированием в сфере ИИ, с нетерпением ждали, когда наконец будет заполнена четвертая колонка с согласованным текстом по результатам драматичного декабрьского трилога (особенно часто про это мы говорили на семинарах со студентами). Про сам трилог (неформальная процедура достижения согласия между Еврокомиссией, Европарламентом и Евросоветом) я писал тут. Чуть позже согласованный текст стал доступен и в классической постраничной форме (тут).
Вчера также состоялось довольно важное событие, которое открыло новую стадию правотворческого процесса: Комитет постоянных представителей Совета ЕС (Coreper I) одобрил (решение тут) согласованный по итогам трилога текст, тем самым формально поддержав достигнутое соглашение.
Далее, на 14 и 15 февраля Комитет Европарламента по гражданским свободам, правосудию и внутренним делам (LIBE) должен принять документ к рассмотрению. После чего текст будет вынесен на пленарное заседание Европарламента 10-11 апреля. Если документ на нем будет принят, то он снова поступит в Евросовет для окончательного формального принятия.
Также, судя по новостям, страны ЕС более-менее достигли консенсуса по тексту (что на мой взгляд, негативно на нем сказалось еще на этапе трилога), включая выступавших за более мягкое регулирование Францию, Германию и Италию. Однако достижение компромисса еще не значит, что все стороны полностью удовлетворены результатом. Таким образом, посмотрим, будут ли выражены неформальные договоренности в формальные решения и в принятый акт.
EURACTIV
EU countries give crucial nod to first-of-a-kind Artificial Intelligence law
The ambassadors of the 27 countries of the European Union unanimously adopted the world’s first comprehensive rulebook for Artificial Intelligence, rubber-stamping the political agreement that was reached in December.
❤6
Еврокомиссия опубликовала решение о создании компетентного органа в сфере ИИ
На прошлой неделе Еврокомиссией было опубликовано и принято решение о создании многострадального компетентного органа в сфере ИИ (European AI Office). Документ вступает в силу 21 февраля.
Многострадальным данный орган можно назвать потому, что подходы к его статусу и полномочиям неоднократно менялись в ходе работы над проектом Регламента ЕС об ИИ. В итоге от идеи об отдельном самостоятельном органе европейские законодатели решили отказаться. Теперь AI Office станет частью Еврокомиссии, а именно будет входить в состав Генерального директората по коммуникационным сетям, контенту и технологиям (CNECT). Однако на него будет выделена отдельная статья бюджета.
Главной целью работы органа будет реализация функции, которые возложены на него в соответствии с будущим Регламентом ЕС об ИИ. Также решение предусматривает несколько дополнительных функций (содействовать развитию подхода ЕС, международным инициативам, извлечению максимальных экономических и социальных выгод от ИИ).
Среди ключевых направлений деятельности органа, например, можно выделить:
Решение проблемных вопросов, возникающих в связи реализацией положений Регламента:
- разработать методику и критерии оценки моделей ИИ общего назначения (в том числе и наиболее больших и продвинутых);
- осуществлять мониторинг реализации нормативных требований поставщиками моделей и систем ИИ общего назначения (особенно если эти поставщики совпадают в одном лице);
- выявлять критические и непредвиденные риски, связанные с применением систем ИИ (в том числе и реагировать на предостережения от научной группы, которая будет создана внутри органа);
- расследовать возможные случаи нарушения законодательных требований со стороны поставщиков систем и моделей ИИ (в том числе сбор предупреждений и жалоб);
- поддерживать реализацию положений в части запрещенных систем ИИ и систем ИИ повышенного риска.
Последующие действия по имплементации Регламента ЕС об ИИ:
- осуществлять поддержку Еврокомиссии при подготовке имплементационных актов, решений, технических стандартов, кодексов лучших практик и иных документов;
- сопровождать создание регуляторных песочниц;
- координировать и делиться опытом при создании системы госуправления (в том числе и на уровне государств-членов ЕС).
Международное сотрудничество и взаимодействие внутри Еврокомиссии и с другими союзными органами.
На прошлой неделе Еврокомиссией было опубликовано и принято решение о создании многострадального компетентного органа в сфере ИИ (European AI Office). Документ вступает в силу 21 февраля.
Многострадальным данный орган можно назвать потому, что подходы к его статусу и полномочиям неоднократно менялись в ходе работы над проектом Регламента ЕС об ИИ. В итоге от идеи об отдельном самостоятельном органе европейские законодатели решили отказаться. Теперь AI Office станет частью Еврокомиссии, а именно будет входить в состав Генерального директората по коммуникационным сетям, контенту и технологиям (CNECT). Однако на него будет выделена отдельная статья бюджета.
Главной целью работы органа будет реализация функции, которые возложены на него в соответствии с будущим Регламентом ЕС об ИИ. Также решение предусматривает несколько дополнительных функций (содействовать развитию подхода ЕС, международным инициативам, извлечению максимальных экономических и социальных выгод от ИИ).
Среди ключевых направлений деятельности органа, например, можно выделить:
Решение проблемных вопросов, возникающих в связи реализацией положений Регламента:
- разработать методику и критерии оценки моделей ИИ общего назначения (в том числе и наиболее больших и продвинутых);
- осуществлять мониторинг реализации нормативных требований поставщиками моделей и систем ИИ общего назначения (особенно если эти поставщики совпадают в одном лице);
- выявлять критические и непредвиденные риски, связанные с применением систем ИИ (в том числе и реагировать на предостережения от научной группы, которая будет создана внутри органа);
- расследовать возможные случаи нарушения законодательных требований со стороны поставщиков систем и моделей ИИ (в том числе сбор предупреждений и жалоб);
- поддерживать реализацию положений в части запрещенных систем ИИ и систем ИИ повышенного риска.
Последующие действия по имплементации Регламента ЕС об ИИ:
- осуществлять поддержку Еврокомиссии при подготовке имплементационных актов, решений, технических стандартов, кодексов лучших практик и иных документов;
- сопровождать создание регуляторных песочниц;
- координировать и делиться опытом при создании системы госуправления (в том числе и на уровне государств-членов ЕС).
Международное сотрудничество и взаимодействие внутри Еврокомиссии и с другими союзными органами.
EURACTIV
EU Commission readies establishment of AI Office
The European Commission is set to adopt a decision establishing the European Artificial Intelligence Office, according to a draft document obtained by Euractiv.
❤9
Параллельно с регулированием Еврокомиссия намерена превратить европейские ИИ-стартапы в мировых лидеров
ЕС часто критикуют за излишне жесткие подходы к нормативному правовому регулированию в сфере новых технологий. Не обошли данные дискуссии и искусственный интеллект. Я уже неоднократно писал о том, что проектом Регламента ЕС об ИИ остались не до конца довольны как американские бигтеки, так и отдельные государства-члены ЕС, у которых есть свои перспективные ИИ-компании и стартапы (например, Франция и Германия). Я уже молчу про GDPR, DSA и DMA. Несмотря на то, что требования к последнему варианту текста значительно либерализовались, со стороны бизнеса все еще сохраняется скепсис. Для того, чтобы как-то нивелировать его и поддержать прежде всего европейские компании в суровой технологической гонке, органы ЕС инициируют программы по поддержке бизнеса. Например, ранее я уже писал про AI-Pact, призванный постепенно подготовить компании ко вступлению в силу Регламента.
Теперь Еврокомиссия изложила видение и шаги по поддержке ИИ-стартапов. В их число, например, входит ряд мер:
- создание и нормативная поддержка «ИИ-фабрик». Они будут созданы в виде экосистем, построенных вокруг крупнейших в Европе суперкомпьютеров (для этого в 2018 году уже создана совместная инициатива (EuroHPC JU) и включать в себя разнообразную инфраструктуру и доступ к необходимым кадрам. Для ускорения инноваций стартапам будет предоставлен доступ к таким центрам;
- ускорить разработку и внедрение общеевропейских хранилищ данных (Common European Data Spaces) и сделать их доступными для ИИ-сообщества;
- стимулировать создание передовых моделей ИИ. Для этого ряд государств-членов ЕС создадут Альянс в области технологий обработки естественного языка в рамках Европейского консорциума цифровой инфраструктуры (ALT-EDIC);
- поддержать новую инициативу GenAI4EU, которая направлена на внедрение моделей ИИ в ключевые секторы экономики.
ЕС часто критикуют за излишне жесткие подходы к нормативному правовому регулированию в сфере новых технологий. Не обошли данные дискуссии и искусственный интеллект. Я уже неоднократно писал о том, что проектом Регламента ЕС об ИИ остались не до конца довольны как американские бигтеки, так и отдельные государства-члены ЕС, у которых есть свои перспективные ИИ-компании и стартапы (например, Франция и Германия). Я уже молчу про GDPR, DSA и DMA. Несмотря на то, что требования к последнему варианту текста значительно либерализовались, со стороны бизнеса все еще сохраняется скепсис. Для того, чтобы как-то нивелировать его и поддержать прежде всего европейские компании в суровой технологической гонке, органы ЕС инициируют программы по поддержке бизнеса. Например, ранее я уже писал про AI-Pact, призванный постепенно подготовить компании ко вступлению в силу Регламента.
Теперь Еврокомиссия изложила видение и шаги по поддержке ИИ-стартапов. В их число, например, входит ряд мер:
- создание и нормативная поддержка «ИИ-фабрик». Они будут созданы в виде экосистем, построенных вокруг крупнейших в Европе суперкомпьютеров (для этого в 2018 году уже создана совместная инициатива (EuroHPC JU) и включать в себя разнообразную инфраструктуру и доступ к необходимым кадрам. Для ускорения инноваций стартапам будет предоставлен доступ к таким центрам;
- ускорить разработку и внедрение общеевропейских хранилищ данных (Common European Data Spaces) и сделать их доступными для ИИ-сообщества;
- стимулировать создание передовых моделей ИИ. Для этого ряд государств-членов ЕС создадут Альянс в области технологий обработки естественного языка в рамках Европейского консорциума цифровой инфраструктуры (ALT-EDIC);
- поддержать новую инициативу GenAI4EU, которая направлена на внедрение моделей ИИ в ключевые секторы экономики.
EURACTIV
LEAK: EU Commission prepares ‘strategic framework’ to boost AI start-ups, generative AI uptake
The European Commission is to propose an innovation strategy on Artificial Intelligence to establish ‘AI Factories’ and boost the uptake of generative AI in strategic sectors, according to an early draft seen by Euractiv.
❤4
В этом месяце подошел к концу курс «Регулирование ИИ», который я разработал и впервые читал в рамках онлайн-магистратуры LegalTech, организованной совместно НИУ ВШЭ и Нетологией. Дисциплина состоит из 28 лекций и семинаров и включает в себя широкий круг тем — от истории развития науки об ИИ до прикладных правовых проблем и особенностей вывода систем и моделей ИИ на рынки разных юрисдикций.
Курс было достаточно сложно спланировать, так как нормативный материал в данной сфере сейчас крайне подвижен. Поэтому хотелось бы выразить мое уважение к студентам программы, которые стоически анализировали массивные нормативные правовые акты на языке оригинала. Но, на мой взгляд, прикасаться к чем-то важному, что формируется у тебя на глазах, — отдельное удовольствие.
Уверен, что курс будет дальше жить и развиваться, а мы с коллегами готовим новые крутые образовательные проекты.
Курс было достаточно сложно спланировать, так как нормативный материал в данной сфере сейчас крайне подвижен. Поэтому хотелось бы выразить мое уважение к студентам программы, которые стоически анализировали массивные нормативные правовые акты на языке оригинала. Но, на мой взгляд, прикасаться к чем-то важному, что формируется у тебя на глазах, — отдельное удовольствие.
Уверен, что курс будет дальше жить и развиваться, а мы с коллегами готовим новые крутые образовательные проекты.
🔥17