howtocomply_AI: право и ИИ
1.26K subscribers
203 photos
4 videos
6 files
290 links
Канал про право и искусственный интеллект.
Исчерпывающе, но не всегда лаконично.
Дмитрий Кутейников
Download Telegram
Изучаем отчет Калифорнийской рабочей группы о политике в сфере передовых моделей ИИ

Люблю я тему регулирования в сфере передового ИИ, поэтому не мог пройти мимо отчета, подготовленного рабочей группой из очень известных специалистов из Стэнфорда, Беркли и Фонда Карнеги при непосредственной работе совместно с губернатором Калифорнии. Кстати, многие специалисты, особенно из Stanford HAI, также принимали активное участие в создании Европейского Кодекса практик для ИИ общего назначения.

Почему понадобился данный отчет?

В прошлом году законодательный орган Калифорнии принял резонансный законопроект SB 1047, который был направлен на регулирование в сфере передовых моделей ИИ. Однако губернатор наложил вето на данный законопроект, так как, по его мнению, документ требует доработки, поскольку неоправданно сужает предмет регулирования за счет смещения фокуса со всех систем и моделей ИИ на наиболее продвинутые, которыми обладают лишь малое число компаний. Таким образом, данный отчет направлен в том числе и на проработку подходов будущего законодательного регулирования.

Что интересного?

Исследование вышло довольно большим и фундаментальным. Если вы интересуетесь теоретической стороной ИИ-регулирования, то настоятельно советую ознакомиться полностью.

Кратко пробежимся по основным тезисам:

- на ранних этапах возникновения новой отрасли очень важны первые шаги регуляторов, которые во многом в дальнейшем определяют пути ее развития. Крайне важно, чтобы действия регулятора были обдуманными и своевременными. В противном случае такая “родовая травма” будет сказываться на развитии отрасли и обществе в целом еще на протяжении десятилетий. В подтверждение своей точки зрения авторы проводят интересные параллели с развитием интернета, разных опасных товаров (табака, отдельных лекарств) и энергетики.

- при формировании регуляторного подхода в стремительно развивающихся новых сферах важно не только концентрироваться на рисках и негативных последствиях, но и использовать другие методы, такие как моделирование, симуляции, сопоставление исторических прецедентов, состязательные тестирования.

- важнейшими элементами в правовом регулировании должны стать требования о прозрачности и информировании об инцидентах. Именно это позволит постепенно собирать информацию для регуляторов, чтобы нормативные решения были адекватны реальности.

- использование объема вычислительных мощностей, использованных для обучения моделей ИИ, в качестве порогового значения для нормативного регулирования является оправданным (так как его можно измерить), однако такая метрика не может быть единственной. Помимо этого также необходимо учитывать размер компании-поставщика, ее влияние на рынок, потенциальные риски.
71
Еврокомиссия опубликовала финальную версию Кодекса практик для ИИ общего назначения

Друзья, Еврокомиссия поднажала и выложила в четверг финальную версию кодекса раньше обещанного, чему мы только рады. Неофициальная веб-версия — тут, сайт Еврокомиссии — тут.

Для чего он вообще нужен?

Я уже писал про него неоднократно, но кратко напомню, так как прошло довольно много времени.

Глава V Регламента ЕС по ИИ устанавливает требования для поставщиков моделей ИИ общего назначения. Да-да, это те самые Anthropic, OpenAI, Google, Mistral, DeepSeek и другие.

Сами по себе эти требования довольно абстрактные, поэтому предполагается, что в дальнейшем они будут дополнены гармонизованными стандартами, соблюдение которых будет приравниваться к полному комплаенсу. Однако требования начинают действовать уже со 2 августа 2025 года, а стандарты ещё даже не начали разрабатываться. Ой, а что теперь делать...

Вот для этого и было задумано разработать в тесном сотрудничестве с индустрией добровольный кодекс практик, на основе которого потом и будут разработаны стандарты.

Соответственно, тем, кто добровольно присоединяется к кодексу, это засчитывается как полное соответствие требованиям закона. Встать именно на такой путь законодатели крайне рекомендуют поставщикам моделей ИИ, которые хотят выводить их на рынок ЕС. Можно также отказаться и начать соблюдать закон напрямую, но всё нужно будет изобретать самостоятельно. Поэтому кодекс подаётся как инструмент, который позволит упростить комплаенс и снизить косты.

Что мы имеем в итоге?

К лету документ несколько похудел и лишился отдельных положений. Также он стал явно более нейтральным и менее требовательным к поставщикам моделей ИИ, чему последние, думаю, рады и приложили для этого немало усилий.

Также заметно усилилась вариативность: по ряду положений поставщикам теперь даётся либо рекомендация, либо выбор способа соответствия вместо жёсткого требования. Хотя, мне кажется, кодекс как раз и затевался для того, чтобы сформулировать понятные критерии и избежать двусмысленности. Но авторы и сами это понимают и попросили не судить их строго, так как документ является первым в своём роде.

Кодекс состоит из трёх частей:


- Transparency

- Copyright

- Safety and Security

Интересно, что теперь нет как таковой общей преамбулы, и авторство также разбито по частям. Львиную долю кодекса теперь составляет именно последняя часть — Safety and Security, состоящая из 50 страниц. Остальные структурные единицы были заметно сокращены.

Что дальше?

В течение следующих нескольких недель государства-члены ЕС и Еврокомиссия должны рассмотреть кодекс и принять по нему окончательное решение, чтобы придать документу официальную силу.

Кроме того, в июле Еврокомиссия обещает ещё опубликовать в дополнение к кодексу свои собственные рекомендации, которые должны ответить на вопросы о классификации моделей ИИ.

Что будем делать мы?

Отдыхать! А на следующей неделе выложу подробный обзор документа 👀.
Please open Telegram to view this post
VIEW IN TELEGRAM
95
Разбираем Европейский Кодекс практик для ИИ общего назначения ч. 1

Друзья, начинаем разбирать финальную версию кодекса. Его первая часть посвящена разъяснению требований к поставщикам моделей ИИ общего назначения, которые содержатся в пунктах a и b части 1 статьи 73 Регламента ЕС по ИИ и корреспондирующих им приложениях XI и XII.

Если обобщить кратко, то эти пункты направлены на то, чтобы обеспечить требования к документации, которую поставщики должны предоставлять для органов власти и других субъектов внутри цепочек поставок.

Для выполнения этих требований кодекс ожидает от поставщиков следующее:

- необходимо разработать и своевременно обновлять документацию модели ИИ. Примерное её содержание закреплено в самом кодексе в виде типовой формы. Я вам приложу её на скриншотах. Важно отметить, что в случае обновления модели документация всё равно должна сохраняться на все версии в течение 10 лет.

- при выводе модели ИИ на рынок ЕС поставщику необходимо разместить на сайте (или иным способом) контактную информацию, с помощью которой компетентные органы и последующие поставщики могут запросить необходимую им документацию. Особенно это касается отдельных запросов AI Office, касающихся предоставления необходимой информации о модели ИИ в том случае, если на её основе была создана система ИИ повышенного риска.

- помимо типовой формы документации, поставщики моделей ИИ должны предоставлять последующим поставщикам (downstream providers) по запросу иную информацию, которая позволит им, с одной стороны, лучше понимать особенности, возможности и ограничения работы модели ИИ для того, чтобы безопасно встраивать её в свои продукты, а с другой — надлежащим образом выполнять требования, возложенные на них Регламентом как на поставщиков систем ИИ. Важно отметить, что кодекс призывает поставщиков отвечать на такие запросы в разумный срок, но не более 14 дней.

- поставщикам моделей ИИ предлагается также в добровольном порядке разместить более подробную информацию о моделях в общий доступ, чтобы обеспечить прозрачность. Несмотря на дискуссии, в итоге было принято решение отказаться от обязательных требований по раскрытию информации, хотя агрегированная информация о методах тестирования и оценки была бы не лишней. Тем более что американские компании и так публиковали эту информацию в системных и модельных карточках после неформальных договорённостей с предыдущей администрацией. Но времена поменялись 🐱.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1031
Разбираем Европейский Кодекс практик для ИИ общего назначения ч. 2

Друзья, несмотря на субботу, мы продолжаем разбирать кодекс 🐱. Сегодня у нас на очереди, пожалуй, самая скандально известная его часть: копирайт. В ней раскрываются требования, которые содержатся в пункте c части 1 статьи 73 Регламента ЕС по ИИ.

Чтобы соблюсти эти требования, поставщики моделей ИИ, подписавшие кодекс, обязуются:

- внедрить и регулярно обновлять политику, в которой должно быть отражено, каким образом поставщики собираются исполнять требования законодательства ЕС в области авторского права и смежных прав (copyright policy). Политика должна представлять собой единый документ, который также должен содержать информацию о соблюдении требований кодекса, которые мы разберем ниже. Поставщикам рекомендуется выложить в публичный доступ краткую версию данной политики.

- при сборе информации для анализа данных (text and data mining по смыслу Директивы 2019/790) для обучения ИИ-моделей необходимо:

а) не обходить технические средства защиты (по ст. 6(3) Директивы 2001/29/EC), включая ограничения доступа через подписки и пэйвол;

б) исключать из сканирования сайты, которые органы власти признают нарушающими авторские и смежные права в коммерческих целях. Для этого будет опубликован обновляемый перечень таких сайтов.

- при автоматическом сборе данных с сайтов в интернете для целей анализа данных для обучения моделей ИИ необходимо:

- использовать веб-краулеры, соблюдающие машиночитаемые оговорки robots.txt (в соответствии с протоколом IETF RFC 9309 и его обновлениями);

- распознавать и соблюдать другие машиночитаемые протоколы, включая метаданные, признанные международными или европейскими стандартами либо широко применяемые правообладателями.

Это не ограничивает право правообладателей устанавливать оговорки иными способами и не освобождает от соблюдения прав в отношении контента, собранного третьими лицами;

- участвовать в диалоге с правообладателями для разработки общих технических стандартов и обязуются публиковать информацию о своих веб-краулерах и способах соблюдения оговорок, а также обеспечивать автоматическое уведомление о таких обновлениях.

Держатели поисковых систем также должны избегать негативных последствий для индексации контента, на который наложена оговорка, при соблюдении этих требований;

- снижать риски нарушения авторских прав в выходных результатах работы моделей ИИ:

- внедрять технические меры, предотвращающие незаконное воспроизведение охраняемого контента в результатах работы моделей ИИ;

- запрещать такие нарушения в правилах использования, пользовательских соглашениях. Для опенсорс-моделей необходимо указывать на недопустимость нарушений в сопровождающей документации.

Это применяется как к интеграции моделей ИИ в собственные системы ИИ, так и при их передаче другим лицам по договору;

- назначить контактное лицо для электронного взаимодействия с правообладателями и опубликовать соответствующую информацию;

- обеспечить электронный механизм подачи жалоб от правообладателей по вопросам несоблюдения обязательств, действуя по ним добросовестно и в разумный срок.

Данная часть кодекса вызвала бурю негатива со стороны ученых и правообладателей, так как она не содержит обязанности публиковать copyright policy, не устанавливает отдельных жёстких требований по проверке наборов данных, а также делает упор на не очень эффективные механизмы машиночитаемых оговорок, которые многократно подвергались критике.

Однако в будущем мы можем увидеть и более мощные тектонические процессы, связанные с реформированием исключений text and data mining для генеративных систем ИИ. Соответственно, это повлияет на будущее кодекса и дальнейших технических стандартов.
Please open Telegram to view this post
VIEW IN TELEGRAM
55
Разбираем Европейский Кодекс практик для ИИ общего назначения ч. 3

Тем временем у нас на очереди финальная часть разбора кодекса. Сегодня мы поговорим про его самую объёмную часть — safety and security. Следует отметить, что данная глава относится только к поставщикам моделей ИИ общего назначения, представляющих системные риски. Если совсем кратко, то в эту группу пока входят наиболее большие модели, обладающие продвинутыми способностями, такие как ChatGPT, Claude, Gemini и т.д. Однако по мере развития и удешевления технологий этот список может расширяться за счёт стартапов и небольших компаний. Про тонкости классификации мы с вами как-нибудь поговорим отдельно в ближайшее время.

Всего документ содержит 10 общих принципов и 10 обязательств, состоящих из отдельных мер, глоссария терминов и 4 приложений.

Пройдёмся тезисно по основным моментам. В частности, поставщики обязуются:

- разработать, внедрить и регулярно обновлять Safety and Security Framework (SSF). Документ должен содержать высокоуровневое описание внедрённых и планируемых процессов и мер по оценке и снижению системных рисков, которые предусмотрены кодексом. Помимо этого, для каждого системного риска отдельно прописываются триггерные точки и соответствующие им разные уровни риска. Вообще, это местами очень напоминает Anthropic's Responsible Scaling Policy.

Поставщики обязаны утвердить SSF не позднее чем через четыре недели после уведомления Еврокомиссии по статье 52(1) Регламента по ИИ и не позднее чем за две недели до размещения модели на рынке. Также поставщики должны оценивать и снижать системные риски как до вывода модели на рынок, так и в течение всех этапов жизненного цикла (подробнее на скриншоте). При этом сам SSF нужно регулярно пересматривать, а изменения логировать.

- идентифицировать системные риски, присущие их моделям. Для этого в Приложении 1 содержится классификация системных рисков.

- анализировать системные риски. Для каждого риска предусмотрено пять шагов:

а) сбор общей, не привязанной к конкретной модели информации;

б) проведение внутренних и внешних оценок моделей (требования к оценкам содержатся в Приложении 3);

в) моделирование системных рисков;

г) оценка системных рисков;

д) проведение пострыночного мониторинга.

- определить чёткие критерии принятия системных рисков Если риски нельзя принять, то и модель нельзя размещать на рынке.

- предпринимать меры по обеспечению качества и безопасности моделей. Среди них можно выделить:

а) фильтрацию и очистку данных;

б) мониторинг входных данных и выходных результатов;

в) ограничение доступа к моделям (сначала API — потом для всех);

г) использование перспективных методов и обеспечение кибербезопасности.

- до вывода модели ИИ на рынок обязуются предоставлять AI Office отчёт о модели (Security Model Report), в котором описываются используемые методы и процессы для снижения системных рисков. Не буду подробно останавливаться, так как это в целом очень близко к уже применяемым в индустрии системным и модельным карточкам.

- определить ответственных за управление системными рисками, возникающими в результате использования своих моделей, на всех уровнях организации, выделять необходимые ресурсы субъектам, отвечающим за управление рисками, а также способствовать формированию понимания рисков.

- уведомлять AI Office и иные компетентные органы о серьёзных инцидентах. Помимо этого, им также следует изучать иную общедоступную информацию об инцидентах, которые произошли в отрасли, и запрашивать информацию у нижестоящих поставщиков.

- хранить документацию не менее 10 лет, а также предоставлять дополнительную информацию по запросу AI Office. Между тем, делать публичными части SSF и SMR прямой обязанности нет. Используется хитрая формулировка: агрегированные версии документов могут быть опубликованы в той мере, в какой это необходимо для оценки и/или снижения системных рисков.

Помимо того, что мы с вами разобрали, в тексте есть также масса интересных деталей. Мы к ним будем неоднократно возвращаться в дальнейших материалах 🐱.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
63👍1
Через неделю провожу мастер-класс по моделям ИИ общего назначения. Приходите, всех жду

Друзья, почти ровно через неделю состоится мой мастер-класс «Глава V Регламента по ИИ: ЕС наносит ответный удар» 🤩, на котором мы обсудим, что уже нужно знать тем, кто разрабатывает модели ИИ и интегрирует их в свои продукты.

Зачем оно нужно?

С 2 августа 2025 года вступает в силу Глава V Регламента ЕС по ИИ, устанавливающая обязательные требования для поставщиков моделей ИИ общего назначения — именно тех моделей, которые лежат в основе популярных продуктов вроде ChatGPT, Claude, Gemini, DeepSeek, Llama и других. Разобраться в требованиях необходимо не только в том случае, если вы сами разрабатываете модели ИИ, но и используете их в своем бизнесе.

Однако, как это часто бывает в юриспруденции, для того чтобы оптимально подготовиться к соблюдению законодательных требований, недостаточно ознакомиться только с текстом закона, так как существует масса практических тонкостей и рекомендаций. Поэтому мы с вами разберем ещё и ключевые моменты из свежего Руководства для поставщиков моделей ИИ общего назначения и Европейского кодекса практик для ИИ общего назначения, в создании и обсуждении которого мне удалось поучаствовать в качестве эксперта.

Что конкретно обсудим?

- Что такое модели ИИ общего назначения и как их распознать во всем многообразии систем ИИ

- Какие требования Регламент возлагает на их поставщиков

- Что нужно учитывать компаниям, которые интегрируют такие модели в свои продукты

- Зачем нужен Европейский Кодекс практик для ИИ общего назначения и как он поможет соблюдать законодательные требования

- Подпадают ли ИИ-агенты и передовые модели ИИ под данные требования

Мероприятие будет модерировать прекрасная Анастасия Сковпень @vychislit_po_IP, а значит, мы отдельно окунемся ещё и в вопросы копирайта.

Также к дискуссии подключатся и другие мои друзья и партнеры по курсу AI Governance от RPPAАлександр Партин @piiforever и Екатерина Калугина @brainy_law.

Где и когда?

Когда: 31 июля в 19:00 (мск)

Формат: онлайн

Стоимость: бесплатно

Регистрация по ссылке
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12541
Еврокомиссия утвердила шаблон раскрытия обучающих данных для моделей ИИ общего назначения

Хотел сегодня написать про очередной американский AI Action Plan, но подоспели более важные новости. Когда мы недавно разбирали с вами GPAI Code of Practice, вы могли заметить, что мы пропустили пункт d части 1 статьи 73 Регламента ЕС по ИИ:

(поставщик) d) составляет и публикует достаточно подробное резюме о контенте, использованном для обучения модели ИИ общего назначения, в соответствии с шаблоном, предоставленным AI Office.

Так вот, пропустили мы пункт не просто так, а потому что ждали финальную версию данного шаблона. Дождались — давайте разбираться 🐱.

Для чего он нужен?

Предполагается, что такое краткое содержание о контенте, используемом для обучения моделей ИИ, позволит защитить права правообладателей и субъектов данных, повысит информированность последующих поставщиков, способствует развитию науки за счёт увеличения прозрачности и улучшит конкуренцию.

Какие наборы данных должны быть описаны?

Все данные, которые используются на этапах предобучения и постобучения, включая элайнмент и файнтюнинг. Однако данные, используемые на этапе эксплуатации модели (например, при использовании RAG), уже не должны включаться в шаблон, если модель на них не обучается.

Важно отметить, что в случае, если последующий поставщик дорабатывает модель таким образом, что сам становится поставщиком, то краткое описание нужно составлять только на те данные, которые использовались для модификации.

Из чего состоит шаблон?

Шаблон состоит из трёх основных разделов:

- общая информация: информация, позволяющая идентифицировать поставщика и модель; информация о модальностях и их размерах;

- перечень источников данных:

а) раскрытие основных наборов данных, использованных для обучения модели, такие как крупные частные или государственные базы данных;

б) полное описание данных, собранных с помощью веб-скрейпинга самим поставщиком или третьими лицами (включая краткое описание наиболее релевантных доменных имён);

в) описание другой использованной информации, такой как пользовательские или синтетические данные. Для синтетических данных нужно также указать информацию о модели ИИ, с помощью которой эти данные были получены;

- отдельные аспекты обработки данных: раскрытие того, каким образом исполняются машиночитаемые оговорки и удаляется противоправный контент. В этой части происходит пересечение с GPAI Code of Practice, поэтому поставщики могут сослаться на его исполнение и продублировать соответствующие части. Подробнее этот момент можно посмотреть в моём недавнем обзоре кодекса.

При этом важно подчеркнуть, что поставщики должны лишь указать основные доменные имена ресурсов, с которых собирались данные, но без описания конкретных единиц контента (например, работ художников). Вместе с тем Еврокомиссия поощряет добровольное раскрытие поставщиками более детальной информации, а также в качестве доброй воли просит взаимодействовать с правообладателями по их запросам об обучении на конкретных охраняемых объектах. Понятно, что правообладатели были разочарованы таким трактованием закона, так как ожидали императивного механизма раскрытия и удаления информации, а не ссылки на общее законодательство.

Где и как должна быть размещена информация?

Форма с кратким описанием обучающих данных размещается публично на сайте поставщика и должна регулярно обновляться не реже чем раз в 6 месяцев.

Когда эти положения начнут действовать?

Как я уже отмечал ранее, соответствующая глава Регламента начинает действовать с 2 августа 2025 года. Однако для моделей ИИ, размещённых до этой даты, даётся срок на выполнение требований до 2 августа 2027 года. А если эти поставщики по каким-то причинам не могут раскрыть информацию о данных, то они должны чётко обосновать причины.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
72
Смотрим интервью Демиса Хассабиса в подкасте у Лекса Фридмана

В выходные самое время отвлечься от регулирования и подумать о высоком. Благо, пару дней назад вышло классное интервью Демиса Хассабиса, который является одним из главных виновников нынешней ИИ-революции, будучи сооснователем и CEO DeepMind. Также он стоял за созданием прорывных систем ИИ AlphaGo и AlphaFold, последняя из которых в 2024 году принесла ему и Джону Джамперу Нобелевскую премию по химии.

Мужики обсуждают много интересных вещей: от тайн мироздания до компьютерных игр и будущего ИИ. Я пока посмотрел только половину, так что, возможно, самое интересное ещё впереди.

Кстати, после создания AGI Демис планирует взять саббатикал, чтобы либо наконец решить задачу P против NP, либо все-таки создать матрицу 🎮.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥62
Как определить, является ли модель ИИ моделью общего назначения?

На прошлой неделе Еврокомиссия утвердила Руководство по определению объёма требований к поставщикам моделей ИИ общего назначения. Документ носит необязательный характер, однако отражает официальную позицию Комиссии в части толкования и применения положений Главы V Регламента ЕС по ИИ.

Одним из ключевых вопросов документа стали тонкости разграничения моделей ИИ:

- как отличить модели ИИ общего назначения (GPAI) от всех остальных;

- какие из моделей GPAI попадают в группу GPAI моделей, представляющих системные риски (GPAISR). Для их поставщиков предусмотрены дополнительные требования.

Определены два основных критерия:

- объём обучающих вычислений (training compute). Для GPAI моделей установлен порог – 10^23 FLOP, а для GPAISR моделей – 10^25 FLOP;

- способность компетентно выполнять широкий спектр задач. В качестве ориентира – способность генерировать язык (текст или речь), изображения или видео. Такие модели, как правило, являются мультимодальными.

Если модель не соответствует хотя бы одному из этих критериев, она, как правило, не считается GPAI. Однако возможны исключения – например, для меньших моделей, но с большими способностями.

Как считать training compute?

Метод подсчёта зависит от цели:

- для всех GPAI моделей считается общий объём вычислений, непосредственно использованных для обновления параметров модели (непосредственно обучение и файнтюнинг);

- для определения GPAISR моделей считается совокупный объём вычислений, затраченных на обучение модели (весь обучающий процесс: претрейнинг и посттрейнинг).

Существует два подхода к оценке объёма compute:
Всего есть два подхода подсчета компьюта:

Аппаратный подход (оценка по инфраструктуре):

Формула: 𝐶 = 𝑁 × 𝐿 × 𝐻 × 𝑈

𝑁 – количество задействованных графических процессоров (или других аппаратных ускорителей);

𝐿 – продолжительность использования в секундах;

𝐻 – пиковая теоретическая производительность оборудования (в FLOP/сек), при необходимости — как средневзвешенное;

𝑈 – средний процент загрузки оборудования (также может рассчитываться как средневзвешенный, если использовались разные типы устройств).

Архитектурный подход (оценка по архитектуре модели):

Формула: 𝐶 ≈ 6 × 𝑃 × 𝐷

𝑃 – общее количество параметров модели;

𝐷 – количество токенов, использованных для обучения.

Поставщики вправе использовать любой метод для оценки соответствующего объёма обучающих вычислений, при условии что, по их обоснованному мнению, оценка является точной с допустимой общей погрешностью не более 30% от заявленного значения. Эта допущенная погрешность предназначена для учёта возможных затруднений в получении точных данных о совокупных обучающих вычислениях модели.

А еще напоминаю: завтра я провожу мастер-класс по GPAI моделям, где обсудим ещё больше интересных тонкостей 🐱.
Please open Telegram to view this post
VIEW IN TELEGRAM
72👍1