CNews написали о истории со слежкой в городской сети Wi-Fi в Москве [1] и сослались на мой канал в Телеграм, жаль без ссылки, но хорошо что в принципе это сделали. Мне меньше работы, можно не готовить материал и пересылать журналистам, а они сами берут их из опубликованного.

Но я хочу сделать акцент даже не на слежке за гражданами, а вот на всей этой истории с публикацией документа задним числом с указанием даты на месяц раньше его фактического подписания.

Нормативные, правовые и иные регламентирующие и отчетные документы - это чуть ли не основной результат деятельности органов власти. С подготовки подобных документов начинается и заканчивается работа по большинству функций и задач органов власти.

Но если мы посмотрим на то как устроено раскрытие хотя бы только нормативно-правовых документов, то обнаружим что:
- документы публикуются в виде сканов
- документы публикуются с ошибками в метаданных
- документы не проходят оценку регулирующего воздействий
- документы публикуются с большими задержками
- документы не публикуются

На федеральном уровне, например, не публикуется значительная доля Постановлений Правительства (9%), Распоряжений Правительства (23%), Указов Президента (34%), Распоряжений Президента (72%) [2].

Честно говоря у меня никак не доходили руки посмотреть на то в каком объёме публикуются НПА утверждаемые отдельными органами власти и вот изучая эту историю с регулированием Wi-FI, я не поленился и скачал метаданные по всем НПА Правительства Москвы и ОИВов Москвы.

Например, за 2019 год ДИТ Москвы принял не менее 715 документов НПА (последний опубликованный документ имеет номер 64-16-715/19 где 64-16 - префикс ДИТ Москвы, 715 - порядковый номер и 19 - год). При этом за год на mos.ru размещено всего 31 документ НПА, это 4.3% всех принятых ими документов.
Для сравнения:
- Минцифры России за 2019 год приняли не менее 870 приказов из которых опубликовано 76, это 8.7% всех принятых ими документов.
- Минюст России за 2019 год приняли не менее 321 приказ из которых опубликовано 92, это 28.6% всех принятых ими документов.
- Минсельхоз России за 2019 год приняли не менее 713 приказ из которых опубликовано 152, это 21% всех принятых ими документов.
и так далее. Из министерств самое открытое, в этой части - это Минфин России, но цифры приводить не буду, каждый может проверить это сам, например, через pravo.gov.ru [3].

Особенность опубликования НПА в том что можно хоть что-то знать об опубликованных документах, но ничего о тех которые не опубликованы. Не публикуют их потому что они секретны или не размещаются по каким-либо иным причинам или не размещаются, ну, просто потому что кто-то решил их не размещать несмотря на отсутствие формальных ограничений.

Даже без анализа текстов НПА очень много аномалий находятся анализом метаданных, в каком-то смысле это один из самых главных критериев открытости государства. Но большая часть органов власти об этом забывают и даже собственные НПА не публикуют как открытые данные.

Ссылки:
[1] https://www.cnews.ru/news/top/2020-09-18_za_polzovatelyami_wifi_v_stolichnom
[2] https://data.world/infoculture/lawstats/
[3] https://pravo.gov.ru

#law #lawstats #openness #transparency

В недавно вышедшем исследовании Open is not forever: a study of vanished open access journals [1] от Mikael Laakso, Lisa Matthias, Najko Jahn выяснилось что журналы открытого доступа умирают также как и все остальные и их содержание теряется безвозвратно. Так с 2000 по 2019 год пропало более 176 журналов.

Что с этим делать? Одно из решений сейчас запускает Интернет архив под названием Fatcat [2], о нем подробнее в статье в Vice [3]. Фактически это каталог 151 тысячи научных журналов с более чем 110 миллионам публикаций из которых 26 миллионов публикаций доступны с полным текстом. На момент когда я писал этот текст каталог нормально ещё не работал и выдавал ошибки на любые попытки поиска.

Здесь трудно не вспомнить про такие проекты как Semantic Scholar [4] или Microsoft Academic Knowledge Graph [5] и многие другие в которых собираются базы метаданных по всем опубликованным научным работам (до которых авторам проектов удаётся добраться) и не хватает лишь включить архивацию этих работ.

Ссылки:
[1] https://arxiv.org/abs/2008.11933
[2] https://fatcat.wiki
[3] https://www.vice.com/en_us/article/g5p7pj/the-internet-archive-has-a-new-tool-to-save-research-papers-from-vanishing
[4] https://www.semanticscholar.org/
[5] https://ma-graph.org/

#opendata #openaccess

Продолжая тему открытости данных и открытости нормотворчества, я хочу напомнить о том что открытость законов и судебных решений - это чуть ли не ключевая открытость государственных органов перед налогоплательщиками. Причём с этим "всё сложно" во многих странах. Carl Malamud [1], активист много лет призывающий публиковать строительные кодексы, кодексы безопасности и иные обязательные документы аналогичные российским ГОСТам, когда-то публиковал то каким должен был бы быть устроен федеральный портал законов США law.gov [2], а относительно недавно Harvard Law School стартовали проект Case.law [3] с решениями судов необходимыми для работы юристов по общему праву.

В России действует континентальное право и решения судов, хотя и важны, но в первую очередь важна доступность нормативно-правовых документов. Практически все органы власти публикуют их у себя на сайтах и передают Минюсту России для публикации на pravo.minjust.ru и в ФСО России для официального опубликования на pravo.gov.ru.

Чем это оборачивается на практике? Я в последние месяцы подробно изучаю деятельность властей Москвы и могу показать на их примере:
1. На сайте официального опубликования НПА pravo.gov.ru полностью отсутствуют нормативные документы города Москвы. Как выяснилось, для региональных властей публикация на сайте официального опубликования не является обязательным, да и не для всех органов власти кстати тоже, как следствие в базе pravo.gov.ru большие пробелы
2. На официальном сайте www.mos.ru в разделе нормативных документов [4] опубликованы документы только за последние 12 лет, конкретно с 2009 года включительно. Вопрос где все остальные НПА Москвы ? Фактически полностью отсутствует официально опубликованные НПА до-Собянинской Москвы. Архив старого сайта Мэрии и иных официальных сайтов, либо не делался, либо недоступен для граждан.
3. Все документы в разделе официальных документов на сайте www.mos.ru опубликованы в цифровыми подписями. Это даже вполне неплохая практика. До какого-то времени это была отсоединённая подпись в формате .sig, далее с тем же расширением стали публиковать сами документы подписанные подписью в том же контейнере .sig в формате base64. Файлы подписывались все деперсонализированной электронной подписью ДИТ Москвы. Все кто работают с электронными подписями знают что со временем они "протухают", у каждого сертификата есть срок действия после которого невозможности проверить подпись. Каких-либо мер для того чтобы избежать такого протухания в Мэрии не предпринимали, как следствие электронные подписи на документах за 10 из 12 лет не поддаются верификации.
4. По идее цифровая подпись заменяет подпись обычную, а то есть нет необходимости для публикации сканов документов с печатью и подписями. Тем не менее все документы НПА публикуемые на www.mos.ru - это сканы, по ним невозможно вести полнотекстовый поиск и работать с ними можно только визуальным чтением. При этом размеры некоторых документов после сканирования достигают 500 мегабайт и 120 тысяч страниц.
5. К примеру документов огромного размера. Распоряжение № 40557 от 29.11.2018 «Об утверждении результатов определения кадастровой стоимости объектов недвижимости в городе Москве по состоянию на 01 января 2018 г.» [5] имеет размер в 361 мегабайт и содержит 118691, с таблицей из 6 526 878 строк из номера строки, кадастрового номера и суммы его оценки. Казалось бы - это и должно быть открытыми данными, публиковаться на портале открытых данных Москвы и уж точно в PDF файле из изображений на сотню тысяч страниц, но нет.
6. Отдельно о нормативных документах ОИВов в Москве. Так вот их нет даже в системе Минюста, pravo.minjust.ru, единственный сайт их опубликования это всё тот же портал mos.ru, но не в разделе нормативных документов, найти их можно только через общий поиск по сайту или в разделах "Документы" на страницах ОИВов.

+ Здесь ещё я мог бы написать очень многое про сроки опубликования, пропуски в номерах документов и так далее. Но это уже общее для всех органов власти, федеральных и региональных.

Если Вы знаете другие "нюансы и особенности", напишите, обязательно пригляжусь к ним подробнее.

Ссылки:
[1] https://en.wikipedia.org/wiki/Carl_Malamud
[2] https://law.resource.org
[3] https://case.law
[4] https://www.mos.ru/authority/documents/
[5] https://www.mos.ru/authority/documents/doc/39999220/

#moscow #legaldocs #normdocs #open

В Коммерсанте заметка о том что Минэкономики России собирается создать реестр технологических стартапов [1] и о том что на его основе в том числе будут приниматься решения о господдержке и отслеживаться ее эффективность.

Для этого подготовлен проект поправок к закону «О науке и государственной научно-технической политике» в котором эти полномочия Минэкономразвития будут прописаны. Правда, буквально чуть менее чем 2 месяца назад уже был принят федеральный закон от 31.07.2020 № 309-ФЗ "О внесении изменений в Федеральный закон "О науке и государственной научно-технической политике" где вводили понятие венчурного капитала и др. определения.

Поможет ли как-либо стартапом наличие государственного реестра и государственного мониторинга их эффективности? Честно говоря у меня лично есть сомнения на этот счет и, нельзя не упомянуть проблему того что Минэкономразвития не очень ответственно подходит к ведению их реестров. Реестры СО НКО, пострадавших НКО и системообразующих предприятий опубликованные на data.economy.gov.ru имели большие проблемы с точки зрения полноты и качества данных, не говоря уже о методологии.

Ссылки:
[1] https://www.kommersant.ru/doc/4500503

#registries #opendata

На днях глава Минцифры Максут Шадаев прокомментировал [1] законопроект по запрету протоколов шифрования [2] и тут важно помнить чуть подробнее о контексте его принятия (решении Совбеза) [3]

Переводя его слова с русского на русский звучат они следующим образом:
1. Мы понимаем ваши опасения, но есть ещё экстремисты и др. трафик которых надо перехватывать.
2. Британцы в 2019 году сделали то же самое (договорились с Mozilla)
3. Будем искать компромиссы по итогам общественного обсуждения.

Последний пункт можно трактовать как "мы специально строго написали чтобы потом не всё запретить", приём вполне понятный, применяется много где.

Так вот комментарии на комментарии будет странным жанром, ругать министров нынче может каждый (дело то нехитрое), а хвалить любого действующего чиновника я считаю неприличным, так что я постараюсь изложить текущую ситуацию с учётом слов министра в контексте.

Вначале про британский опыт и Mozilla. Осенью 2019 года, компания Mozilla закончила с локальными
экспериментами с протоколом DoH, позволяющем скрывать DNS запросы от инструментов перехвата сетевого трафика, и решили включить его в браузере как опцию по умолчанию для пользователей в США. На эту ситуацию очень обеспокоились в Великобритании и Алан Девидсон,вице-президенту Mozilla по глобальной политике, безопасности и приватности, написал письмо Никки Морган [4], секретарю по делам культуры UK, о том что у Mozilla нет планов включать эту опцию по умолчанию для граждан Великобритании, до завершения обсуждения со всеми частными и государственными сторонами.
Чтобы было понятно почему они на это пошли, ранее другие НКО осуществляющие мониторинг и борьбу с педофилией и эксплуатацией детей в сети написали письма, например, письмо от Internet Watch Foundation (IWF) [5] той же Никки Морган о том что включение DoH в браузеры поломает систему фильтрации ссылок. IWF занимается этой деятельностью более 24 лет и от неё выступают многие лорды и баронессы в Великобритании, поэтому проигнорировать их письмо никак не могут. Это всё, конечно, не исключает ситуации когда и само правительство Великобритании заинтересовано в возможности перехвата DNS запросов, но публично декларируемой целью это не является.

Иначе говоря, история с DoH и Mozilla в Великобритании, на самом деле, такова:
- Mozilla не ввели эту опцию по умолчанию, но она осталась в браузере и любой может включить
- нет запрета на использование DoH частными лицами и компаниями

Ситуация в России принципиально иная:
1. Обратите внимание что в России нет контекста по диалогу с Mozilla как это происходит в Великобритании, есть прямой запрет. Это делает отсылку к британскому опыту нерелевантной, предлагаемая модель куда ближе к моделям блокировки в некоторых арабских странах где на использование VPN необходимо получать дополнительное разрешение.
2. В документе законопроекта нет конкретики по блокируемым протоколам, а в пояснительной записке указан протокол TLS 1.3. Это последняя версия протокола через который работает, например, практически вся защищённая коммуникация с сайтами HTTPS. При этом важно помнить что, вообще-то, современные браузеры уже почти не поддерживают старые редакции протокола SSL 3.0, TLS 1.0, TLS 1.1. Запрет или ограничения на TLS 1.3 - это запрет любой безопасной передачи данных.
3. Ещё один важный аспект, в том что государственные службы это далеко не единственные структуры которые могут хотеть знать о том какие сайты Вы посещаете, какие страницы и что Вы им передаёте.
И не стоит полагать что у государства есть какие-то уникальные технологии перехвата трафика которых нет у хакеров и корпораций.
Перехват Вашего трафика, как минимум, это то что интересует Ваших: провайдеров (сотового, Wi-Fi, проводного), работодателя (особенно крупные компании с дорогой интеллектуальной собственностью), зарубежные разведки, хакеров со
специализацией на корпоративном шпионаже, компании конкуренты, подростка младохакера из соседнего подъезда и ещё многих и многих.

Возможно что, например, запрет на TLS 1.3 в пояснительной записке к законопроекту был прописан специально чтобы потом от него отказаться при поиске компромисса. Возможно, размытые рамки законопроекта специально размыты чтобы бизнес сам предложил, например, ограничит закон только разработчиками ПО и сервисов, например, что он распространялся только на провайдеров VPN, разработчиков браузеров включающих DoH по умолчанию и так далее.

Не зная что творится в головах сотрудников Мицифры которые готовили эти документы, можно только догадываться чем они руководствовались. Была ли это стратегия "я солдат, что мне [Совет Безопасности] скажут, то и сделаем" или там есть и те кто движется по логие "если мудрость не может творить добро, она удлиняет путь зла" (Фазиль Искандер "Кролики и удавы"), запуская общественное обсуждение.

Лично моя позиция неизменна - политика запрета инструментов обеспечения приватности неэффективна.

Ссылки:
[1] https://www.rbc.ru/technology_and_media/22/09/2020/5f69cf379a7947465f427ada
[2] https://t.iss.one/begtin/2133
[3] https://d-russia.ru/maksut-shadaev-prokommentiroval-zakonoproekt-o-zaprete-ispolzovat-shifrovanie-skryvajushhee-imja-sajta.html
[4] https://en.wikipedia.org/wiki/Nicky_Morgan
[5] https://iwf.org.uk/sites/default/files/inline-files/Rt.%20Hon.%20Nicky%20Morgan%20MP%20DNS%20over%20HTTPs.pdf

#privacy #law #digital

О том как ведётся учет информационных систем я продемонстрирую на российском ведомстве о котором практически никогда не писал (хотя и много лет читаю почти все их госконтракты) - это Россвязь. У Россвязи на сайте есть раздел под названием "Реестры, информационные системы, базы данных" [1] в котором перечислены такие информационные ресурсы и реестры как:
- Реестр сертификатов соответствия системы сертификации в области связи
- Реестр зарегистрированных деклараций о соответствии средств связи
- Реестр нумерации Российской системы и плана нумерации
- Реестр адресов установки таксофонов и ПКД
- База данных отделений почтовой связи

Сразу скажу что ссылки на 2 из них: реестр сертификатов и база отделений почтовой связи выдают ошибку 404. Но ни один из этих реестров не является государственной информационной системой. Государственная информационная система - это ИС Россвязи, состоящая из нескольких подсистем таких как:
- АПУУ: Подсистема «Администрирование платежей по универсальной услуге» ИС Россвязи
- ПТПП: Подсистема обеспечения информационного взаимодействия ИС Россвязи
- РДС: Подсистема «Регистрация деклараций о соответствии средств связи и реестра сертификатов соответствия системы сертификации в области связи» ИС Россвязи
- УМИ: Подсистема «Учет маршрутных индексов» ИС Россвязи
- УНОС: Подсистема «Учет номеров оперативных служб» ИС Россвязи
- УРН: Подсистема «Учет ресурса нумерации» ИС Россвязи
- УСЭ: Подсистема «Учет сетей электросвязи» ИС Россвязи

Есть ли информация об этой системе и её подсистемах на сайте Россвязи? Или нет совсем, или она рассеяна по нормативным документам, а чуть ли не единственными достоверными источниками сведений оказываются госконтракты с РЭД Софт'ом [2] и Легион Про [3] на сопровождение и разработку модулей ИС Россвязи.

Из этих же документов мы можем узнать что там же существуют такой реестр как: Единый реестр операторов связи (ЕРОС) который вообще никогда и ни в какой форме, Россвязью не публиковался.

Если мы обратим взгляд на ФГИС Координация информатизации то в открытых данных ФГИС КИ со списком ИС Специальной деятельности [4] обнаружим у Россвязи всего 2 ГИС.
- 10.0001276 Информационная система Федерального агентства связи
- 10.0060806 Официальный сайт Федерального агентства связи

Возможно во ФГИС КИ есть больше информации, а возможно не сильно больше. Есть ли там систематизированные сведения о подсистемах ? Честно говоря у меня есть некоторые обоснованные сомнения.

Как делать правильно? Лучший из известных мне примеров - это реестр информационных систем Санкт-Петербурга [5]. У него только один недостаток, они не публикуют открытые данные, в остальном я не видел более дотошного описания каждой ГИС, ИС, подсистемы и базы данных включая все платежи по всем контрактам на ИС, всё используемое ПО и тд. Казалось бы, федеральной власти использовать этот подход хотя бы методически, но как-нибудь в другой раз я напишу почему это вызывает такие сложности.

Пока и здесь я хочу подчеркнуть важную разницу того как устроена информатизация на федеральном и региональном уровне. На федеральном уровне, по сути, министерства строят свои замкнутые экосистемы. На уровне субъектов федерации, как правило, вернее, хорошее правило, когда департаменты информатизации контролируют разработку ИС, а другие региональные органы власти выступают как функциональные заказчики.

А в качестве послесловия напомню про аналитический доклад Счетной палаты "Оценка открытости ГИС 2020" [6] где как раз открытость государственных информационных систем подробно рассматривалась. Подробно, но не исчерпывающе и ещё много о чём есть что написать.

Ссылки:
[1] https://rossvyaz.gov.ru/about/reestry-informacionnye-sistemy-bazy-dannykh
[2] https://zakupki.gov.ru/epz/contract/contractCard/common-info.html?reestrNumber=1771054903820000016
[3] https://zakupki.gov.ru/epz/contract/contractCard/common-info.html?reestrNumber=1771054903820000017
[4] https://portal.eskigov.ru/opendata/7710474375-subj02
[5] https://reestr-gis.gov.spb.ru
[6] https://ach.gov.ru/upload/pdf/%D0%9E%D1%86%D0%B5%D0%BD%D0%BA%D0%B0%20%D0%BE%D1%82%D0%BA%D1%80%D1%8B%D1%82%D0%BE%D1%81%D1%82%D0%B8%20%D0%93%D0%98%D0%A1%202020.pdf

#opendata #digital #gis #data

Для тех кто интересуется тем как развиваются и внедряются технологии слежки за гражданами, простой и понятный проект Atlas of Surveillance [1] от Electronic Frontier Foundation [2].

Это база 5577 случаев применения технологий слежки, список которых включает:
- автоматическое распознавание номеров машин
- камеры на одежде
- реестры камер (те которые добровольно создают жители-волонтеры)
- симуляторы базовых станций (подмена стандартный базовых станций специальными устройствами для слежки)
- дроны
- распознавание лиц
- центры слежения и обмена данными о людях между разными уровнями власти и частными и иными организациями
- автоматическая идентификация стрельбы
- прогнозирование/предсказание преступлений
- центры мониторинга преступности в реальном времени
- партнёрства полиции и местных сообществ по установке устройств слежки в рамках сообщества
- видео аналитика и технологии компьютерного зрения
Подробнее о них рассказывается в глоссарии [3]

Как мы видим, в другом контексте, этот список выглядит как список стендов на какой-нибудь конференции по технологиям безопасности. Здесь же взгляд на них через потенциальный вред гражданам через слежку за ними.

Почти весь реестр построен на основе сообщений в новостях, отчетов НКО, публикаций и расследований EFF, данных на сайтах вендоров и многое другое. Особенности слежки в США в её высокой технологичности, в том что многие локальные решения принимаются властями муниципалитета (country) или штата (state) и в том что некоторые способы слежения, вроде слежения через дверные звонки и стартап ring.com, специфичны только для США.

Ссылки:
[1] https://atlasofsurveillance.org/search
[2] https://eff.org
[3] https://atlasofsurveillance.org/glossary

#privacy #surveillance #eff

Сделаю редкое отступление от жанра новостей и комментариев к ним и напишу краткий очень субъективный текст.

Все написали про покупку Яндекса Тиньковым Тинькова Яндексом и сейчас активно пишут про презентацию нового бренда СберБанка который, по сути, выстраивают вертикальный монобренд и с тем же Яндексом ещё более активно конкурирует после развода.

С одной стороны мне хочется искренне порадоваться что за Яндекс, что за Тинькова что за Сбер, что несмотря на происходящее в стране есть крупные цифровые холдинги. А с другой, конечно, очень важно чтобы цифровая среда в России не превратилась бы в "выжженую моно/олигопольную поляну" где ты либо принадлежишь к одному из дзайбацу / кейрецу / мега-холдингу, либо оказываешься в ситуации крайне неравного противостояния поскольку чем больше корпорация тем больше у неё ресурсов если не купить твой продукт, то сделать его клон.

Одна из проблем современных цифровых корпораций в том что давний лозунг Google - Don't be evil, ныне не работает. Одних лишь качественных продуктов, хорошей технической поддержки и даже хорошо профинансированного пиара теперь недостаточно для поддержания и сохранения репутации.

И от себя добавлю что если бы была новость о том что Яндекс купил Почту России, а Сбербанк купил Аэрофлот - то многие обрадовались бы куда больше. У Почты России появился бы шанс на трансформацию, а у Аэрофлота появилась бы хоть и "зелёная", но клиентская служба, взамен полного её отсутствия сейчас.

#sber #yandex #tinkoff #thoughts

Вышли два свежих европейских документов про работу с данными. Оба опубликованы Joint Research Centre (JRC) при Еврокомиссии.
Первый документ Application Programming Interfaces in Governments: Why, what and how [1] о том как важно чтобы в рамках цифровых правительств развивались сервисы API. С большим числом примером в странах ЕС, включая, например, Французский национальный реестр API [2]. В документе много разных сторон работы API рассмотрено и, что важно, использование программных интерфейсов рассматривается как часть государственной политики.

Второй документ The economics of Business to Government data sharing [3] посвящён тому как работает экономика предоставления данных государству коммерческими компаниями. Это технический отчет с указанием на возможности и ограничения того как бизнес может передавать данные государственным органам и как это может развиваться. Там есть несколько чисто европейских допущений что государства не конкурируют с бизнесом, с ними можно поспорить. В остальном полезное чтение, хотя и короткое.

Ссылки:
[1] https://ec.europa.eu/jrc/en/publication/eur-scientific-and-technical-research-reports/application-programming-interfaces-governments-why-what-and-how
[2] https://api.gouv.fr/
[3] https://ec.europa.eu/jrc/en/publication/eur-scientific-and-technical-research-reports/economics-business-government-data-sharing

#opendata #api #government #digital

Слухи давно ходили и вот теперь официальное подтверждение, закрывается Sunlight Foundation [1], некогда чуть ли не первое НКО задававшее стандарты работы с данными государства, запустившие десятки разных проектов. Но 4 года назад они закрыли свою лабораторию Sunlight Labs [2] и раздали свои проекты другим НКО, некоторым госорганам и исследовательским центрам [3]

Истинные причины закрытия Sunlight Foundation мне неизвестны, но всё хорошее, действительно, не вечно.

Ссылки:
[1] https://sunlightfoundation.com/2020/09/24/a-note-from-the-sunlight-foundations-board-chair/
[2] https://sunlightfoundation.com/2016/09/21/whats-next-for-sunlight-labs/
[3] https://sunlightfoundation.com/2016/11/01/sunlight-labs-update-nonprofits-step-up-to-preserve-tools-for-transparency/

#opendata #opensource #sunlight

После довольно долгих размышлений, я, всё таки, решил активировать аккаунт Substack и использовать этот формат для регулярных больших заметок и рассуждение на темы о которых думаю давно. Substack - это формат для больших текстов, с некоторой рефлексией и не обязательно завершёнными размышлениями, но с некоторой их зрелостью.

Это будет сильно отличаться от моего канала в телеграм и от личного блога. Как и во всех текстах основанных на профессиональной и иногда личной рефлексии, здесь я не буду претендовать на точность мысли, но буду вкладывать в написанной столько последовательности сколько смогу.

Первая email рассылка ушла с темой "Размышления конца сентября 2020. Будущее государственного и общественного аудита и контроля, обнаружение данных и многое другое".

Следующая рассылка будет не раньше конца октября.

#substack #texts

Ещё в 2015 году ЮНЕСКО объявили 28 сентября Международным днём универсального доступа к информации [1], в этом году на русском об этом в послании Генерального директора ЮНЕСКО Одрэ Азуле. [2]. Конференция IDUAI и мероприятия в этом году отложены из-за COVID-19, но 28-30 сентября идут онлайн вебинары посвященные открытости информации и идущие под эгидой ЮНЕСКО.

Ссылки;
[1] https://en.unesco.org/commemorations/accesstoinformationday/
[2] https://unesdoc.unesco.org/ark:/48223/pf0000374375_rus.locale=en

#opendata #openness #transparency #unesco

Правительство РФ, в лице Минстроя инициировало создание Единого государственного заказчика в строительстве, по оценке СМИ его бюджет может составить до 5 триллионов рублей [1]. В законопроекте указано что он создаётся в форме публично-правовой компании (код ОКОПФ - 71600), а то есть некоммерческой организации в прямом подчинении Правительства, через Минстрой РФ.

До окончания независимой антикоррупционной экспертизы законопроекта остался один день и до окончания общественного обсуждения 9 дней [2].

Судя по полномочиям единого государственного заказчика, сумма там, всё же, менее 5 триллионов поскольку в его ведении будут только объекты культурного наследия, поэтому точные масштабы его деятельности и охвата пока измерить сложно.

Какие вопросы в этой ситуации необходимо задать самим себе?
1. По какому ФЗ будут проводится закупки единым заказчиком? 44-ФЗ? 223-ФЗ? Или по 615-ПП. Например Фонд реновации (Москвы) размещает закупки по 223-ФЗ [3]. Другие АНОшки созданные Правительством Москвы по благоустройству города и тд, вообще не подпадают ни под один из ФЗ
2. Ограничится ли только культурным наследием как это прописаны в законопроекте или полномочия публично-правовой компании будут расширять?

Можно сразу утверждать что это будет не по 44-ФЗ, иначе не было бы смысла создавать публично-правовую компанию и выводить из под системы бюджетных учреждений. Проблема в том что 44-ФЗ объединяет, и совершенно жуткие и неприятные процедуры закупок, в которых наиболее комфортно себя чувствуют как раз наиболее коррумпированные заказчики и поставщики-рейдеры и одновременно все вопросы открытости госконтрактации заложены в том же 44-ФЗ.


Ссылки:
[1] https://ancb.ru/publication/read/10185
[2] https://regulation.gov.ru/projects#npa=108688
[3] https://spending.gov.ru/goscontracts/contracts/?productsearch=&regnum=&daterange=&price_from=&price_to=&customerregion=&address=&budgetlevel=&okdp_okpd=&fz=&customerinn=7703434808&customerkpp=&supplierinn=&supplierkpp=

#procurement #spending #contracts

В Nature статья о переосмыслении научных статей, и перевод их в формат "исполняемых статей" (executable papers) [1] идея в том что электронная научная публикация должна иметь формат аналогичный цифровым записным книжкам таким как Jupyter Notebook или Wolfram Notebook и должна включать всё необходимое, исходный код и данные для её перепроверки. Эта концепция не нова, и давно присутствует, например, в Codalab [2], но пока ещё она не стала всеобъемлющей.

Автор приводит пример с его статьей с анализом данных температуры земли, опубликованными данными и кодом [3]. А также множество примеров проектов готовых шаблонов воспроизводимых проектов [4].

Основной и важнейший, можно сказать инновационный, подход в том что научная статья/публикация - это не документ, а некий интерактивный открытый цифровой продукт, включающий как описания и выводы, так и исходный код, данные и формулы организованные таким образом чтобы можно было максимально упросить работу по воспроизведению результатов.

Определение из CodaLab звучит как
A CodaLab executable paper is a worksheet that contains the code, data, main experiments, tables, and graphs used in a published paper (think of it as an appendix or supplementary material).

Ещё в 2013 году об этом писали в Elsevier Labs [6], а ещё в 2011 году запускали конкурс "исполняемых статей" [7] [8], но мир изменился с тех пор и сейчас главным приоритетом является именно открытость таких публикаций и использование свободных и открытых инструментов и сервисов хранения данных.

Практика публикации исполняемых статей есть, например, в журнале eLife [9], а обзор открытых инструментов для их подготовки есть в статье Publishing computational research - a review of infrastructures for reproducible and transparent scholarly communication [8]. Если вкратце, существует как минимум 11 сервисов, большая часть, но не все из которых основаны на Jupiter Notebook.

Больше публикаций об этом можно найти, например, в результатах проекта Open Reproducible Research II [11] в Universität Münster

По всем впечатлениям скоро исполняемые статьи станут мейнстримом во всех работах где есть работа с данными и создание кода, а в течение нескольких лет, а может и быстрее, появятся формальные стандарты на основе существующих стандартов де-факто.


Ссылки:
[1] https://www.nature.com/articles/s42005-020-00403-4
[2] https://codalab-worksheets.readthedocs.io/en/latest/Executable-Papers/
[3] https://zenodo.org/record/3831237#.X3QQDO1n1hE
[4] https://gitlab.com/makhlaghi/reproducible-paper
[5] https://codalab-worksheets.readthedocs.io/en/latest/Executable-Papers/
[6] https://www.elsevier.com/connect/executable-papers-in-computer-science-go-live-on-sciencedirect
[7] https://www.journals.elsevier.com/pattern-recognition-letters/news/introducing-executable-papers
[8] https://www.slideshare.net/anitawaard/executable-papers
[9] https://elifesciences.org/for-the-press/eb096af1/elife-launches-executable-research-articles-for-publishing-computationally-reproducible-results
[10] https://arxiv.org/ftp/arxiv/papers/2001/2001.00484.pdf
[11] https://www.uni-muenster.de/forschungaz/project/12343?lang=en

#data #opendata #openscience #openaccess

Краткий дайджест статей и публикаций про данные:
- обзор материалов прошедшей конференции RecSys 20202 о рекомендательных системах https://eugeneyan.com/writing/recsys2020/
- о том как устроен хайп вокруг данных с точки зрения инвестфонда https://medium.com/northzone/unpacking-the-data-hype-8c3a0ae63564
- HarbrData, сервис для тех кто хочет строить свои маркетплейсы на данных https://www.harbrdata.com/
- много интересного про данные на Open Source Strategy Forum https://events.linuxfoundation.org/open-source-strategy-forum/program/schedule/

#data #datatools #dbs